JP2009212582A - バーチャルスタジオ用フィードバックシステム - Google Patents
バーチャルスタジオ用フィードバックシステム Download PDFInfo
- Publication number
- JP2009212582A JP2009212582A JP2008050852A JP2008050852A JP2009212582A JP 2009212582 A JP2009212582 A JP 2009212582A JP 2008050852 A JP2008050852 A JP 2008050852A JP 2008050852 A JP2008050852 A JP 2008050852A JP 2009212582 A JP2009212582 A JP 2009212582A
- Authority
- JP
- Japan
- Prior art keywords
- performer
- feedback system
- projector
- positional relationship
- virtual studio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】演技者に対する演技支援を行うバーチャルスタジオ用フィードバックシステムを提供する。
【解決手段】本発明のバーチャルスタジオ用フィードバックシステムは、演技者11の目線の位置11aとCGオブジェクト15の3次元位置を結ぶ投射空間との交差面となる所定の実セット12の位置上に、CGオブジェクト15の位置を表すCG描画映像を間欠的に投影するプロジェクタ7と、CG描画映像の投影期間以外の期間に、演技者11を含む実セットを間欠的に撮影する撮影カメラ1と、CGオブジェクト1に対応するレンダリング画像を撮影カメラ1が撮影した画像に合成する合成装置3と、被写体の3次元位置を特定する3次元位置センサ4と、演技者11の位置情報に基づいて、演技者11とCGオブジェクト15との位置関係を逐次算出し、プロジェクタ7が投影するCG描画映像の描画を制御するプロジェクタ用描画制御装置5とを備える。また、その位置関係を振動素子8に情報として与えて制御する振動制御装置6を備える。
【選択図】図1
【解決手段】本発明のバーチャルスタジオ用フィードバックシステムは、演技者11の目線の位置11aとCGオブジェクト15の3次元位置を結ぶ投射空間との交差面となる所定の実セット12の位置上に、CGオブジェクト15の位置を表すCG描画映像を間欠的に投影するプロジェクタ7と、CG描画映像の投影期間以外の期間に、演技者11を含む実セットを間欠的に撮影する撮影カメラ1と、CGオブジェクト1に対応するレンダリング画像を撮影カメラ1が撮影した画像に合成する合成装置3と、被写体の3次元位置を特定する3次元位置センサ4と、演技者11の位置情報に基づいて、演技者11とCGオブジェクト15との位置関係を逐次算出し、プロジェクタ7が投影するCG描画映像の描画を制御するプロジェクタ用描画制御装置5とを備える。また、その位置関係を振動素子8に情報として与えて制御する振動制御装置6を備える。
【選択図】図1
Description
本発明は、映像制作におけるバーチャルスタジオにおいて映像合成に係る演技者への演技支援を行うシステムに関する。
従来、テレビスタジオ等の撮影現場において、特定の映像を演技者には視認され、撮影カメラで撮影する映像には写らないようにする技術として、撮影カメラの撮影期間と映像表示装置(例えば、プロジェクタ)の投影期間との切り替えを行う技術(以下、撮影・投影時分割切り替え方式と称する)が知られている(例えば、特許文献1参照)。
この技術に用いられるプロジェクタは、スクリーンに投影する映像を、例えば撮影カメラが有する内部の撮像デバイス(CCD)の電子シャッタが開いている期間(撮影期間)には投影せず、電子シャッタが閉じている期間(非撮影期間)に投影するように制御する。これにより、プロジェクタからの投影映像を撮影カメラの撮影に影響を及ぼさないようにすることができる。
一方、最近のテレビ番組では、CG(Computer Graphics)と実写のリアルタイム映像合成が多く利用されている。映像合成によって、新しい映像効果を期待できることや、実セットをCGに置き換え、効率的にテレビ番組を製作することができる。
バーチャルスタジオとは、例えばブルーバック(例えば、クロマキーバックとなる青色)で撮影された人物などの被写体映像から人物などの被写体領域のみキー信号として抽出し、別に作成したCG又は予め撮影した映像とキー信号を基に合成するクロマキー合成する手法、或いは、実際の映像にCGなどの映像をCG領域のキー信号を基に合成する手法、又はそれらを多重に組み合わせて映像合成する手法などにより、特に、撮影カメラの撮影動作に連動したCGを生成してカメラ映像と合成したものを云い、仮想スタジオとも称される。
CGとカメラ映像を合成した出力映像は、スタジオに備え付けのモニタや撮影カメラに付属のモニタなどで映し出すことが可能である。また、スタジオ内では、カメラマンやディレクターなどの番組制作者は、合成結果をチェックしながら番組制作を進めることができる。
しかしながら、バーチャルスタジオでは、ターゲットとなるCGの被写体(以下、CGオブジェクトと称する)が実在するものではないため、演技者にとって演技が困難となり、演技者は何度も練習する必要があった。また、CGオブジェクトとの合成映像は、フレーム単位で遅延を生じるため、これについても演技に影響を及ぼすことになる。その他、スタジオセットにシールなどでマークし、その部分にCGオブジェクトがあるということを想像しながら演技を行うことも多い。また、クロマキー合成の場合には、CGオブジェクトと同じ形状のものを青い物体として作成することで、演技を行うことも可能であるが、CGオブジェクトが例えば動物などの動くものである場合には困難である。
このように、実際には、演技者は、CGオブジェクトを見ることができないまま演技を行うか、又はスタジオに備え付けのモニタで合成された映像を見ながら演技をする必要がある。
一方、オーグメントリアリティの世界では、利用者がヘッドマウントディスプレイを装着して、周囲のCGなどの仮想空間を提示する視覚システムが知られている。また、触覚についてもPHANToMなど、ペンタブレット型の力覚インタフェースで物体にあたかも触っているかのような感触を得るシステムが知られている。このような従来の視覚提示や触覚提示の方法は、大掛かりなシステムが必要であり、番組制作においては撮影を行う際の妨げにもなることから利用するのが困難である。
このように、従来方法では、セットに付けたマークを頼りに演技を行うか、又はCGオブジェクトと合成された映像を見ながら行っていた。しかしながら、映像合成のモニタでCGオブジェクトを確認しながら演技を行うと演技者がモニタばかりを見てしまい、見るべき方向を向くことができず、違和感のある合成映像となる。
そこで、本発明の目的は、好適には演技者に対する視覚提示及び触覚提示とを併用しながら、演技者が、CGの位置やアニメーションを確認しながら確実に演技をすることができるように、撮影を行う際の妨げを生じることなく、演技者に対する演技支援を行うバーチャルスタジオ用フィードバックシステムを提供することにある。
上記目的を達成するために、本発明のバーチャルスタジオ用フィードバックシステムは、演技者がスタジオ内で見えないCGについて把握し、演技を自然に行うことができるように、演技者にCGの位置を視覚及び/又は触覚で確認可能な手段を提供し、演技者の演技を支援する。
第1に、本発明のバーチャルスタジオ用フィードバックシステムは、演技者の目線に合ったCGオブジェクトを含むCG描画映像を演技者に視覚提示する。即ち、CGオブジェクトを含むCG描画映像を演技者に視覚提示する際は、演技者の目線とスタジオセットに合わせたCGを生成し、プロジェクタで投影する。また、実際のスタジオセット(実セットとも称する)の形状に適合させた投影面にプロジェクタで投影する際に、前述した撮影・投影時分割切り替え方式などの間欠的な投影及び撮影を交互に繰り返すため、カメラ撮影に悪影響を及ぼすことはない。
第2に、本発明のバーチャルスタジオ用フィードバックシステムは、3次元の情報の奥行き情報を正確に伝えるようにするために、小型振動モータなどの振動素子を演技者に具備させ、振動素子の振幅及び/又は周波数を変更することにより、CGオブジェクトまでの距離感、即ち位置関係を伝えるようにする。振動素子を演技者の衣服内か、又は背面に具備させるため、カメラ撮影に悪影響を及ぼすことはない。このように、本発明のバーチャルスタジオ用フィードバックシステムは、人の目線に合ったCGの描画による視覚情報、及び/又は、奥行きやCGまでの距離感を振動で伝えることによる触覚情報を演技者に提供し、演技者がCGオブジェクトとのインタラクションを簡易に行えるように支援する。
即ち、本発明のバーチャルスタジオ用フィードバックシステムは、バーチャルスタジオにおける演技者の演技を支援するバーチャルスタジオ用フィードバックシステムであって、所定のCGオブジェクトと当該演技者との位置関係を当該演技者に視覚確認させるために、当該演技者の目線の位置と該CGオブジェクトの3次元位置を結ぶ投射空間との交差面となる所定の実セットの位置上に、前記CGオブジェクトの位置を表すCG描画映像を間欠的に投影するプロジェクタと、前記CG描画映像の投影期間以外の期間に、前記CGオブジェクトから所定の距離に位置する当該演技者を含む実セットを間欠的に撮影する撮影カメラと、前記CGオブジェクトに対応するレンダリング画像を前記撮影カメラが撮影した画像に合成し、合成映像を生成する合成映像生成手段と、当該演技者を被写体として、当該演技者の目線の位置を含む該被写体の3次元位置を特定する3次元位置センサと、前記3次元位置センサによる当該演技者の位置情報に基づいて、当該演技者とCGオブジェクトとの位置関係を算出する位置関係算出手段と、算出した該位置関係に応じて前記プロジェクタが投影するCG描画映像の描画を制御するプロジェクタ用描画制御手段とを備え、当該演技者と前記CGオブジェクトとの位置関係を、視覚情報で当該演技者の演技を支援することを特徴とする。
また、本発明のバーチャルスタジオ用フィードバックシステムにおいて、前記CGオブジェクトと当該演技者との位置関係を当該演技者に触覚確認させるために、当該演技者に具備させる振動素子と、当該演技者と前記CGオブジェクトとの位置関係に応じて前記振動素子の振動を制御する振動素子用制御手段とを更に備え、当該演技者と前記CGオブジェクトとの位置関係を、触覚情報で当該演技者の演技を支援することを特徴とする。
また、本発明のバーチャルスタジオ用フィードバックシステムにおいて、前記振動素子は、前記CGオブジェクトとの距離を識別するための振動素子を含むことを特徴とする。
また、本発明のバーチャルスタジオ用フィードバックシステムにおいて、前記振動素子は、各々が前記CGオブジェクトに対する上下左右の位置関係を識別可能な複数の振動素子を含むことを特徴とする。
また、本発明のバーチャルスタジオ用フィードバックシステムにおいて、前記CGオブジェクトと当該演技者の位置関係は、当該演技者の視点の位置及びCGとインタラクションを行う身体部位に基づいて、規定されていることを特徴とする。
本発明によれば、演技者の目線に合ったCGオブジェクトを含むCG描画映像を提供することができる。さらに、本発明によれば、振動素子による振動でCGオブジェクトに対する位置関係(距離を含む)を知らせることにより、演技者にCGオブジェクトとの距離感を的確に理解させることが可能で、バーチャルスタジオ内でCGとのインタラクションをスムーズに行うことができるようになる。
本発明によれば、バーチャルスタジオにおいて、撮影に影響を及ぼさずに、プロジェクタから演技者の視点が見えるCG表示と、振動情報とを与えるため、演技者がモニタの確認をすることなく演技が可能になる。また、プロジェクタによる視覚提示のみや振動による触覚提示のみの状態でも状態把握に有効であるが、2つを合わせることで、演技者は、より正確なCGの3次元位置を把握して、CGとのインタラクションを容易に行うことができるようになる。
以下に、図面を参照して、本発明による実施例のバーチャルスタジオ用フィードバックシステムを説明する。尚、同様な構成要素には、同一の参照番号を付して説明する。
[システム構成]
図1に本発明による実施例のバーチャルスタジオ用フィードバックシステムの概略系統図を示す。本実施例のバーチャルスタジオ用フィードバックシステムは、バーチャルスタジオにおける演技者11の演技を支援するためのシステムであり、撮影カメラ1、バーチャルスタジオ用CG描画装置2、合成装置3、3次元位置センサ4、プロジェクタ用描画制御装置5、振動素子制御装置6、プロジェクタ7、振動素子8、3次元位置センサ制御装置9、モニタ10、及び実セット12を備える。
図1に本発明による実施例のバーチャルスタジオ用フィードバックシステムの概略系統図を示す。本実施例のバーチャルスタジオ用フィードバックシステムは、バーチャルスタジオにおける演技者11の演技を支援するためのシステムであり、撮影カメラ1、バーチャルスタジオ用CG描画装置2、合成装置3、3次元位置センサ4、プロジェクタ用描画制御装置5、振動素子制御装置6、プロジェクタ7、振動素子8、3次元位置センサ制御装置9、モニタ10、及び実セット12を備える。
撮影カメラ1は、前述した撮影・投影時分割切り替え方式を用いて、CG描画映像の投影期間以外の期間に、CGオブジェクトから所定の距離に位置する演技者を含む実セットを間欠的に撮影するカメラであり、バーチャルスタジオ用のカメラとして知られるバーチャルスタジオカメラを用いる。バーチャルスタジオでは、撮影カメラ1に連動したCG描画を行うため、撮影カメラ1は、撮影したカメラ映像信号と、撮影映像の画角を特定するためのカメラパラメータ(パン値、チルト値、ズーム値、フォーカス値)とを出力する。
バーチャルスタジオ用CG描画装置2は、撮影カメラ1からカメラパラメータを取得して、カメラ映像に対応するカメラパラメータに連動させたCGオブジェクト15aを描画する。描画するCGオブジェクト15aは、バーチャルスタジオにおけるCGオブジェクト15に対応するレンダリング画像である。
合成装置3は、撮影カメラ1から供給されるカメラ映像信号からカメラ出力映像を生成し、該カメラ出力映像とバーチャルスタジオ用CG描画装置2から供給されるCGオブジェクト15aの描画映像とを合成して合成映像を生成し、モニタ10に出力する。この合成映像10aが、バーチャルスタジオの出力となり、撮影カメラ1が具備するモニタに表示させることもできる。合成映像10aにおける実セット映像12a、描画したCGオブジェクト15a及び演技者映像11bは、それぞれ実セット12、CGオブジェクト15及び演技者11に対応する。
3次元位置センサ4は、演技者11を被写体として、演技者11の目線の位置11aを含む該被写体の3次元位置を特定する。より具体的には、3次元位置センサ4は、所定の距離間隔で配置した少なくとも2台以上の環境カメラを用いて構成することができる。3次元位置センサ制御装置9は、3次元位置センサ4を構成する各環境カメラを同期撮影するように制御し、同期撮影した出力画像から特徴点を抽出し、各環境カメラの出力画像における特徴点の対応点探索を行って、ステレオ法を用いて特徴点の3次元座標を推定する。特に、演技者の移動を検出するには、3次元座標における特徴点の移動を検出することで、演技者11の視点の位置11aや手指などの動きも検出することができる。また、ステレオカメラで3次元座標を推定する方式以外に、磁気式やその他の三次元センサを用いても撮影に影響を及ぼさない方式であればどのような手法でも構わない。
プロジェクタ用描画制御装置5は、3次元位置センサ4による当該演技者の位置情報、及び、CGオブジェクト15に対応するレンダリング画像のCGオブジェクト15aに応じて、演技者11とCGオブジェクト15との位置関係を算出し、算出した該位置関係に基づいてプロジェクタ7が投影するCG描画映像の描画を制御する。
振動素子制御装置6は、3次元位置センサ4による当該演技者の位置情報、及び、CGオブジェクト15に対応するレンダリング画像のCGオブジェクト15aに応じて、演技者11とCGオブジェクト15との位置関係を算出し、振動素子8の振動を制御する。CGオブジェクト15と演技者11との位置関係を、演技者11に触覚確認させるために、演技者11には振動素子8が具備されている。
プロジェクタ7は、CGオブジェクト15と演技者11との位置関係を、演技者11に視覚確認させるために、演技者11の目線の位置11aとCGオブジェクト15の3次元位置を結ぶ投射空間との交差面となる実セット12上に、CGオブジェクト15の位置を表すCG描画映像を間欠的に投影する。具体的には、プロジェクタ7の投影は、前述した撮影・投影時分割切り替え方式を行うか、又はカメラの電子シャッタのタイミングに合ったメカニカルシャッタのON/OFFを行う。このCG描画映像は、演技者11の視点11aから見たCGとして対応するようにマッピングした映像である。このCG描画映像は、図2を参照して詳しく説明するが、予め定めた位置に配置したプロジェクタ7の位置と、3次元位置センサ4により検出した視点11aの情報と、実際に投影する実セット12の面の位置と、合成画像10a(又はカメラパラメータの値)の情報とから特定することができる。
本実施例のバーチャルスタジオ用フィードバックシステムであれば、スタジオセットにおける演技者11が、CGオブジェクト15をモニタで確認することがなくとも、以下の方法でCGオブジェクト15の位置を適切に演技者11に伝えることができる。
まず、演技者11とCGオブジェクト15とのインタラクション動作するべき位置について、3次元位置センサ4及び3次元位置センサ制御装置9で、被写体(演技者11)の3次元位置検出を行い、プロジェクタ用CG描画装置5で、演技者11の視点から見たCGオブジェクト15の3次元位置と視点を結ぶ投射空間とプロジェクタの投射面にCGオブジェクト15に対応するマッピング画像14が映るようにCG描画を行い、プロジェクタ7で投影する(図を参照して、後述する)。これにより、演技者11は、CGオブジェクト15の視覚情報を得ることができる。
また、3次元位置センサ4及び3次元位置センサ制御装置9で検出した被写体(演技者11)の3次元位置を振動素子制御装置6に送出し、振動素子制御装置6は、CGオブジェクト15の3次元位置との位置関係を計算し、その位置関係に応じて演技者に取り付けた振動素子8の制御を行う(図3を参照して、後述する)。これにより、演技者11は、CGオブジェクト15の触覚情報を得ることができる。
以上のように、本実施例のバーチャルスタジオ用フィードバックシステムであれば、バーチャルスタジオの映像を出力時に、スタジオセット内では演技者11がCGオブジェクト15を把握しながら演技することが可能となる。
次に、図2を参照して、プロジェクタ用CG描画装置5におけるCG描画の手法を説明する。まず、得られた被写体11の3次元位置情報により視点の位置11aを求め、その視点の位置11aから見たCGをレンダリング画像17とする。
ここで、例えばプロジェクタ投影面として用いる実セット12は机や壁などを含み、この実セット12とは別に、演技者が、スタジオセットとして机などの別の実セット22とCGオブジェクト15とを利用する場合を想定する。この場合、実セット22にCGオブジェクト15が部分的に隠れることを考慮して、バーチャルスタジオ用CG描画装置2は、実セット22の3次元位置データとCGオブジェクト15の3次元位置データとをプロジェクタ用CG描画装置5に供給する。プロジェクタ用CG描画装置5は、実セット22の3次元位置を透過表示として、CGオブジェクト15の3次元位置を表示するレンダリング画像17を一旦生成する。
次に、プロジェクタ用CG描画装置5は、レンダリング映像17を予め定められたプロジェクタ投影面16にマッピングするCG描画映像17aを生成する。つまり、プロジェクタ用CG描画装置5の制御により、プロジェクタ7は、マッピングしたCG描画映像17aをプロジェクタ投影面16aで図1における実セット12の面に投影するように動作する。これにより、視点の位置11aから見たCGを表現することができる。従って、CGを視点から奥行き方向に結んだ投影面に合成映像と対応が取れたCGが映るため、演技者は、CGオブジェクト15の方向を視覚的に理解でき、演技がしやすくなる。
また、プロジェクタ7は、撮影・投影時分割切り替え方式を行うか、又はカメラの電子シャッタのタイミングに合ったメカニカルシャッタのON/OFFを行うことで、撮影に悪影響を及ぼすことはない。
次に、図3を参照して、振動素子制御装置6及び振動素子8における振動情報の提示方法を説明する。CGオブジェクト15と被写体(演技者11)の位置関係を振動素子制御装置6で計算し、図3のベクトルLと角度θで表すことができる。例えば、振動素子8を、中央の振動素子8aと周囲(上下左右)の振動素子8b,8c,8d,8eに分け、被写体(演技者11)の身体における背面に配置する。振動素子制御装置6は、距離に関する情報伝達を中央の振動素子8aに割り当てて制御する。
中央の振動素子8aにおける振動開始距離をM以下と設定し、CGオブジェクト15が被写体(演技者11)に近づくほど、中央の振動素子8aの振動具合(例えば、振幅)が強くなり、周囲(上下左右)の振動素子8b,8c,8d,8eは、M/2で振動具合(例えば、振幅)が最強になるようにして、被写体である演技者11がCGオブジェクト15と被写体(演技者11)の位置関係を身体で感じることができるようにする。本例では、M=Lであれば、振動素子8で振動を停止するように設定する。このような振動素子8の具体例として、それぞれ5個の小型振動モータをゴムシートに挟み込み、演技者11の背中に取り付けるようにする。尚、各振動素子間の距離は、経験的に定めた背中の触覚識別の2点間距離の閾(40mm程度)を超えるように、約90mmに設定することで実現することができる。
各振動素子の振動時間は、被写体(演技者11)の3次元位置(例えば、高さhの位置を基準する)とCGオブジェクトの位置関係から、例えば距離Lにより、中央の振動素子8aと周囲(上下左右)の振動素子8b,8c,8d,8eが交互に振動するように制御する。更に、周囲の振動素子は、方向θにより、上(又は下)と左(又は右)の振動素子が、それぞれsinθ、cosθの割合で振動するように制御する。
このようなシステムにおいて、映像製作の際のCGと演技者のインタラクションとして、CGセットに向かう演技や、3次元空間上のCGオブジェクトに手を差し伸べる演技をも可能になる。例えば、3次元位置センサ4及び3次元位置センサ制御装置9により、演技者11の手指の位置を検出し、CGオブジェクト15と手指の位置関係に従って振動させ、振動素子制御装置6及び振動素子8により、CGオブジェクト15への手指の接近状況を演技者11に伝えるようにする。
さらに、3次元位置センサ4で、より正確な手指の位置検出を所望する場合には、手指にLEDを装着してステレオ法による画像処理を行い、手指の3次元位置を求めるようにしてもよい。尚、LEDを装着させる場合、撮影カメラ1にて撮像上の問題が無いような位置に装着させるか、又は赤外LEDを用いるようにして、撮影カメラ1にて赤外カットフィルタを装備するようにしてもよい。
これにより、CGと被写体間の距離や方向を振動で理解可能である。背中に振動素子を装着する例を挙げたが、任意の触角用デバイスで、且つ、任意の個数で、撮影に影響を及ぼさないように隠れる身体部位とすれば他の部位でも構わない。
次に、本発明による実施例のバーチャルスタジオ用フィードバックシステムの動作シーケンスとして説明する。
[システム動作]
図4を参照して、ステップS1で、バーチャルスタジオ用CG描画装置2は、撮影カメラ1からカメラ映像信号に関連付けられたカメラパラメータを取得して、カメラワークを把握する。
図4を参照して、ステップS1で、バーチャルスタジオ用CG描画装置2は、撮影カメラ1からカメラ映像信号に関連付けられたカメラパラメータを取得して、カメラワークを把握する。
ステップS2で、バーチャルスタジオ用CG描画装置2は、バーチャルスタジオ用のCGオブジェクト15aを描画計算する。
ステップS3で、合成装置3は、CGオブジェクトとカメラ映像を合成し、バーチャルスタジオの合成映像を出力する。
一方、ステップS4で、プロジェクタ用CG描画装置5及び振動素子制御装置6は、バーチャルスタジオ用CG描画装置2から、カメラパラメータとCGオブジェクト15aの描画のタイミングの情報を取得する。
ステップS4と並行して、ステップS5で、3次元位置センサ4及び3次元位置センサ制御装置9によって被写体(演技者11)の3次元位置を検出し、被写体(演技者11)の3次元位置の位置情報をプロジェクタ用CG描画装置5と振動素子制御装置6に送出する。
ステップS6で、プロジェクタ用CG描画装置5と振動素子制御装置6は、それぞれ、カメラパラメータとCGオブジェクト15aの描画のタイミングの情報と、被写体(演技者11)の3次元位置の位置情報とから、CGオブジェクト15と被写体11の位置関係を計算する。尚、プロジェクタ用CG描画装置5と振動素子制御装置6は、プロジェクタ用CG描画装置5から、カメラパラメータとCGオブジェクト15aの描画のタイミングの代わりにCGオブジェクト15aを取得してフレーム単位で比較演算を行うことや、或いは又、フレーム間のCGオブジェクト15aの変化分の座標位置情報を取得するようにしてもよい。いずれにしろ、プロジェクタ用CG描画装置5と振動素子制御装置6は、被写体(演技者11)の3次元位置の位置情報、及び、プロジェクタ用CG描画装置5から取得したCGオブジェクト15aの情報に応じて、CGオブジェクト15と被写体11の位置関係を計算する。
ステップS7で、振動素子制御装置6は、CGオブジェクト15と被写体11の位置関係に基づいて、予め定めた制御方法で振動素子8のタイミングを制御し、被写体11に対する触覚確認のために振動素子8を振動させる(ステップS8)。
一方、ステップS9で、プロジェクタ用CG描画装置5は、CGオブジェクト15と被写体11の位置関係に基づいて、プロジェクタ7のCGの描画を計算し、被写体11に対する触覚確認のために新たに描画したCGをプロジェクタ7に投影させる(ステップS10)。
これにより、本実施例のバーチャルスタジオ用フィードバックシステムによれば、演技者の目線に合ったCGオブジェクトを含むCG描画映像を提供することができる。さらに、本実施例のバーチャルスタジオ用フィードバックシステムによれば、振動素子8による振動でCGオブジェクトに対する位置関係及び距離を知らせることにより、CGオブジェクト15との距離感を演技者に的確に理解させることができる。
上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、本発明の理解のためにプロジェクタ用CG描画装置5と振動素子制御装置6を別々の装置として説明し、或いは又、バーチャルスタジオ用CG描画装置2及び合成装置3を別々の装置として説明したが、それぞれ1つの装置として構成することも可能である。また、振動素子に用いるデバイスや個数、並びに演技者に具備させる位置についても単なる実施例として示したにすぎないものである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。
本発明のバーチャルスタジオ用フィードバックシステムによれば、演技者は視覚情報及び/又は触覚情報に基づいてバーチャルスタジオ内にて的確に演技を行うことができるようになり、バーチャルスタジオを扱うあらゆる用途に有用である。
1 撮影カメラ
2 バーチャルスタジオ用CG描画装置
3 合成装置
4 3次元位置センサ
5 プロジェクタ用描画制御装置
6 振動素子制御装置
7 プロジェクタ
8 振動素子
8a 中央の振動素子
8b,8c 上下の振動素子
8d,8e 左右の振動素子
9 3次元位置センサ制御装置
10 モニタ
11 演技者
11a 演技者の視点位置
11b 演技者映像
12 プロジェクタ投影面に用いる実セット
14 CGオブジェクトのマッピング画像
15 CGオブジェクト
16 プロジェクタ投影面
16a プロジェクタ投影面
17 レンダリング映像
17a CG描画映像
22 別の実セット
2 バーチャルスタジオ用CG描画装置
3 合成装置
4 3次元位置センサ
5 プロジェクタ用描画制御装置
6 振動素子制御装置
7 プロジェクタ
8 振動素子
8a 中央の振動素子
8b,8c 上下の振動素子
8d,8e 左右の振動素子
9 3次元位置センサ制御装置
10 モニタ
11 演技者
11a 演技者の視点位置
11b 演技者映像
12 プロジェクタ投影面に用いる実セット
14 CGオブジェクトのマッピング画像
15 CGオブジェクト
16 プロジェクタ投影面
16a プロジェクタ投影面
17 レンダリング映像
17a CG描画映像
22 別の実セット
Claims (5)
- バーチャルスタジオにおける演技者の演技を支援するバーチャルスタジオ用フィードバックシステムであって、
所定のCGオブジェクトと当該演技者との位置関係を当該演技者に視覚確認させるために、当該演技者の目線の位置と該CGオブジェクトの3次元位置を結ぶ投射空間との交差面となる所定の実セットの位置上に、前記CGオブジェクトの位置を表すCG描画映像を間欠的に投影するプロジェクタと、
前記CG描画映像の投影期間以外の期間に、前記CGオブジェクトから所定の距離に位置する当該演技者を含む実セットを間欠的に撮影する撮影カメラと、
前記CGオブジェクトに対応するレンダリング画像を前記撮影カメラが撮影した画像に合成し、合成映像を生成する合成映像生成手段と、
当該演技者を被写体として、当該演技者の目線の位置を含む該被写体の3次元位置を特定する3次元位置センサと、
前記3次元位置センサによる当該演技者の位置情報に基づいて、当該演技者とCGオブジェクトとの位置関係を算出する位置関係算出手段と、
算出した該位置関係に応じて前記プロジェクタが投影するCG描画映像の描画を制御するプロジェクタ用描画制御手段とを備え、
当該演技者と前記CGオブジェクトとの位置関係を、視覚情報で当該演技者の演技を支援することを特徴とする、バーチャルスタジオ用フィードバックシステム。 - 前記CGオブジェクトと当該演技者との位置関係を当該演技者に触覚確認させるために、当該演技者に具備させる振動素子と、
当該演技者と前記CGオブジェクトとの位置関係に応じて前記振動素子の振動を制御する振動素子用制御手段とを更に備え、
当該演技者と前記CGオブジェクトとの位置関係を、触覚情報で当該演技者の演技を支援することを特徴とする、請求項1に記載のバーチャルスタジオ用フィードバックシステム。 - 前記振動素子は、前記CGオブジェクトとの距離を識別するための振動素子を含むことを特徴とする、請求項1又は2に記載のバーチャルスタジオ用フィードバックシステム。
- 前記振動素子は、各々が前記CGオブジェクトに対する上下左右の位置関係を識別可能な複数の振動素子を含むことを特徴とする、請求項1〜3のいずれか一項に記載のバーチャルスタジオ用フィードバックシステム。
- 前記CGオブジェクトと当該演技者の位置関係は、当該演技者の視点の位置及びCGとインタラクションを行う身体部位に基づいて、規定されていることを特徴とする、請求項1〜4のいずれか一項に記載のバーチャルスタジオ用フィードバックシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008050852A JP2009212582A (ja) | 2008-02-29 | 2008-02-29 | バーチャルスタジオ用フィードバックシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008050852A JP2009212582A (ja) | 2008-02-29 | 2008-02-29 | バーチャルスタジオ用フィードバックシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009212582A true JP2009212582A (ja) | 2009-09-17 |
Family
ID=41185353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008050852A Withdrawn JP2009212582A (ja) | 2008-02-29 | 2008-02-29 | バーチャルスタジオ用フィードバックシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009212582A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101530634B1 (ko) * | 2010-11-01 | 2015-06-23 | 한국전자통신연구원 | 체험형 학습 콘텐츠 저작 장치 및 방법 |
US9621821B2 (en) | 2013-03-12 | 2017-04-11 | Thomson Licensing | Method for shooting a performance using an unmanned aerial vehicle |
WO2017122270A1 (ja) * | 2016-01-12 | 2017-07-20 | サン電子株式会社 | 画像表示装置 |
CN108833741A (zh) * | 2018-06-21 | 2018-11-16 | 珠海金山网络游戏科技有限公司 | 用于ar与实时动捕相结合的虚拟摄影棚***及其方法 |
KR20220043454A (ko) * | 2020-09-29 | 2022-04-05 | 동신대학교산학협력단 | 리얼타임 프로덕션을 위한 객체 정합 시스템 및 이를 이용한 객체 정합 방법 |
-
2008
- 2008-02-29 JP JP2008050852A patent/JP2009212582A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101530634B1 (ko) * | 2010-11-01 | 2015-06-23 | 한국전자통신연구원 | 체험형 학습 콘텐츠 저작 장치 및 방법 |
US9621821B2 (en) | 2013-03-12 | 2017-04-11 | Thomson Licensing | Method for shooting a performance using an unmanned aerial vehicle |
WO2017122270A1 (ja) * | 2016-01-12 | 2017-07-20 | サン電子株式会社 | 画像表示装置 |
JPWO2017122270A1 (ja) * | 2016-01-12 | 2018-10-11 | サン電子株式会社 | 画像表示装置 |
CN108833741A (zh) * | 2018-06-21 | 2018-11-16 | 珠海金山网络游戏科技有限公司 | 用于ar与实时动捕相结合的虚拟摄影棚***及其方法 |
KR20220043454A (ko) * | 2020-09-29 | 2022-04-05 | 동신대학교산학협력단 | 리얼타임 프로덕션을 위한 객체 정합 시스템 및 이를 이용한 객체 정합 방법 |
KR102430737B1 (ko) * | 2020-09-29 | 2022-08-10 | 동신대학교 산학협력단 | 리얼타임 프로덕션을 위한 객체 정합 시스템 및 이를 이용한 객체 정합 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3379525B1 (en) | Image processing device and image generation method | |
JP4900741B2 (ja) | 画像認識装置および操作判定方法並びにプログラム | |
KR101822471B1 (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
JP4725595B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体 | |
JP5114795B2 (ja) | 画像認識装置および操作判定方法並びにプログラム | |
US11303823B2 (en) | Camera array for a mediated-reality system | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20190138803A1 (en) | Image processing apparatus, image processing system, and image processing method, and program | |
JP2009212582A (ja) | バーチャルスタジオ用フィードバックシステム | |
JP2022183213A (ja) | ヘッドマウントディスプレイ | |
CN113382224B (zh) | 一种基于全息沙盘的交互手柄展示方法及装置 | |
TWI486054B (zh) | A portrait processing device, a three-dimensional image display device, a method and a program | |
JP2010015127A (ja) | 情報表示装置 | |
WO2017104448A1 (ja) | 情報処理装置、3次元モデル生成装置、情報処理装置の制御方法、及び、コンピュータープログラム | |
KR20120048343A (ko) | 파노라마 영상 제공 방법 및 장치 | |
KR20040088159A (ko) | 공간상 움직임에 기반한 입력 시스템 | |
JP6601392B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
JP5520772B2 (ja) | 立体画像の表示システム及び表示方法 | |
JP2013110630A (ja) | 会話映像表示システム | |
JP2007280014A (ja) | 表示パラメータ入力装置 | |
JP2023001850A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN115480643A (zh) | 一种应用于基于ue4全息沙盘的交互方法及装置 | |
JP2019194745A (ja) | 仮想現実システムを用いたインテリア提案システム | |
WO2008029529A1 (fr) | Dispositif de synthèse d'images vidéostéréoscopiques, procédé de génération de données de forme et son programme | |
JP2003006677A (ja) | 三次元コンピュータグラフィックス形状入力・編集装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110510 |