JP4741434B2 - Cg合成装置およびcg合成プログラム - Google Patents
Cg合成装置およびcg合成プログラム Download PDFInfo
- Publication number
- JP4741434B2 JP4741434B2 JP2006212109A JP2006212109A JP4741434B2 JP 4741434 B2 JP4741434 B2 JP 4741434B2 JP 2006212109 A JP2006212109 A JP 2006212109A JP 2006212109 A JP2006212109 A JP 2006212109A JP 4741434 B2 JP4741434 B2 JP 4741434B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- camera
- generating
- generated
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
Description
このとき、カメラの表示部には、実写映像のみが表示されるため、カメラを操作するカメラマンは、CGで生成された仮想物体が、実写映像のどの位置に合成されるのかを認識することができない。そこで、従来は、仮想物体が実際に表示される位置であるスタジオのセットに、予めシール等のマークを付しておき、カメラマンは、そのマークを頼りにカメラ操作を行っていた。
そして、CG合成装置2は、映像合成手段7によって、撮影映像とCGとを合成することでCG合成映像を生成する。
このように生成されたCG合成映像は、放送用映像出力手段8によって、放送用映像として出力されるとともに、カメラ用映像出力手段9によって、カメラCに出力される。
これによって、カメラCの表示部Mには、CGが合成された映像が表示されることになる。
なお、表示部(表示装置)の表示領域にCGを合成する技術については、特許文献1、特許文献2等に開示されている。
まず、マークによって仮想物体の位置を認識する場合、仮想物体の位置を撮影していない状態から、仮想物体の位置を撮影する状態へカメラの向きを変えようとすると、カメラマンは、そのマークの位置を確認するために、撮影現場でマークを目視により確認しなければならない。このとき、カメラマンは、マーク位置の確認と、カメラ操作とを併せて行う必要があるため、カメラ操作が困難になってしまう。
さらに、前記したように、仮想物体が動きを伴う場合、マークではその位置を指定することができない。
また、仮想物体が動きを伴うことにより、カメラの表示部に仮想物体が映っていない状態から、表示部に映し出される状態となる場合、カメラマンは、その動きを正確に把握することができないため、カメラの動きが不自然なものとなってしまう。
そして、CG合成装置は、縮小映像生成手段によって、撮影映像を仮想ズームパラメータで示される縮小比率分だけ縮小した縮小映像を生成する。これによって、カメラの表示部の表示領域に、撮影映像以外に表示可能な領域を確保することができる。
また、CG合成装置は、CG生成手段が、時間の経過に基づいて、タイムコードに対応してCGを生成するオンラインCG生成手段と、再生制御信号に基づいて、時間の経過とは独立して、映像のフレーム単位でCGを生成するオフラインCG生成手段と、を備える構成とした。
そして、CG合成プログラムは、縮小映像生成手段によって、撮影映像を仮想ズームパラメータで示される縮小比率だけ縮小した縮小映像を生成する。これによって、カメラの表示部の表示領域に、撮影映像以外に表示可能な領域を確保することができる。
なお、このCG生成手段は、時間の経過に基づいて、タイムコードに対応してCGを生成し、再生制御信号に基づいて、時間の経過とは独立して、映像のフレーム単位でCGを生成する。
請求項1または請求項3に記載の発明によれば、CGで生成される仮想物体の位置に予めマーク等を付さなくても、カメラマンは、撮影映像に合成されたCGによって仮想物体の位置を認識できるため、視線を表示部から外す必要がなく、カメラ操作を安定して行うことができる。また、本発明によれば、撮影映像の画角よりも広い範囲のCGをカメラの表示部に表示することができるため、カメラマンは、実際には撮影されていない領域においてCGで生成される仮想物体の位置を認識することができる。
また、請求項1または請求項3に記載の発明によれば、CGで生成される仮想物体を、動きを伴う物体として映像に合成することができる。このとき、カメラマンは、カメラを操作する際に、仮想物体が撮影映像内に映し出される前に仮想物体の位置を把握できるため、カメラ操作を安定して行うことができる。
また、請求項1または請求項3に記載の発明によれば、カメラ側からの指示により、CGで生成された仮想物体の動きをCG合成映像としてカメラの表示部に表示することができる。これによって、例えば、カメラマンは、放送用の映像を撮影する際に、事前に仮想物体の動きを認識することができるため、実際に放送用の映像を撮影する際に、カメラ操作を安定して行うことができる。
[バーチャルスタジオの概要]
最初に、図1を参照して、バーチャルスタジオの概要について説明する。図1は、バーチャルスタジオの概要を説明するための概略構成図である。
図1に示すように、バーチャルスタジオVは、スタジオセットSと、カメラCと、CGデータを記憶したCGデータ記憶手段10を備えたCG合成装置1とで概略構成されている。
さらに、カメラCは、カメラパラメータ以外に、表示部Mの表示領域に撮影映像を表示する際の縮小比率(仮想ズーム値)を示す仮想ズームパラメータをCG合成装置1に出力する。
そして、カメラCは、CG合成装置1で生成されたカメラ用映像(CG合成映像)を表示部Mに表示することで、カメラマンに、放送等に使用される実際の映像を提示する。
なお、CGデータ記憶手段10には、図2に示すように、仮想空間上の仮想カメラCVで撮影した際にCGを構成する3次元立体データをCGデータとして記憶しておく。ここでは、3つの仮想物体CG1,CG2,CG3を構成するCGデータが記憶されているものとする。
また、図3(b)に示すように、CG合成装置1は、仮想ズーム値により撮影映像を縮小し、その撮影映像の範囲外に領域を拡げてCGを合成することでカメラ用映像を生成する。このカメラ用映像には、仮想物体CG1およびCG2以外に、撮影映像の領域外に仮想物体CG3が合成されている。
これによって、CGで生成された仮想物体の位置が撮影映像に含まれていない場合であっても、カメラマンは、撮影映像の画角よりも広い範囲で予め仮想物体の位置を認識することができる。
以下、参考例の実施形態に係るCG合成装置1の構成および動作について詳細に説明を行う。
まず、図4を参照して、CG合成装置1の構成について説明する。図4は、参考例の実施形態に係るCG合成装置の構成を示す機能ブロック図である。ここでは、CG合成装置1は、CGデータ記憶手段10と、映像入力手段20と、制御データ入力手段30と、放送用映像生成手段40と、放送用映像出力手段50と、カメラ用映像生成手段60と、カメラ用映像出力手段70とを備えている。
なお、CGが時系列に変化する動画CGである場合は、このCGデータ記憶手段10には、タイムコード(“時”、“分”、“秒”、“フレーム番号”)に対応付けられたCGデータを台本データとして記憶しておく。
この入力された仮想ズームパラメータで示される縮小比率は、カメラCの表示部Mに表示される撮影映像の画角をそのままにして、撮影映像を仮想的に縮小するズーム量を示している。以下、仮想ズームパラメータで示される縮小比率を仮想ズーム値ということにする。この仮想ズーム値は、カメラ用映像生成手段60に出力される。
なお、仮想ズーム値が、“1”(等倍)の場合、縮小映像生成手段61は、映像入力手段20において入力された映像をそのままカメラ用映像合成手段63に出力する。
なお、CGが動画CGである場合、カメラ用CG生成手段62は、図示を省略したタイマ等の計時手段で計時される時間の経過に伴って、CGデータ記憶手段10に記憶されているCGデータから、タイムコードに対応して時系列にCGを生成する。
このCGが合成されたカメラ用映像は、カメラ用映像出力手段70に出力される。
なお、CG合成装置1は、一般的なコンピュータを前記した各手段として機能させるCG合成プログラムによって動作させることができる。
次に、図5を参照(適宜図4参照)して、CG合成装置1の動作について説明する。図5は、参考例の実施形態に係るCG合成装置の動作を示すフローチャートである。
まず、CG合成装置1は、制御データ入力手段30によって、カメラCから、種々の制御データ(カメラパラメータおよび仮想ズーム値)を入力する(ステップS1)。具体的には、CG合成装置1は、カメラパラメータ入力手段31によって、カメラパラメータ(パン値、チルト値、ズーム値、フォーカス値)を入力し、仮想ズームパラメータ入力手段32によって、仮想ズーム値(縮小比率)を入力する。
さらに、CG合成装置1は、映像入力手段20によって、カメラCから映像(映像信号)を入力する(ステップS2)。
そして、CG合成装置1は、放送用映像出力手段50によって、ステップS4で生成した放送用映像(放送用CG合成映像)を外部に出力する(ステップS5)。
さらに、CG合成装置1は、カメラ用CG生成手段62によって、ステップS1で入力したカメラパラメータと仮想ズーム値とに基づいて、CGデータ記憶手段10に記憶されているCGデータから、カメラCの表示部Mの表示領域分のCG(カメラ用CG)を生成する(ステップS8)。
そして、CG合成装置1は、図示を省略した操作スイッチ等により動作の終了が指示された場合(ステップS11でYes)、動作を終了する。一方、動作の終了が指示されていない場合(ステップS11でNo)、CG合成装置1は、ステップS1に戻って動作を継続する。
また、放送用映像を生成・出力するステップS3〜S5の処理と、カメラ用映像を生成・出力するステップS6〜S10の処理とは、順序を換えて動作させてもよいし、並列に動作させることとしてもよい。
次に、図6を参照して、CG合成装置の他の構成について説明する。図6は、本発明の実施形態に係るCG合成装置の構成を示す機能ブロック図である。ここでは、CG合成装置1Bは、CGデータ記憶手段10と、映像入力手段20と、制御データ入力手段30Bと、放送用映像生成手段40と、放送用映像出力手段50と、カメラ用映像生成手段60Bと、カメラ用映像出力手段70とを備えている。
なお、制御データ入力手段30Bおよびカメラ用映像生成手段60B以外の構成については、図4で説明したCG合成装置1の構成と同一のものであるため、同一の符号を付し、説明を省略する。
なお、この再生制御信号には、「シーケンス指示信号」、「再生指示信号」、「逆再生指示信号」、「停止指示信号」、「1フレーム再生指示信号」、「1フレーム逆再生指示信号」、「リセット信号」等を含んでいる。
「逆再生指示信号」は、シーケンス番号で選択されたCGを時間が戻る方向に再生(逆再生)する旨を指示する信号である。
「停止指示信号」は、再生中のCGを停止する旨を指示する信号である。
「1フレーム逆再生指示信号」は、停止しているCGの時系列で1フレーム分前のフレームを再生する旨を指示する信号である。なお、ここでは、1フレーム分前のフレームを再生する旨の信号を例としているが、「nフレーム逆再生指示信号」として、複数フレーム分前のフレームを再生する旨の信号としてもよい。
「リセット信号」は、カメラCから行うCGの再生制御の終了を示す信号である。
ここでは、カメラCにおいて、機能ボタンとして、シーケンス選択ボタンNOを押下されることで「シーケンス指示信号」が出力される。また、再生(Play)ボタンPLを押下されることで「再生指示信号」、逆再生(Rewind)ボタンRWを押下されることで「逆再生指示信号」、停止(Stop)ボタンSPを押下されることで「停止指示信号」が出力される。また、1(n)フレーム再生(Frame++)ボタンFRを押下されることで「1(n)フレーム再生指示信号」、1(n)フレーム逆再生(Frame−−)ボタンBKを押下されることで「1(n)フレーム逆再生指示信号」が出力される。さらに、リセット(Reset)ボタンRSを押下されることで「リセット信号」が出力される。
カメラ用映像生成手段60Bは、カメラCの表示部Mに表示されるカメラ用映像(カメラ用CG合成映像)を生成するもので、縮小映像生成手段61と、カメラ用CG生成手段62Bと、カメラ用映像合成手段63とを備えている。縮小映像生成手段61およびカメラ用映像合成手段63は、図4で説明したCG合成装置1の構成と同一のものであるため説明を省略する。
すなわち、オフラインCG生成手段62cは、再生制御信号により、「再生」、「逆再生」、「1(n)フレーム再生」、「1(n)フレーム逆再生」等のCGをフレーム単位で生成する。
また、例えば、カメラマンが、CGの再生途中に停止ボタンSPを押下し、1(n)フレーム再生ボタンFRや1(n)フレーム逆再生ボタンBKを押下することで、図8(b)に示すように、仮想物体の位置をフレーム単位で確認することができる。
10 CGデータ記憶手段
20 映像入力手段
30 制御データ入力手段
31 カメラパラメータ入力手段
32 仮想ズームパラメータ入力手段
33 再生制御信号入力手段
40 放送用映像生成手段
41 放送用CG生成手段
42 放送用映像合成手段
50 放送用映像出力手段
60 カメラ用映像生成手段
61 縮小映像生成手段
62 カメラ用CG生成手段(CG生成手段)
62a モード切替手段
62b オンラインCG生成手段
62c オフラインCG生成手段
63 カメラ用映像合成手段(映像合成手段)
70 カメラ用映像出力手段(映像出力手段)
Claims (3)
- 撮影映像の画角を特定するカメラパラメータと、カメラに備えられた表示部に前記撮影映像を表示する際の縮小比率を示す仮想ズームパラメータとを個別に調整可能なカメラを用い、当該カメラで撮影された撮影映像にCGを合成して、前記表示部に表示するためのCG合成映像を生成するCG合成装置であって、
タイムコードに対応付けてCGデータを記憶するCGデータ記憶手段と、
前記カメラから、前記撮影映像を入力する映像入力手段と、
前記カメラから、前記カメラパラメータを入力するカメラパラメータ入力手段と、
前記カメラから、前記CGを再生する旨を示す再生制御信号を入力する再生制御信号入力手段と、
前記カメラから、前記仮想ズームパラメータを入力する仮想ズームパラメータ入力手段と、
この仮想ズームパラメータ入力手段で入力された仮想ズームパラメータで示される縮小比率に基づいて、前記撮影映像を縮小した縮小映像を生成する縮小映像生成手段と、
前記カメラパラメータと前記縮小比率とに基づいて、前記CGデータ記憶手段に記憶されているCGデータから、前記表示部の表示領域分のCGを生成するCG生成手段と、
このCG生成手段で生成されたCGと、前記縮小映像生成手段で生成された縮小映像とを合成したCG合成映像を生成する映像合成手段と、
この映像合成手段で生成されたCG合成映像を前記カメラに出力する映像出力手段と、を備え、
前記CG生成手段が、
時間の経過に基づいて、前記タイムコードに対応してCGを生成するオンラインCG生成手段と、
前記再生制御信号に基づいて、前記時間の経過とは独立して、映像のフレーム単位で前記CGを生成するオフラインCG生成手段と、
を備えていることを特徴とするCG合成装置。 - 前記映像合成手段は、前記縮小映像の中心が前記CG合成映像の中心となるように、前記CGと前記縮小映像とを合成することを特徴とする請求項1に記載のCG合成装置。
- 撮影映像の画角を特定するカメラパラメータと、カメラに備えられた表示部に前記撮影映像を表示する際の縮小比率を示す仮想ズームパラメータとを個別に調整可能なカメラを用いて撮影を行う際に、当該カメラで撮影された撮影映像にCGを合成して、前記表示部に表示するためのCG合成映像を生成するために、コンピュータを、
前記カメラから、前記撮影映像を入力する映像入力手段、
前記カメラから、前記カメラパラメータを入力するカメラパラメータ入力手段、
前記カメラから、前記CGを再生する旨を示す再生制御信号を入力する再生制御信号入力手段、
前記カメラから、前記仮想ズームパラメータを入力する仮想ズームパラメータ入力手段、
この仮想ズームパラメータ入力手段で入力された仮想ズームパラメータで示される縮小比率に基づいて、前記撮影映像を縮小した縮小映像を生成する縮小映像生成手段、
前記カメラパラメータと前記縮小比率とに基づいて、CGデータ記憶手段に予めタイムコードに対応付けて記憶されているCGデータから、前記表示部の表示領域分のCGを生成するCG生成手段、
このCG生成手段で生成されたCGと、前記縮小映像生成手段で生成された縮小映像とを合成したCG合成映像を生成する映像合成手段、
この映像合成手段で生成されたCG合成映像を前記カメラに出力する映像出力手段、
として機能させ、
前記CG生成手段が、時間の経過に基づいて、前記タイムコードに対応してCGを生成し、前記再生制御信号に基づいて、前記時間の経過とは独立して、映像のフレーム単位で前記CGを生成することを特徴とするCG合成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006212109A JP4741434B2 (ja) | 2006-08-03 | 2006-08-03 | Cg合成装置およびcg合成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006212109A JP4741434B2 (ja) | 2006-08-03 | 2006-08-03 | Cg合成装置およびcg合成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008040662A JP2008040662A (ja) | 2008-02-21 |
JP4741434B2 true JP4741434B2 (ja) | 2011-08-03 |
Family
ID=39175609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006212109A Expired - Fee Related JP4741434B2 (ja) | 2006-08-03 | 2006-08-03 | Cg合成装置およびcg合成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4741434B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5189673B1 (ja) * | 2011-11-16 | 2013-04-24 | 株式会社コナミデジタルエンタテインメント | 表示装置、表示方法、ならびに、プログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001145096A (ja) * | 1999-11-15 | 2001-05-25 | Sony Corp | 映像表示形態の制御装置及び映像表示形態の制御方法 |
-
2006
- 2006-08-03 JP JP2006212109A patent/JP4741434B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001145096A (ja) * | 1999-11-15 | 2001-05-25 | Sony Corp | 映像表示形態の制御装置及び映像表示形態の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2008040662A (ja) | 2008-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5214826B2 (ja) | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 | |
KR101458645B1 (ko) | 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3d 프로젝션을 제공하는 방법 및 이를 위한 카메라 | |
JP2012242821A (ja) | 表示画像生成方法 | |
JP2010021698A (ja) | 画像処理装置およびプログラム | |
JP4180083B2 (ja) | パノラマ画像作成装置及びパノラマ画像撮影装置 | |
KR20040103754A (ko) | 화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램 | |
JP5393237B2 (ja) | 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JPH08149356A (ja) | 動画表示装置 | |
JP4635477B2 (ja) | 画像撮影装置、擬似3次元画像生成方法、及び、プログラム | |
JP2009004885A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO1998053606A1 (fr) | Imageur et principe correspondant | |
JP2006246307A (ja) | 画像データ処理装置 | |
JP5785038B2 (ja) | 撮影機器 | |
JP4741434B2 (ja) | Cg合成装置およびcg合成プログラム | |
JP2007174301A (ja) | 画像撮影装置 | |
JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
JP2010239464A (ja) | 画像合成装置、画像再生装置及びプログラム | |
JP2011135252A (ja) | 立体映像撮影用カメラ調整補助装置 | |
JP2006270160A (ja) | 画像データ処理装置 | |
JPH10327350A (ja) | 画像生成装置および画像生成方法 | |
JP5411806B2 (ja) | 画像合成装置およびそのプログラム | |
WO2023182026A1 (ja) | 情報処理装置、情報処理システムおよび情報処理装置の制御方法 | |
JP2010148113A (ja) | 情報処理装置、プリントシステムおよび画像合成方法 | |
JP4687748B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
JP2006020137A (ja) | 画像処理装置及び推奨度表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110316 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110506 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |