JPH10210365A - 仮想カメラ装置 - Google Patents
仮想カメラ装置Info
- Publication number
- JPH10210365A JPH10210365A JP9021082A JP2108297A JPH10210365A JP H10210365 A JPH10210365 A JP H10210365A JP 9021082 A JP9021082 A JP 9021082A JP 2108297 A JP2108297 A JP 2108297A JP H10210365 A JPH10210365 A JP H10210365A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual camera
- signal
- camera
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】実写によつて得られる被写体像を、他の画像ソ
ースから供給された背景画像に合成する仮想カメラ装置
において、撮影しようとする被写体像の仮想空間内での
状態を見ることができる仮想カメラ装置を提案する。 【解決手段】仮想カメラ30によつて撮影された被写体
像に対して、別の画像ソースから供給された背景画像を
合成してなる合成画像S51Aを、当該仮想カメラ30
のビユーフアインダ45に表示することにより、撮影者
は実際に撮影している被写体像を合成後の状態で見るこ
とができ、合成される背景像との関わりを意識しながら
被写体を撮影することができる。
ースから供給された背景画像に合成する仮想カメラ装置
において、撮影しようとする被写体像の仮想空間内での
状態を見ることができる仮想カメラ装置を提案する。 【解決手段】仮想カメラ30によつて撮影された被写体
像に対して、別の画像ソースから供給された背景画像を
合成してなる合成画像S51Aを、当該仮想カメラ30
のビユーフアインダ45に表示することにより、撮影者
は実際に撮影している被写体像を合成後の状態で見るこ
とができ、合成される背景像との関わりを意識しながら
被写体を撮影することができる。
Description
【0001】
【目次】以下の順序で本発明を説明する。
【0002】発明の属する技術分野 従来の技術(図28) 発明が解決しようとする課題 課題を解決するための手段 発明の実施の形態 (1)第1実施例(図1〜図9) (2)第2実施例(図10及び図11) (3)第3実施例(図12〜図21) (4)第4実施例(図22及び図23) (5)他の実施例(図24〜図27) 発明の効果
【0003】
【発明の属する技術分野】本発明は仮想カメラ装置に関
し、例えば撮像カメラから得られた画像を変換すること
によつて撮像カメラの位置や移動速度等についての物理
的制約を緩和したり、被写体像を他の画面で構成された
背景に合成する仮想カメラ装置に適用して好適なもので
ある。
し、例えば撮像カメラから得られた画像を変換すること
によつて撮像カメラの位置や移動速度等についての物理
的制約を緩和したり、被写体像を他の画面で構成された
背景に合成する仮想カメラ装置に適用して好適なもので
ある。
【0004】
【従来の技術】従来、デイジタルビデオカメラとして図
28に示す構成のものがある。図28においてデイジタ
ルビデオカメラ1は、全体をシステムコントローラ20
によつて制御され、当該システムコントローラ20から
の制御信号によつて動作するアイリスフオーカス駆動部
21によつて光学系ブロツク2の絞り及びフオーカス
(焦点)が調整される。
28に示す構成のものがある。図28においてデイジタ
ルビデオカメラ1は、全体をシステムコントローラ20
によつて制御され、当該システムコントローラ20から
の制御信号によつて動作するアイリスフオーカス駆動部
21によつて光学系ブロツク2の絞り及びフオーカス
(焦点)が調整される。
【0005】この光学系ブロツク2を介して得られる撮
像光は固体撮像素子(以下これをCCD(Charge Couple
d Device) と呼ぶ)3に入射される。CCD3はタイミ
ング発生回路(TG:Timing Generator)19から出力さ
れるタイミング信号に基づいて動作し、これにより得ら
れる撮像信号S3をCCDアナログ信号処理部4の相関
二重サンプリング回路(CDS:Correlate Double Samp
ling) 5に入力する。相関二重サンプリング回路5は撮
像信号S3からノイズ成分以外の必要なデータ部分を抜
き取り、続く自動利得制御回路(AGC:Automatic Gai
n Control)6で利得制御した後、ニー及びプリガンマ補
正回路7に送出する。
像光は固体撮像素子(以下これをCCD(Charge Couple
d Device) と呼ぶ)3に入射される。CCD3はタイミ
ング発生回路(TG:Timing Generator)19から出力さ
れるタイミング信号に基づいて動作し、これにより得ら
れる撮像信号S3をCCDアナログ信号処理部4の相関
二重サンプリング回路(CDS:Correlate Double Samp
ling) 5に入力する。相関二重サンプリング回路5は撮
像信号S3からノイズ成分以外の必要なデータ部分を抜
き取り、続く自動利得制御回路(AGC:Automatic Gai
n Control)6で利得制御した後、ニー及びプリガンマ補
正回路7に送出する。
【0006】ニー及びプリガンマ補正回路7は、撮像信
号S3に対してニー処理を施すことにより、CCD3か
ら出力される撮像信号S3のダイナミツクレンジを圧縮
し、プリガンマ補正によりデイスプレイ装置のガンマ
(γ)特性に合わせた信号補正を行う。
号S3に対してニー処理を施すことにより、CCD3か
ら出力される撮像信号S3のダイナミツクレンジを圧縮
し、プリガンマ補正によりデイスプレイ装置のガンマ
(γ)特性に合わせた信号補正を行う。
【0007】このようにしてCCDアナログ信号処理が
施された撮像信号S3は、ローパスフイルタ(LPF)
8を介して所定周波数以上の成分が除去される。このよ
うにして得られたアナログ信号処理部4の出力信号S4
は、アナログ/デイジタル変換回路9においてデイジタ
ル信号S9に変換され、デイジタル信号処理部10のカ
メラ信号補正処理部11に送出される。
施された撮像信号S3は、ローパスフイルタ(LPF)
8を介して所定周波数以上の成分が除去される。このよ
うにして得られたアナログ信号処理部4の出力信号S4
は、アナログ/デイジタル変換回路9においてデイジタ
ル信号S9に変換され、デイジタル信号処理部10のカ
メラ信号補正処理部11に送出される。
【0008】デイジタル信号処理部10は、タイミング
発生回路19から出力されるタイミング信号に基づいて
動作する。このデイジタル信号処理部10のカメラ信号
処理部11は、アナログ/デイジタル変換回路9から入
力されるデイシタル信号S9に対してガンマ補正処理、
白/黒レベルバランス処理、シエーデイング補正(レン
ズ周辺部での光量低下を補正して画面全体を均一な明る
さとする)、及び画素欠陥補正処理等をそれぞれメモリ
12を用いて行う。
発生回路19から出力されるタイミング信号に基づいて
動作する。このデイジタル信号処理部10のカメラ信号
処理部11は、アナログ/デイジタル変換回路9から入
力されるデイシタル信号S9に対してガンマ補正処理、
白/黒レベルバランス処理、シエーデイング補正(レン
ズ周辺部での光量低下を補正して画面全体を均一な明る
さとする)、及び画素欠陥補正処理等をそれぞれメモリ
12を用いて行う。
【0009】このようにして補正処理が施されたデイジ
タル信号S11は、インターレースビデオエンコーダ1
3において例えばNTSC方式のデイジタルビデオ信号
SOUT1に変換され、デイジタルインタフエイス(I/
F)14を介して出力端(図示せず)からデイジタル信
号のまま出力されるとともに、ビユーフアインダ18に
供給される。
タル信号S11は、インターレースビデオエンコーダ1
3において例えばNTSC方式のデイジタルビデオ信号
SOUT1に変換され、デイジタルインタフエイス(I/
F)14を介して出力端(図示せず)からデイジタル信
号のまま出力されるとともに、ビユーフアインダ18に
供給される。
【0010】またインターレースビデオエンコーダ13
から出力されたデイジタルビデオ信号は、デイジタル/
アナログ変換回路16及びローパスフイルタ17を介し
てアナログビデオ信号SOUT2に変換され、所定の出力端
(図示せず)から出力されるとともに、ビユーフアイン
ダ18に供給される。ビユーフアインダ18は、デイジ
タルビデオ信号SOUT1又はアナログビデオ信号SOUT2を
入力することによつて、CCD3を介して撮像された画
像を可視表示する。
から出力されたデイジタルビデオ信号は、デイジタル/
アナログ変換回路16及びローパスフイルタ17を介し
てアナログビデオ信号SOUT2に変換され、所定の出力端
(図示せず)から出力されるとともに、ビユーフアイン
ダ18に供給される。ビユーフアインダ18は、デイジ
タルビデオ信号SOUT1又はアナログビデオ信号SOUT2を
入力することによつて、CCD3を介して撮像された画
像を可視表示する。
【0011】因みに、デイジタル信号処理部10はCC
D3に合わせて、クロツク周波数が18[MHz] で動作する
のに対して、デイジタル信号処理部10から出力される
デイジタルビデオ信号SOUT1としてD1フオーマツトの
ビデオ信号を得る場合、レート変換回路15を用いて1
3.5[MHz] にレート変換するようになされている。
D3に合わせて、クロツク周波数が18[MHz] で動作する
のに対して、デイジタル信号処理部10から出力される
デイジタルビデオ信号SOUT1としてD1フオーマツトの
ビデオ信号を得る場合、レート変換回路15を用いて1
3.5[MHz] にレート変換するようになされている。
【0012】
【発明が解決しようとする課題】ところで、かかる構成
のデイジタルビデオカメラ1を用いて撮像した被写体像
に他の映像を背景映像として合成したり、撮像された被
写体像を変形させてあたかもデイジタルビテオカメラ1
の撮像位置(カメラアングル)を変えたような効果を得
る方法(以下これを仮想カメラと呼ぶ)が考えられてい
る。
のデイジタルビデオカメラ1を用いて撮像した被写体像
に他の映像を背景映像として合成したり、撮像された被
写体像を変形させてあたかもデイジタルビテオカメラ1
の撮像位置(カメラアングル)を変えたような効果を得
る方法(以下これを仮想カメラと呼ぶ)が考えられてい
る。
【0013】ところが、かかる仮想カメラにおいては、
仮想カメラの出力に対して背景映像を合成したり、被写
体像を変形させることによつて当該被写体像を仮想空間
内に任意に配置させるといつた処理を施すようになされ
ている。従つて、仮想カメラのビユーフアインダには合
成前、変形前の被写体像のみが表示され、撮影者は、当
該ビユーフアインダの映像だけでは、合成後、変形後の
仮想空間内での状態を見ることが困難であつた。
仮想カメラの出力に対して背景映像を合成したり、被写
体像を変形させることによつて当該被写体像を仮想空間
内に任意に配置させるといつた処理を施すようになされ
ている。従つて、仮想カメラのビユーフアインダには合
成前、変形前の被写体像のみが表示され、撮影者は、当
該ビユーフアインダの映像だけでは、合成後、変形後の
仮想空間内での状態を見ることが困難であつた。
【0014】本発明は以上の点を考慮してなされたもの
で、撮影しようとする被写体像の仮想空間内での状態を
見ることができる仮想カメラ装置を提案しようとするも
のである。
で、撮影しようとする被写体像の仮想空間内での状態を
見ることができる仮想カメラ装置を提案しようとするも
のである。
【0015】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、実写によつて得られる被写体像
を、他の画像ソースから供給された背景画像に合成する
仮想カメラ装置において、実写による被写体像と、背景
画像とを合成してビユーフアインダに送出する合成手段
を備えることにより、仮想カメラによつて撮影された被
写体像に対して、別の画像ソースから供給された背景画
像を合成してなる合成画像を、当該仮想カメラのビユー
フアインダに表示することができる。従つて、撮影者は
実際に撮影している被写体像を合成後の状態で見ること
ができ、合成される背景像との関わりを意識しながら被
写体を撮影することができる。
め本発明においては、実写によつて得られる被写体像
を、他の画像ソースから供給された背景画像に合成する
仮想カメラ装置において、実写による被写体像と、背景
画像とを合成してビユーフアインダに送出する合成手段
を備えることにより、仮想カメラによつて撮影された被
写体像に対して、別の画像ソースから供給された背景画
像を合成してなる合成画像を、当該仮想カメラのビユー
フアインダに表示することができる。従つて、撮影者は
実際に撮影している被写体像を合成後の状態で見ること
ができ、合成される背景像との関わりを意識しながら被
写体を撮影することができる。
【0016】
【発明の実施の形態】以下図面について、本発明の一実
施例を詳述する。
施例を詳述する。
【0017】(1)第1実施例の全体構成 図1において30は全体として仮想カメラ装置のシステ
ム構成を示し、仮想カメラ本体31は、パーソナルコン
ピユータPC等によつて制御されるとともに、当該仮想
カメラ本体31によつて撮影された映像をパーソナルコ
ンピユータPCに出力することができる。
ム構成を示し、仮想カメラ本体31は、パーソナルコン
ピユータPC等によつて制御されるとともに、当該仮想
カメラ本体31によつて撮影された映像をパーソナルコ
ンピユータPCに出力することができる。
【0018】仮想カメラ本体31には、当該仮想カメラ
本体31の位置、移動方向、移動速度等を検出するカメ
ラ幾何情報センサ29が設けられており、当該カメラ幾
何情報センサ29によつて検出された幾何情報は、幾何
情報信号S29としてビデオ装置51、52に送出され
る。ビデオ装置51、52は、立体(3D)コンピユー
タグラフイツクス画像(以下これをCG画像と呼ぶ)を
発生するコンピユータグラフイツクス発生装置及びビデ
オデータベースによつて構成され、カメラ幾何情報セン
サ29から供給される幾何情報によつてCG画像に対し
て幾何変形処理を施す。このようにして生成されたCG
画像は、CG画像信号S51A及びCGキー制御信号S
51Bとして仮想カメラ本体31に送出される。
本体31の位置、移動方向、移動速度等を検出するカメ
ラ幾何情報センサ29が設けられており、当該カメラ幾
何情報センサ29によつて検出された幾何情報は、幾何
情報信号S29としてビデオ装置51、52に送出され
る。ビデオ装置51、52は、立体(3D)コンピユー
タグラフイツクス画像(以下これをCG画像と呼ぶ)を
発生するコンピユータグラフイツクス発生装置及びビデ
オデータベースによつて構成され、カメラ幾何情報セン
サ29から供給される幾何情報によつてCG画像に対し
て幾何変形処理を施す。このようにして生成されたCG
画像は、CG画像信号S51A及びCGキー制御信号S
51Bとして仮想カメラ本体31に送出される。
【0019】従つて、仮想カメラ本体31は、当該仮想
カメラ本体31によつて撮影した被写体像に対して、当
該仮想カメラ本体31のカメラアングルに応じて変化す
るCG画像を背景画像として合成することができる。こ
のようにして実写の被写体像とCG画像による背景像と
が合成されたデイジタルの仮想カメラビデオ信号S46
及びアナログの仮想カメラビデオ信号S48は、ビデオ
装置VTRに送出され、記録され例えば編集素材として
用いられる。
カメラ本体31によつて撮影した被写体像に対して、当
該仮想カメラ本体31のカメラアングルに応じて変化す
るCG画像を背景画像として合成することができる。こ
のようにして実写の被写体像とCG画像による背景像と
が合成されたデイジタルの仮想カメラビデオ信号S46
及びアナログの仮想カメラビデオ信号S48は、ビデオ
装置VTRに送出され、記録され例えば編集素材として
用いられる。
【0020】図2は、仮想カメラ装置30の仮想カメラ
本体31及びCG画像作成装置51、過去画像データベ
ース(DB)装置52の全体構成を示す。仮想カメラ本
体31は、カメラ信号処理部30Aにおいて、レンズ及
び絞りからなるレンズブロツク32は、システムコント
ローラ50によつてフオーカス(焦点)及び絞りが調節
される。このレンズブロツク32を介してCCD33に
入射した被写体の撮像光は、当該CCD33において光
電変換されることにより撮像信号S33を得る。因み
に、CCD33は、ノンイターレース方式で画像を生成
するようになされている。
本体31及びCG画像作成装置51、過去画像データベ
ース(DB)装置52の全体構成を示す。仮想カメラ本
体31は、カメラ信号処理部30Aにおいて、レンズ及
び絞りからなるレンズブロツク32は、システムコント
ローラ50によつてフオーカス(焦点)及び絞りが調節
される。このレンズブロツク32を介してCCD33に
入射した被写体の撮像光は、当該CCD33において光
電変換されることにより撮像信号S33を得る。因み
に、CCD33は、ノンイターレース方式で画像を生成
するようになされている。
【0021】撮像信号S33はCCD用のアナログ信号
処理部34に入力され、相関二重サンプリング処理、ニ
ー及びガンマ補正処理等が施された後、ローパスフイル
タ35に送出される。ローパスフイルタ35は、CCD
33の動作周波数の限界周波数によつて決まる最大周波
数帯域以上をほぼ除去し、これをオーバサンプリング可
能なアナログ/デイジタル変換回路36に送出する。ア
ナログ/デイジタル変換回路36は、ローパスフイルタ
35から出力されるアナログ信号をデイジタル信号S3
6に変換し、これをレート変換回路37を介して、カメ
ラ用デイジタル信号処理部38におけるクロツク周波数
にレート変換した後、これをカメラ用デイジタル信号処
理部38に送出する。
処理部34に入力され、相関二重サンプリング処理、ニ
ー及びガンマ補正処理等が施された後、ローパスフイル
タ35に送出される。ローパスフイルタ35は、CCD
33の動作周波数の限界周波数によつて決まる最大周波
数帯域以上をほぼ除去し、これをオーバサンプリング可
能なアナログ/デイジタル変換回路36に送出する。ア
ナログ/デイジタル変換回路36は、ローパスフイルタ
35から出力されるアナログ信号をデイジタル信号S3
6に変換し、これをレート変換回路37を介して、カメ
ラ用デイジタル信号処理部38におけるクロツク周波数
にレート変換した後、これをカメラ用デイジタル信号処
理部38に送出する。
【0022】ここで図3は、レート変換回路37におけ
るサンプリングレート変換原理を示し、図3(A)に示
すような入力信号のスペクトルと、入力信号の元のサン
プリング点とが与えられているとして、図3(B)に示
すように零信号を各サンプリング点の間に挿入する。こ
の状態で各サンプリング点と零挿入された点との間で補
間を行うことにより、図3(C)に示すようなローパス
後のサンプリング点が得られる。このサンプリング点の
中から、図3(D)に示すように、例えば1/5の再サ
ンプリング点を抜き出すことにより、6/5のアツプレ
ート変換が行われる。なお、図3ではアツプレート変換
の例を示しているが、ダウンレート変換も同様の再サン
プリングの手法を用いて行うことができる。
るサンプリングレート変換原理を示し、図3(A)に示
すような入力信号のスペクトルと、入力信号の元のサン
プリング点とが与えられているとして、図3(B)に示
すように零信号を各サンプリング点の間に挿入する。こ
の状態で各サンプリング点と零挿入された点との間で補
間を行うことにより、図3(C)に示すようなローパス
後のサンプリング点が得られる。このサンプリング点の
中から、図3(D)に示すように、例えば1/5の再サ
ンプリング点を抜き出すことにより、6/5のアツプレ
ート変換が行われる。なお、図3ではアツプレート変換
の例を示しているが、ダウンレート変換も同様の再サン
プリングの手法を用いて行うことができる。
【0023】このようにして、レート変換回路37にお
いて所定のレートに変換されたデイジタル信号S37
は、カメラ用デイジタル信号処理部38に入力される。
カメラ用デイジタル信号処理部38は、内部に設けられ
たカメラ信号補正処理部38Aにおいて、レート変換回
路37から供給されたデイジタル信号S37に対して、
ガンマ補正、白/黒レベルバランス処理、シエーデイン
グ補正処理、画素欠陥補正処理等を施し、この結果ノン
インターレースのデイジタルビデオ出力信号S38を得
る。
いて所定のレートに変換されたデイジタル信号S37
は、カメラ用デイジタル信号処理部38に入力される。
カメラ用デイジタル信号処理部38は、内部に設けられ
たカメラ信号補正処理部38Aにおいて、レート変換回
路37から供給されたデイジタル信号S37に対して、
ガンマ補正、白/黒レベルバランス処理、シエーデイン
グ補正処理、画素欠陥補正処理等を施し、この結果ノン
インターレースのデイジタルビデオ出力信号S38を得
る。
【0024】ここで、レンズブロツク32、CCD3
3、アナログ信号処理部34、ローパスフイルタ35、
アナログ/デイジタル変換回路36、レート変換回路3
7及びカメラ用デイジタル信号処理部38を有するカメ
ラ信号処理部30Aの詳細構成を図4に示す。
3、アナログ信号処理部34、ローパスフイルタ35、
アナログ/デイジタル変換回路36、レート変換回路3
7及びカメラ用デイジタル信号処理部38を有するカメ
ラ信号処理部30Aの詳細構成を図4に示す。
【0025】図2との対応部分に同一符号を付して示す
図4において、カメラ信号処理部30Aは、レート変換
回路37、カメラ信号補正処理部38A、デイジタルイ
ンタフエイス(I/F)14及びこれらのタイミング信
号を生成するタイミング発生回路19を1つの大規模L
SI(Large Scale Integration) で構成されている。こ
の大規模LSIは、システムコントローラ50によつて
制御され、メモリ(ROM/RAM、EEPROM)5
3を、画像一時メモリ、FIFO、大規模レジスタ、大
規模コード変換等の補助処理用として用いている。
図4において、カメラ信号処理部30Aは、レート変換
回路37、カメラ信号補正処理部38A、デイジタルイ
ンタフエイス(I/F)14及びこれらのタイミング信
号を生成するタイミング発生回路19を1つの大規模L
SI(Large Scale Integration) で構成されている。こ
の大規模LSIは、システムコントローラ50によつて
制御され、メモリ(ROM/RAM、EEPROM)5
3を、画像一時メモリ、FIFO、大規模レジスタ、大
規模コード変換等の補助処理用として用いている。
【0026】カメラ信号補正処理部38Aにおいて、上
述したガンマ補正処理等が施されたデイジタル信号S3
7は、デイジタルインタフエイス14を介して、ノンイ
ンターレースのデイジタルビデオ信号S38として、図
2に示す仮想カメラ合成処理部30Bの仮想カメラ合成
器39に送出される。
述したガンマ補正処理等が施されたデイジタル信号S3
7は、デイジタルインタフエイス14を介して、ノンイ
ンターレースのデイジタルビデオ信号S38として、図
2に示す仮想カメラ合成処理部30Bの仮想カメラ合成
器39に送出される。
【0027】仮想カメラ合成器39は、システムコント
ローラ50により制御され、仮想カメラ本体31の外部
に設けられたCG画像作成装置51において生成された
ノンインターレースの立体(3D)CG画像信号S51
A及びCGキー制御信号S51Bを入力することによ
り、カメラ信号処理部30Aのカメラ用デイジタル信号
処理部38から供給されたノンインターレースのデイジ
タルビデオ信号S38にノンインターレースのCG画像
を合成する。
ローラ50により制御され、仮想カメラ本体31の外部
に設けられたCG画像作成装置51において生成された
ノンインターレースの立体(3D)CG画像信号S51
A及びCGキー制御信号S51Bを入力することによ
り、カメラ信号処理部30Aのカメラ用デイジタル信号
処理部38から供給されたノンインターレースのデイジ
タルビデオ信号S38にノンインターレースのCG画像
を合成する。
【0028】また仮想カメラ合成器39は、外部に設け
られた過去画像データベース(DB)装置52において
再生された画像を画像信号S52によつて入力し、この
再生画像をデイジタルビデオ信号S38に合成する。
られた過去画像データベース(DB)装置52において
再生された画像を画像信号S52によつて入力し、この
再生画像をデイジタルビデオ信号S38に合成する。
【0029】このようにして得られたノンインターレー
スの合成ビデオ信号S39はレート変換回路40に送出
され、所定のレートに変換される。このレート変換回路
40から出力される合成ビデオ信号S40は、インター
レース変換回路41において偶数ライン及び奇数ライン
に分化され、これによりノンインターレース方式からイ
ンターレース方式に変換されて切換え回路42の第1の
入力端に入力される。また、レート変換回路40から出
力される合成ビデオ信号S40は、直接、切換え回路4
2の第2の入力端に入力される。
スの合成ビデオ信号S39はレート変換回路40に送出
され、所定のレートに変換される。このレート変換回路
40から出力される合成ビデオ信号S40は、インター
レース変換回路41において偶数ライン及び奇数ライン
に分化され、これによりノンインターレース方式からイ
ンターレース方式に変換されて切換え回路42の第1の
入力端に入力される。また、レート変換回路40から出
力される合成ビデオ信号S40は、直接、切換え回路4
2の第2の入力端に入力される。
【0030】切換え回路42は第1の入力端又は第2の
入力端に入力されるインターレースの合成ビデオ信号S
41又はノンインターレースの合成ビデオ信号S40の
いずれかを選択して、ビデオエンコーダ43に送出す
る。
入力端に入力されるインターレースの合成ビデオ信号S
41又はノンインターレースの合成ビデオ信号S40の
いずれかを選択して、ビデオエンコーダ43に送出す
る。
【0031】ビデオエンコーダ43は、入力された合成
ビデオ信号S40又はS41を例えばNTSC方式の合
成ビデオ信号S43にエンコードし、これをデイジタル
インタフエイス46を介してデイジタル信号のまま合成
出力ビデオ信号S46として出力するとともに、デイジ
タル/アナログ変換回路47及びローパスフイルタ48
を介してアナログ信号に変換し、これを合成出力ビデオ
信号S48として出力する。かくして、仮想カメラ本体
31から出力される合成ビデオ信号S46、S48とし
て、実際に撮像して得られた被写体像の背景にCG画像
を合成してなる合成画像を得ることができる。
ビデオ信号S40又はS41を例えばNTSC方式の合
成ビデオ信号S43にエンコードし、これをデイジタル
インタフエイス46を介してデイジタル信号のまま合成
出力ビデオ信号S46として出力するとともに、デイジ
タル/アナログ変換回路47及びローパスフイルタ48
を介してアナログ信号に変換し、これを合成出力ビデオ
信号S48として出力する。かくして、仮想カメラ本体
31から出力される合成ビデオ信号S46、S48とし
て、実際に撮像して得られた被写体像の背景にCG画像
を合成してなる合成画像を得ることができる。
【0032】ここで、ビデオエンコーダ43から出力さ
れる合成ビデオ信号S43は、デイジタル/アナログ変
換回路44を介して、又は直接、LCD又はCRT式の
ビユーフアインダ45に送出される。これにより、ビユ
ーフアインダ45には、実際に撮像して得られた被写体
像がCG画像を背景として表示される。
れる合成ビデオ信号S43は、デイジタル/アナログ変
換回路44を介して、又は直接、LCD又はCRT式の
ビユーフアインダ45に送出される。これにより、ビユ
ーフアインダ45には、実際に撮像して得られた被写体
像がCG画像を背景として表示される。
【0033】ここで図2の仮想カメラ合成処理部30B
の詳細構成を図5に示す。図2との対応部分に同一符号
を付して示す図5において、仮想カメラ合成処理部30
Bは、カメラ信号処理部30A(図2)から出力される
デイジタルビデオ信号S38を、仮想カメラ合成器39
の幾何変換回路55に入力する。幾何変換回路55は、
システムコントローラ50(図2及び図4)から供給さ
れるモード制御信号S50Mによつて制御され、ノンイ
ンターレースのデイジタルビデオ信号S38に対して、
ノンインターレース方式で幾何変換処理を施す。
の詳細構成を図5に示す。図2との対応部分に同一符号
を付して示す図5において、仮想カメラ合成処理部30
Bは、カメラ信号処理部30A(図2)から出力される
デイジタルビデオ信号S38を、仮想カメラ合成器39
の幾何変換回路55に入力する。幾何変換回路55は、
システムコントローラ50(図2及び図4)から供給さ
れるモード制御信号S50Mによつて制御され、ノンイ
ンターレースのデイジタルビデオ信号S38に対して、
ノンインターレース方式で幾何変換処理を施す。
【0034】この幾何変換処理は、仮想カメラ本体31
の撮影位置(カメラアングル)を仮想的に変えるように
画像を変形させたり、又は、仮想カメラ本体31のレン
ズ特性(アイリス、フオーカス、ズーム、分光、幾何歪
み、等)を仮想的に変えるように画像処理するものであ
る。
の撮影位置(カメラアングル)を仮想的に変えるように
画像を変形させたり、又は、仮想カメラ本体31のレン
ズ特性(アイリス、フオーカス、ズーム、分光、幾何歪
み、等)を仮想的に変えるように画像処理するものであ
る。
【0035】図6は、幾何変換回路55によつて、仮想
カメラ本体31の撮影位置を仮想的に変化させる場合を
示し、図6(A)に示すように、仮想カメラ本体31の
カメラアングルを変化させたり、図6(B)に示すよう
に、仮想カメラ本体31の被写体からの位置を仮想的に
遠ざけたり近づけたりすることによつて、撮像領域を拡
大又は縮小することができる。この処理は、補間及びロ
ーパスフイルタによる処理で実現される。
カメラ本体31の撮影位置を仮想的に変化させる場合を
示し、図6(A)に示すように、仮想カメラ本体31の
カメラアングルを変化させたり、図6(B)に示すよう
に、仮想カメラ本体31の被写体からの位置を仮想的に
遠ざけたり近づけたりすることによつて、撮像領域を拡
大又は縮小することができる。この処理は、補間及びロ
ーパスフイルタによる処理で実現される。
【0036】このような幾何変換処理によつて、例えば
フオーカスを保つた状態で急速に大幅な拡大縮小撮影
(近景遠景撮影)をすること等、これまでビデオカメラ
において物理的に困難であつた撮影を仮想的に可能とす
ることができる。かくして、幾何変換回路55において
幾何変化処理が施されることによつて得られる幾何変換
ビデオ信号S55は、キー制御合成回路57及び実撮像
クロマキー検出回路56に送出される。
フオーカスを保つた状態で急速に大幅な拡大縮小撮影
(近景遠景撮影)をすること等、これまでビデオカメラ
において物理的に困難であつた撮影を仮想的に可能とす
ることができる。かくして、幾何変換回路55において
幾何変化処理が施されることによつて得られる幾何変換
ビデオ信号S55は、キー制御合成回路57及び実撮像
クロマキー検出回路56に送出される。
【0037】実撮像クロマキー検出回路56は、幾何変
換ビデオ信号S55から、実際に撮影してなる画像の被
写体と背景を区別する実画像キー制御信号S56を生成
する。例えば、青一色の背景で被写体を撮影している場
合には、青領域をキーとして画像分離するための実画像
キー制御信号S56を生成し、これをキー制御合成回路
57及び外部のCG画像作成装置51に送出する。
換ビデオ信号S55から、実際に撮影してなる画像の被
写体と背景を区別する実画像キー制御信号S56を生成
する。例えば、青一色の背景で被写体を撮影している場
合には、青領域をキーとして画像分離するための実画像
キー制御信号S56を生成し、これをキー制御合成回路
57及び外部のCG画像作成装置51に送出する。
【0038】CG画像作成装置51は、実画像キー制御
信号S56を用いて実画像の被写体の背景となるCG画
像のキー制御信号(CGキー制御信号)S51Bを生成
する。このときCG画像作成装置51は、背景としての
CG画像を立体的に処理することができ、例えば実画像
の被写体像を背景画像(CG画像)の中に立体的に見え
隠れするようにCGキー制御信号S51Bを生成し、ま
た、被写体像の影を背景のCG画像内に生成するように
CGキー制御信号S51Bを生成する。
信号S56を用いて実画像の被写体の背景となるCG画
像のキー制御信号(CGキー制御信号)S51Bを生成
する。このときCG画像作成装置51は、背景としての
CG画像を立体的に処理することができ、例えば実画像
の被写体像を背景画像(CG画像)の中に立体的に見え
隠れするようにCGキー制御信号S51Bを生成し、ま
た、被写体像の影を背景のCG画像内に生成するように
CGキー制御信号S51Bを生成する。
【0039】このとき、CG画像作成装置51は、仮想
カメラ本体31に設けられた幾何情報センサ29(図
1)によつて検出された仮想カメラ本体31の位置、移
動方向、照明の位置等、種々の幾何情報を含む幾何情報
信号S29によつて、背景の見える角度や、被写体の影
の位置を仮想カメラ本体31の位置に応じて決定し、こ
れにより得られるCG画像をCG画像信号S51Aとし
てキー制御合成回路57に送出する。
カメラ本体31に設けられた幾何情報センサ29(図
1)によつて検出された仮想カメラ本体31の位置、移
動方向、照明の位置等、種々の幾何情報を含む幾何情報
信号S29によつて、背景の見える角度や、被写体の影
の位置を仮想カメラ本体31の位置に応じて決定し、こ
れにより得られるCG画像をCG画像信号S51Aとし
てキー制御合成回路57に送出する。
【0040】キー制御合成回路57は、実画像キー制御
信号S56及びCGキー制御信号S51Bを用いて、幾
何変換回路55から供給される幾何変換ビデオ信号S5
5とCG画像作成装置51から供給されるCG画像信号
S51Aとを合成する。このとき、CG画像は、CG画
像として一般的なノンインターレースで形成されてお
り、これに合わせて幾何変換ビデオ信号S55もノンイ
ンタレースで形成されている。従つてノンインターレー
ス方式同士の画像を直接容易に合成することができる。
信号S56及びCGキー制御信号S51Bを用いて、幾
何変換回路55から供給される幾何変換ビデオ信号S5
5とCG画像作成装置51から供給されるCG画像信号
S51Aとを合成する。このとき、CG画像は、CG画
像として一般的なノンインターレースで形成されてお
り、これに合わせて幾何変換ビデオ信号S55もノンイ
ンタレースで形成されている。従つてノンインターレー
ス方式同士の画像を直接容易に合成することができる。
【0041】因みに、図7は、幾何変換回路55におい
て距離縮小変換を行つた場合の、変換前及び変換後のス
ペクトル例を示し、図7(A)において、インターレー
ス方式の第1フイールドFL1及び第2フイールドFL
2に対して、幾何変換(距離縮小変換)を施す場合、動
画ではフイールド処理となり、図7(B)に示すよう
に、変換後の解像度は元のインターレースの利点(静止
画解像度が倍になる)が失われ、解像度が減少する。
て距離縮小変換を行つた場合の、変換前及び変換後のス
ペクトル例を示し、図7(A)において、インターレー
ス方式の第1フイールドFL1及び第2フイールドFL
2に対して、幾何変換(距離縮小変換)を施す場合、動
画ではフイールド処理となり、図7(B)に示すよう
に、変換後の解像度は元のインターレースの利点(静止
画解像度が倍になる)が失われ、解像度が減少する。
【0042】これに対して、この実施例の場合には、幾
何変換回路55にノンインターレースのデイジタルビデ
オ信号S38(図7(A)の〔FL1+FL2〕)が供
給されることにより、このデイジタルビデオ信号S38
に対して幾何変換(距離縮小変換)を施しても、図7
(C)に示すように、実用上十分な解像度が確保され
る。
何変換回路55にノンインターレースのデイジタルビデ
オ信号S38(図7(A)の〔FL1+FL2〕)が供
給されることにより、このデイジタルビデオ信号S38
に対して幾何変換(距離縮小変換)を施しても、図7
(C)に示すように、実用上十分な解像度が確保され
る。
【0043】従つて、十分な解像度のノンインターレー
スの幾何変換ビデオ信号S55(図7(C))と、ノン
インターレースのCG画像信号S51Aとがキー制御合
成回路57において合成され、高画質の合成ビデオ信号
S39が得られる。かくして、図2について上述したよ
うに、仮想カメラ合成処理部30Bの出力端からは、デ
イジタル信号の合成出力ビデオ信号S48と、アナログ
信号の合成出力ビデオ信号S46が出力される。
スの幾何変換ビデオ信号S55(図7(C))と、ノン
インターレースのCG画像信号S51Aとがキー制御合
成回路57において合成され、高画質の合成ビデオ信号
S39が得られる。かくして、図2について上述したよ
うに、仮想カメラ合成処理部30Bの出力端からは、デ
イジタル信号の合成出力ビデオ信号S48と、アナログ
信号の合成出力ビデオ信号S46が出力される。
【0044】以上の構成において、仮想カメラ本体31
は、実際に撮影することにより得られる被写体像と、C
G画像でなる背景像とを合成した合成ビデオ信号S43
をビユーフアインダ45に供給する。従つて、例えば青
一色の背景の前の被写体を当該仮想カメラ本体31で撮
影している場合、撮影者は、ビユーフアインダ45を見
ることによつて、CG画像を背景とした被写体像をリア
ルタイムで見ることができる。
は、実際に撮影することにより得られる被写体像と、C
G画像でなる背景像とを合成した合成ビデオ信号S43
をビユーフアインダ45に供給する。従つて、例えば青
一色の背景の前の被写体を当該仮想カメラ本体31で撮
影している場合、撮影者は、ビユーフアインダ45を見
ることによつて、CG画像を背景とした被写体像をリア
ルタイムで見ることができる。
【0045】このとき、撮影者が仮想カメラ本体31を
移動してカメラアングルを変化させると、被写体に対す
るカメラアングルの変化に応じてCG画像でなる背景画
像のアングルも変化し、撮影者は被写体があたかもCG
画像で構成された仮想空間内に存在するかのように認識
しながら当該被写体を撮影することができる。
移動してカメラアングルを変化させると、被写体に対す
るカメラアングルの変化に応じてCG画像でなる背景画
像のアングルも変化し、撮影者は被写体があたかもCG
画像で構成された仮想空間内に存在するかのように認識
しながら当該被写体を撮影することができる。
【0046】従つて以上の構成によれば、被写体像を撮
影した後、これをCG画像でなる仮想画像に合成する従
来の方法に比べて、撮影者は、必要とする合成後の画像
を見ながら被写体を撮影することができ、使い勝手を一
段と向上し得る。
影した後、これをCG画像でなる仮想画像に合成する従
来の方法に比べて、撮影者は、必要とする合成後の画像
を見ながら被写体を撮影することができ、使い勝手を一
段と向上し得る。
【0047】なお上述の第1実施例においては、CG画
像作成装置51から供給されるCG画像に、実写の被写
体像を合成する場合について述べたが、本発明はこれに
限らず、例えばDVD(Digital Video Disc)等のデータ
ベース(DB)に予め記録された過去画像とCG画像作
成装置51によつて作成されたCG画像とを合成し、こ
れに実写の被写体像を合成するようにしても良い。
像作成装置51から供給されるCG画像に、実写の被写
体像を合成する場合について述べたが、本発明はこれに
限らず、例えばDVD(Digital Video Disc)等のデータ
ベース(DB)に予め記録された過去画像とCG画像作
成装置51によつて作成されたCG画像とを合成し、こ
れに実写の被写体像を合成するようにしても良い。
【0048】この場合、図8に示すように、過去画像D
B装置52から再生された再生信号S52を画像混合合
成処理/3Dキー生成回路53に送出し、ここでCG画
像作成装置51から供給されるCG画像信号S51Aと
合成する。これにより得られる復号3D画像信号S53
Bと3Dキー制御信号S53Aとをキー制御合成回路5
7に送出することにより、当該キー制御合成回路57に
おいて復号3D画像と被写体像とを合成する。これによ
り、実写による過去画像とCG画像とを合成した背景画
像を容易に生成することができる。
B装置52から再生された再生信号S52を画像混合合
成処理/3Dキー生成回路53に送出し、ここでCG画
像作成装置51から供給されるCG画像信号S51Aと
合成する。これにより得られる復号3D画像信号S53
Bと3Dキー制御信号S53Aとをキー制御合成回路5
7に送出することにより、当該キー制御合成回路57に
おいて復号3D画像と被写体像とを合成する。これによ
り、実写による過去画像とCG画像とを合成した背景画
像を容易に生成することができる。
【0049】また上述の第1実施例においては、ノンイ
ンターレースの被写体画像とノンインターレースのCG
画像とを合成する場合について述べたが、本発明はこれ
に限らず、インターレースの被写体画像とインターレー
スのCG画像を合成するようにしても良い。この場合、
図9に示すように、仮想カメラ合成器39から出力され
る合成ビデオ信号S39はインターレースの画像信号と
なり、図2に示されているインターレース変換回路41
を設けなくても良い。
ンターレースの被写体画像とノンインターレースのCG
画像とを合成する場合について述べたが、本発明はこれ
に限らず、インターレースの被写体画像とインターレー
スのCG画像を合成するようにしても良い。この場合、
図9に示すように、仮想カメラ合成器39から出力され
る合成ビデオ信号S39はインターレースの画像信号と
なり、図2に示されているインターレース変換回路41
を設けなくても良い。
【0050】(2)第2実施例 図1との対応部分に同一符号を付して示す図10は、本
発明による仮想カメラ装置の第2実施例を示し、パーソ
ナルコンピユータシステムで構成されたコンピユータシ
ステム部130Aと、仮想カメラヘツド部130Cと、
当該仮想カメラヘツド部130Cに一体化して設けられ
ているカメラ幾何情報センサ29とによつて仮想カメラ
装置130が構成されている。
発明による仮想カメラ装置の第2実施例を示し、パーソ
ナルコンピユータシステムで構成されたコンピユータシ
ステム部130Aと、仮想カメラヘツド部130Cと、
当該仮想カメラヘツド部130Cに一体化して設けられ
ているカメラ幾何情報センサ29とによつて仮想カメラ
装置130が構成されている。
【0051】パーソナルコンピユータ本体190は仮想
カメラ信号処理ボード130Bを制御信号S150、S
149によつて制御し、仮想カメラヘツド部130Cに
よつて得られる撮像信号S34は、仮想カメラ信号処理
ボード130Bにおいて、CG画像作成装置51及び過
去画像DB装置52から得られるCG画像信号S51A
及び過去画像信号S52と合成され、デイジタルの合成
ビデオ信号S146とアナログの合成ビデオ信号S14
8としてビデオ装置VTRに送出される。ビデオ装置V
TRは、合成ビデオ信号S146及びS148を記録
し、編集等の素材として用いるようになされている。
カメラ信号処理ボード130Bを制御信号S150、S
149によつて制御し、仮想カメラヘツド部130Cに
よつて得られる撮像信号S34は、仮想カメラ信号処理
ボード130Bにおいて、CG画像作成装置51及び過
去画像DB装置52から得られるCG画像信号S51A
及び過去画像信号S52と合成され、デイジタルの合成
ビデオ信号S146とアナログの合成ビデオ信号S14
8としてビデオ装置VTRに送出される。ビデオ装置V
TRは、合成ビデオ信号S146及びS148を記録
し、編集等の素材として用いるようになされている。
【0052】図2との対応部分に同一符号を付して示す
図11は、仮想カメラ装置130の全体構成を示し、仮
想カメラヘツド部130Cから出力される撮像信号S3
4は、仮想カメラ信号処理ボード130Bに入力され、
ローパスフイルタ135、アナログ/デイジタル変換回
路136及びレート変換回路137を介してカメラ用デ
イジタル信号処理部138に供給される。このカメラ用
デイジタル信号処理部138は、図2について上述した
カメラ用デイジタル信号処理部38と同様の処理を行う
ものであり、当該カメラ用デイジタル信号処理部138
から出力されるデイジタルビデオ信号S138は、仮想
カメラ合成器39に送出される。
図11は、仮想カメラ装置130の全体構成を示し、仮
想カメラヘツド部130Cから出力される撮像信号S3
4は、仮想カメラ信号処理ボード130Bに入力され、
ローパスフイルタ135、アナログ/デイジタル変換回
路136及びレート変換回路137を介してカメラ用デ
イジタル信号処理部138に供給される。このカメラ用
デイジタル信号処理部138は、図2について上述した
カメラ用デイジタル信号処理部38と同様の処理を行う
ものであり、当該カメラ用デイジタル信号処理部138
から出力されるデイジタルビデオ信号S138は、仮想
カメラ合成器39に送出される。
【0053】仮想カメラ合成器39は、図2について上
述した場合と同様にして、CG画像作成装置51及び過
去画像DB装置52から得られるCG画像信号S51A
及び過去画像信号S52と合成され、合成ビデオ信号S
39として、仮想カメラ信号処理ボード130Bのレー
ト変換回路140に供給される。ここでレート変換され
てなる合成ビデオ信号S140は、インターレース変換
回路141において偶数ライン及び奇数ラインに分化さ
れ、これによりノンインターレース方式からインターレ
ース方式に変換されて切換え回路142の第1の入力端
に入力される。また、レート変換回路140から出力さ
れる合成ビデオ信号S140は、直接、切換え回路14
2の第2の入力端に入力される。
述した場合と同様にして、CG画像作成装置51及び過
去画像DB装置52から得られるCG画像信号S51A
及び過去画像信号S52と合成され、合成ビデオ信号S
39として、仮想カメラ信号処理ボード130Bのレー
ト変換回路140に供給される。ここでレート変換され
てなる合成ビデオ信号S140は、インターレース変換
回路141において偶数ライン及び奇数ラインに分化さ
れ、これによりノンインターレース方式からインターレ
ース方式に変換されて切換え回路142の第1の入力端
に入力される。また、レート変換回路140から出力さ
れる合成ビデオ信号S140は、直接、切換え回路14
2の第2の入力端に入力される。
【0054】切換え回路142は第1の入力端又は第2
の入力端に入力されるインターレースの合成ビデオ信号
S141又はノンインターレースの合成ビデオ信号S1
40のいずれかを選択して、ビデオエンコーダ143に
送出する。
の入力端に入力されるインターレースの合成ビデオ信号
S141又はノンインターレースの合成ビデオ信号S1
40のいずれかを選択して、ビデオエンコーダ143に
送出する。
【0055】ビデオエンコーダ143は、入力された合
成ビデオ信号S140又はS141を例えばNTSC方
式の合成ビデオ信号S143にエンコードし、これをデ
イジタルインタフエイス146を介してデイジタル信号
のまま合成出力ビデオ信号S146として出力するとと
もに、デイジタル/アナログ変換回路147及びローパ
スフイルタ148を介してアナログ信号に変換し、これ
を合成出力ビデオ信号S148として出力する。かくし
て、仮想カメラ信号処理ボード130Bから出力される
合成ビデオ信号S146、S148として、実際に撮像
して得られた被写体像の背景にCG画像を合成してなる
合成画像を得ることができる。
成ビデオ信号S140又はS141を例えばNTSC方
式の合成ビデオ信号S143にエンコードし、これをデ
イジタルインタフエイス146を介してデイジタル信号
のまま合成出力ビデオ信号S146として出力するとと
もに、デイジタル/アナログ変換回路147及びローパ
スフイルタ148を介してアナログ信号に変換し、これ
を合成出力ビデオ信号S148として出力する。かくし
て、仮想カメラ信号処理ボード130Bから出力される
合成ビデオ信号S146、S148として、実際に撮像
して得られた被写体像の背景にCG画像を合成してなる
合成画像を得ることができる。
【0056】ここで、ビデオエンコーダ143から出力
される合成ビデオ信号S143は、仮想カメラヘツド部
130Cのデイジタル/アナログ変換回路44を介し
て、又は直接、LCD又はCRT式のビユーフアインダ
45に送出される。これにより、ビユーフアインダ45
には、実際に撮像して得られた被写体像がCG画像を背
景として表示される。
される合成ビデオ信号S143は、仮想カメラヘツド部
130Cのデイジタル/アナログ変換回路44を介し
て、又は直接、LCD又はCRT式のビユーフアインダ
45に送出される。これにより、ビユーフアインダ45
には、実際に撮像して得られた被写体像がCG画像を背
景として表示される。
【0057】以上の構成において、仮想カメラ装置13
0は、パーソナルコンピユータ本体190がシステム制
御を行い、仮想カメラ信号処理ボードがカメラ信号処理
を行い、仮想画像を出力するビデオ合成ボード、仮想カ
メラヘツド部130C、仮想カメラ映像を表示、記録、
編集するシステムは、パーソナルコンピユータのCRT
や記録機器(HDD、DVD等)が行う。
0は、パーソナルコンピユータ本体190がシステム制
御を行い、仮想カメラ信号処理ボードがカメラ信号処理
を行い、仮想画像を出力するビデオ合成ボード、仮想カ
メラヘツド部130C、仮想カメラ映像を表示、記録、
編集するシステムは、パーソナルコンピユータのCRT
や記録機器(HDD、DVD等)が行う。
【0058】パーソナルコンピユータ本体190はシス
テム制御を行うが、同時に、種々の拡張ボードを内蔵す
ることによつて、CGエンジンやリアルタイム画像デー
タベースを兼ねることができる。またCG画像の作成編
集やビデオ編集もパーソナルコンピユータのツールによ
つて行うことができる。
テム制御を行うが、同時に、種々の拡張ボードを内蔵す
ることによつて、CGエンジンやリアルタイム画像デー
タベースを兼ねることができる。またCG画像の作成編
集やビデオ編集もパーソナルコンピユータのツールによ
つて行うことができる。
【0059】このように以上の構成によれば、パーソナ
ルコンピユータシステムを用いた仮想カメラ装置130
は、コンピユータシステム部130Aにおいて、制御、
処理、記録、表示、通信が一体となつており、仮想カメ
ラに関係する全ての機能をコンパクトに提供し得る。
ルコンピユータシステムを用いた仮想カメラ装置130
は、コンピユータシステム部130Aにおいて、制御、
処理、記録、表示、通信が一体となつており、仮想カメ
ラに関係する全ての機能をコンパクトに提供し得る。
【0060】(3)第3実施例 図12は、FPGA(Field Programmable Gate Arrays)
230Bを用いた仮想カメラ装置230を示す。このF
PGA230Bは、例えばRAMやフラツシユROMに
よつて配線構造が決定される再書込み可能なものであ
り、一度プログラミングされると固定式の回路構成のも
のと同様に機能する。
230Bを用いた仮想カメラ装置230を示す。このF
PGA230Bは、例えばRAMやフラツシユROMに
よつて配線構造が決定される再書込み可能なものであ
り、一度プログラミングされると固定式の回路構成のも
のと同様に機能する。
【0061】FPGA230Bのプログラミングは予め
ROM等に内蔵した幾つかの標準フオーマツトによるプ
ログラムロードや、他の方法として外部の制御装置から
のダウンロードによる任意フオーマツト選定によるもの
がある。図12の第3実施例の構成では、パーソナルコ
ンピユータ等のプログラムデータ入力装置から得られる
プログラムデータS230Aを外部ロード用インタフエ
イス(I/F)49を介して入力し、プログラミングさ
れる。またメモリ250Aからプログラムロードするこ
ともできる。
ROM等に内蔵した幾つかの標準フオーマツトによるプ
ログラムロードや、他の方法として外部の制御装置から
のダウンロードによる任意フオーマツト選定によるもの
がある。図12の第3実施例の構成では、パーソナルコ
ンピユータ等のプログラムデータ入力装置から得られる
プログラムデータS230Aを外部ロード用インタフエ
イス(I/F)49を介して入力し、プログラミングさ
れる。またメモリ250Aからプログラムロードするこ
ともできる。
【0062】このメモリ250Aは、必要に応じて信号
処理の補助処理(一時メモリ、FIFO、大規模レジス
タ、大規模データ変換、信号発生等)にも用いられる。
FPGA230Bの入出力端子は、プリント基板上等に
形成されるように固定されているが、基本入出力インタ
フエイス(外部ロード用インタフエイス49)を複数設
けることで自在性を高めるように構成されている。
処理の補助処理(一時メモリ、FIFO、大規模レジス
タ、大規模データ変換、信号発生等)にも用いられる。
FPGA230Bの入出力端子は、プリント基板上等に
形成されるように固定されているが、基本入出力インタ
フエイス(外部ロード用インタフエイス49)を複数設
けることで自在性を高めるように構成されている。
【0063】このように、パーソナルコンピユータ等の
外部機器から外部ロード用インタフエイス49を介して
仮想カメラ用信号処理部としてFPGA230Bがプロ
グラミングされた状態を図13に示す。すなわち図1と
の対応部分に同一符号を付して示す図13において、仮
想カメラ装置230は、FPGAで構成される仮想カメ
ラ本体処理部230Aに対して、外部に設けられたCG
画像作成装置51及び過去画像DB装置52から供給さ
れるCG画像信号S51A及び過去画像信号S52を、
実際に撮影して得られる被写体像に合成することによ
り、デイジタルの合成ビデオ信号S46及びアナログの
合成ビデオ信号S48を得、これをビデオ装置VTRに
送出し、記録することにより編集素材として用いること
ができる。
外部機器から外部ロード用インタフエイス49を介して
仮想カメラ用信号処理部としてFPGA230Bがプロ
グラミングされた状態を図13に示す。すなわち図1と
の対応部分に同一符号を付して示す図13において、仮
想カメラ装置230は、FPGAで構成される仮想カメ
ラ本体処理部230Aに対して、外部に設けられたCG
画像作成装置51及び過去画像DB装置52から供給さ
れるCG画像信号S51A及び過去画像信号S52を、
実際に撮影して得られる被写体像に合成することによ
り、デイジタルの合成ビデオ信号S46及びアナログの
合成ビデオ信号S48を得、これをビデオ装置VTRに
送出し、記録することにより編集素材として用いること
ができる。
【0064】この仮想カメラ装置230の全体構成を図
14に示す。すなわち図2との対応部分に同一符号を付
して示す図14において、仮想カメラ装置230は、レ
ート変換回路237、カメラ用デイジタル信号処理部2
38、仮想カメラ合成部239、レート変換回路24
0、インタレース変換回路241、切換え回路242及
びビデオエンコーダ243がプログラミングされたFP
GA230Bを有する。
14に示す。すなわち図2との対応部分に同一符号を付
して示す図14において、仮想カメラ装置230は、レ
ート変換回路237、カメラ用デイジタル信号処理部2
38、仮想カメラ合成部239、レート変換回路24
0、インタレース変換回路241、切換え回路242及
びビデオエンコーダ243がプログラミングされたFP
GA230Bを有する。
【0065】レート変換回路237(240)はそれぞ
れ図15に示すようなプログラマブルローパスフイルタ
で構成される。すなわち、アナログ/デイジタル変換回
路36によつてデイジタル信号に変換された撮像信号S
36は、プログラマブルレジスタ237B、プログラマ
ブル係数時変型デイジタルLPF237C、プログラマ
ブルレジスタ237D及びプログラマブルタイミング制
御回路237Eによつて構成されるレート変換回路23
7に入力される。このプログラマブルレート変換回路2
37は、図16(A)に示すようなレジスタ前置式のロ
ーパスフイルタ237a又は、図16(B)に示すよう
なレジスタ後置式のローパスフイルタ237bのいずれ
かを選択的にプログラムロードすることができる。
れ図15に示すようなプログラマブルローパスフイルタ
で構成される。すなわち、アナログ/デイジタル変換回
路36によつてデイジタル信号に変換された撮像信号S
36は、プログラマブルレジスタ237B、プログラマ
ブル係数時変型デイジタルLPF237C、プログラマ
ブルレジスタ237D及びプログラマブルタイミング制
御回路237Eによつて構成されるレート変換回路23
7に入力される。このプログラマブルレート変換回路2
37は、図16(A)に示すようなレジスタ前置式のロ
ーパスフイルタ237a又は、図16(B)に示すよう
なレジスタ後置式のローパスフイルタ237bのいずれ
かを選択的にプログラムロードすることができる。
【0066】前置式のローパスフイルタ237aは、複
数の前置式レジスタ261A〜261Eと、各乗算器2
62A〜262Eを有し、各乗算結果が加算器263に
おいて加算される。これに対して、後置式のローパスフ
イルタ237bは、撮像信号S36が各乗算器265A
〜265Eに供給され、それぞれの乗算器において係数
が乗算された結果が後置式レジスタ267A〜267E
を介して送り制御されながら、加算器266A〜266
Eにおいて加算される。レジスタ前置式ローパスフイル
タ237a又はレジスタ後置式ローパスフイルタ237
bのいずれかが、ユーザの選択によつてFPGA230
Bのプログラムロード時に設定される。この場合、ユー
ザが選択する画質の好みに応じてタツプ数が決定され、
当該タツプ数が多いときレジスタ後置式ローパスフイル
タ237bを選択すれば、レジスタ前置式ローパスフイ
ルタ237aにおける加算器263の構成が大規模化す
ることを回避し得る。
数の前置式レジスタ261A〜261Eと、各乗算器2
62A〜262Eを有し、各乗算結果が加算器263に
おいて加算される。これに対して、後置式のローパスフ
イルタ237bは、撮像信号S36が各乗算器265A
〜265Eに供給され、それぞれの乗算器において係数
が乗算された結果が後置式レジスタ267A〜267E
を介して送り制御されながら、加算器266A〜266
Eにおいて加算される。レジスタ前置式ローパスフイル
タ237a又はレジスタ後置式ローパスフイルタ237
bのいずれかが、ユーザの選択によつてFPGA230
Bのプログラムロード時に設定される。この場合、ユー
ザが選択する画質の好みに応じてタツプ数が決定され、
当該タツプ数が多いときレジスタ後置式ローパスフイル
タ237bを選択すれば、レジスタ前置式ローパスフイ
ルタ237aにおける加算器263の構成が大規模化す
ることを回避し得る。
【0067】画質とタツプ数の関係としては、画像のエ
ツジ部分をシヤープにカツトする場合にはタツプ数を増
やす必要があるが、この場合画像のエツジ部分に振動が
増えることになる。これに対して、タツプ数を減らすと
振動は発生しないが、高域が減衰する。従つて、ユーザ
は、これらの影響を考慮しながらローパスフイルタの構
成を決定することになる。
ツジ部分をシヤープにカツトする場合にはタツプ数を増
やす必要があるが、この場合画像のエツジ部分に振動が
増えることになる。これに対して、タツプ数を減らすと
振動は発生しないが、高域が減衰する。従つて、ユーザ
は、これらの影響を考慮しながらローパスフイルタの構
成を決定することになる。
【0068】ここで図17(A)はレート変換回路23
7として通常の理想的ローパスフイルタLPF1を用い
た場合を示し、入力信号(撮像信号S36)のエツジ部
分が、出力信号S237の波形として振動を伴う波形と
なる。
7として通常の理想的ローパスフイルタLPF1を用い
た場合を示し、入力信号(撮像信号S36)のエツジ部
分が、出力信号S237の波形として振動を伴う波形と
なる。
【0069】これに対して、図17(B)は通常の理想
的ローパスフイルタLPF1に加えて、線形補間回路L
PF2を切換え可能に設け、エツジ検出制御部280に
おいて画像のエツジが検出されたとき、当該エツジ部分
のみ線形補間回路LPF2を用いるようにする。このよ
うな適応型ローパスフイルタをFPGA230Bのプロ
グラムロード時に設定することができる。
的ローパスフイルタLPF1に加えて、線形補間回路L
PF2を切換え可能に設け、エツジ検出制御部280に
おいて画像のエツジが検出されたとき、当該エツジ部分
のみ線形補間回路LPF2を用いるようにする。このよ
うな適応型ローパスフイルタをFPGA230Bのプロ
グラムロード時に設定することができる。
【0070】図18は、外部に設けられたプログラム用
のパーソナルコンピユータPC(図13)によつて、F
PGA230Bの特にレート変換回路237をプログラ
ムする処理手順を示し、ステツプSP0から当該処理手
順に入ると、ステツプSP1において適応型又は非適応
型の入力を待ち受け、いずれかの入力があると、続くス
テツプSP2に移つて入力及び出力のレート変換比が入
力されるのを待ち受ける。ここでレート変換比がユーザ
によつて入力されると、ステツプSP3に移つてローパ
スフイルタのタツプ数に応じたタツプデータが入力され
るのを待ち受ける。
のパーソナルコンピユータPC(図13)によつて、F
PGA230Bの特にレート変換回路237をプログラ
ムする処理手順を示し、ステツプSP0から当該処理手
順に入ると、ステツプSP1において適応型又は非適応
型の入力を待ち受け、いずれかの入力があると、続くス
テツプSP2に移つて入力及び出力のレート変換比が入
力されるのを待ち受ける。ここでレート変換比がユーザ
によつて入力されると、ステツプSP3に移つてローパ
スフイルタのタツプ数に応じたタツプデータが入力され
るのを待ち受ける。
【0071】ここでタツプデータが入力されると、ステ
ツプSP4において当該タツプデータが1〜4であるか
否かを判断する。ここで肯定結果が得られると、このこ
とは入力タツプ数がタツプデータ1〜4のいずれかに対
応した少ない個数であることを表しており、このときス
テツプSP5においてレジスタ前置式のローパスフイル
タを設定する。これに対してステツプSP4において否
定結果が得られると、このことは入力タツプ数がタツプ
データ5以上の多い個数であることを表しており、この
ときステツプSP6に移つてレジスタ後置式のローパス
フイルタを設定する。
ツプSP4において当該タツプデータが1〜4であるか
否かを判断する。ここで肯定結果が得られると、このこ
とは入力タツプ数がタツプデータ1〜4のいずれかに対
応した少ない個数であることを表しており、このときス
テツプSP5においてレジスタ前置式のローパスフイル
タを設定する。これに対してステツプSP4において否
定結果が得られると、このことは入力タツプ数がタツプ
データ5以上の多い個数であることを表しており、この
ときステツプSP6に移つてレジスタ後置式のローパス
フイルタを設定する。
【0072】これに続いて、ステツプSP7において、
予め入力されたフイルタの型(レジスタ前置式又は後置
式)、レート変換比、タツプ数に基づいて係数を決定
し、ステツプSP8に移る。ステツプSP8は、上述の
ステツプSP1において入力された適応型又は比適応型
の種別を判断するステツプであり、ここで肯定結果が得
られると、ステツプSP9に移つて適応型(図17
(B))でFPGA230Bをプログラミングする。こ
れに対してステツプSP8において否定結果が得られる
と、ステツプSP10に移つて、非適応型(図17
(A))でFPGA230Bをプログラミングし、ステ
ツプSP11において当該処理手順を終了する。このよ
うにして、レート変換回路237の回路構成がプログラ
ムロードされる。
予め入力されたフイルタの型(レジスタ前置式又は後置
式)、レート変換比、タツプ数に基づいて係数を決定
し、ステツプSP8に移る。ステツプSP8は、上述の
ステツプSP1において入力された適応型又は比適応型
の種別を判断するステツプであり、ここで肯定結果が得
られると、ステツプSP9に移つて適応型(図17
(B))でFPGA230Bをプログラミングする。こ
れに対してステツプSP8において否定結果が得られる
と、ステツプSP10に移つて、非適応型(図17
(A))でFPGA230Bをプログラミングし、ステ
ツプSP11において当該処理手順を終了する。このよ
うにして、レート変換回路237の回路構成がプログラ
ムロードされる。
【0073】ここで図4との対応部分に同一符号を付し
て示す図19は、図14について上述した第3実施例の
仮想カメラ装置230のカメラ信号処理部231Aの詳
細構成を示し、レート変換回路237、カメラ信号補正
処理部238A、デイジタルインタフエイス(I/F)
214及びタイミング発生回路219がそれぞれFPG
A230Bによつてプログラム可能に構成されている。
て示す図19は、図14について上述した第3実施例の
仮想カメラ装置230のカメラ信号処理部231Aの詳
細構成を示し、レート変換回路237、カメラ信号補正
処理部238A、デイジタルインタフエイス(I/F)
214及びタイミング発生回路219がそれぞれFPG
A230Bによつてプログラム可能に構成されている。
【0074】また図5との対応部分に同一符号を付して
示す図20は、図14について上述した第3実施例の仮
想カメラ装置230の仮想カメラ合成処理部231Bの
詳細構成を示し、ノンインターレース方式の幾何変換回
路255、実撮像クロマキー検出回路256、キー制御
合成回路257、レート変換回路240、インターレー
ス変換回路241、切換え回路242及びビデオエンコ
ーダ243がFPGA230Bによつてプログラム可能
に構成されている。ビユーフアインダ45には、実写の
被写体像にCG画像を合成した合成画像が表示される。
示す図20は、図14について上述した第3実施例の仮
想カメラ装置230の仮想カメラ合成処理部231Bの
詳細構成を示し、ノンインターレース方式の幾何変換回
路255、実撮像クロマキー検出回路256、キー制御
合成回路257、レート変換回路240、インターレー
ス変換回路241、切換え回路242及びビデオエンコ
ーダ243がFPGA230Bによつてプログラム可能
に構成されている。ビユーフアインダ45には、実写の
被写体像にCG画像を合成した合成画像が表示される。
【0075】かくして以上の構成によれば、大規模FP
GA230Bを信号処理部の中核に設けた仮想カメラ装
置230を用いることにより、当該仮想カメラ装置23
0の信号処理部分を必要に応じて種々の構成に設定する
ことができ、容易に種々のフオーマツトに対応させるこ
とができる。
GA230Bを信号処理部の中核に設けた仮想カメラ装
置230を用いることにより、当該仮想カメラ装置23
0の信号処理部分を必要に応じて種々の構成に設定する
ことができ、容易に種々のフオーマツトに対応させるこ
とができる。
【0076】なお上述の実施例においては、動画を撮影
する仮想カメラ装置230に本発明を適用した場合につ
いて述べたが、本発明はこれに限らず、静止画カメラに
本発明を適用する場合においては、カメラからのシヤツ
タ画像データをパーソナルコンピユータ内蔵メモリに転
送し、デイスプレイに表示し、又は、記録しデータベー
ス化することもできる。さらには、ネツトワークを介し
てリモート転送することもできる。
する仮想カメラ装置230に本発明を適用した場合につ
いて述べたが、本発明はこれに限らず、静止画カメラに
本発明を適用する場合においては、カメラからのシヤツ
タ画像データをパーソナルコンピユータ内蔵メモリに転
送し、デイスプレイに表示し、又は、記録しデータベー
ス化することもできる。さらには、ネツトワークを介し
てリモート転送することもできる。
【0077】また、図8との対応部分に同一符号を付し
て示す図21は、FPGA230Bを用いた仮想カメラ
装置230の仮想カメラ合成処理部231Bの他の実施
例を示し、CG画像作成装置51及び過去画像DB装置
52からのCG画像及び過去画像を合成する画像混合合
成処理/3Dキー生成回路253がFPGA230B内
に設けられる。
て示す図21は、FPGA230Bを用いた仮想カメラ
装置230の仮想カメラ合成処理部231Bの他の実施
例を示し、CG画像作成装置51及び過去画像DB装置
52からのCG画像及び過去画像を合成する画像混合合
成処理/3Dキー生成回路253がFPGA230B内
に設けられる。
【0078】(4)第4実施例 図10及び図13との対応部分に同一符号を付して示す
図22は、信号処理部にFPGA330Bを用いた仮想
カメラ装置330を示し、パーソナルコンピユータシス
テムで構成されたコンピユータシステム部330Aと、
仮想カメラヘツド部330Cと、当該仮想カメラヘツド
部330Cに一体化して設けられているカメラ幾何情報
センサ29とによつて構成されている。
図22は、信号処理部にFPGA330Bを用いた仮想
カメラ装置330を示し、パーソナルコンピユータシス
テムで構成されたコンピユータシステム部330Aと、
仮想カメラヘツド部330Cと、当該仮想カメラヘツド
部330Cに一体化して設けられているカメラ幾何情報
センサ29とによつて構成されている。
【0079】パーソナルコンピユータ本体390はFP
GA式の仮想カメラ信号処理ボード330Bを制御信号
S350、S349によつて制御し、仮想カメラヘツド
部330Cによつて得られる撮像信号S34は、仮想カ
メラ信号処理ボード330Bにおいて、CG画像作成装
置51及び過去画像DB装置52から得られるCG画像
信号S51A及び過去画像信号と合成され、デイジタル
の合成ビデオ信号S346とアナログの合成ビデオ信号
S348としてビデオ装置VTRに送出される。ビデオ
装置VTRは、合成ビデオ信号S346及びS348を
記録し、編集等の素材として用いるようになされてい
る。
GA式の仮想カメラ信号処理ボード330Bを制御信号
S350、S349によつて制御し、仮想カメラヘツド
部330Cによつて得られる撮像信号S34は、仮想カ
メラ信号処理ボード330Bにおいて、CG画像作成装
置51及び過去画像DB装置52から得られるCG画像
信号S51A及び過去画像信号と合成され、デイジタル
の合成ビデオ信号S346とアナログの合成ビデオ信号
S348としてビデオ装置VTRに送出される。ビデオ
装置VTRは、合成ビデオ信号S346及びS348を
記録し、編集等の素材として用いるようになされてい
る。
【0080】図22との対応部分に同一符号を付して示
す図23は、仮想カメラ装置330の全体構成を示し、
仮想カメラヘツド部330Cから出力される撮像信号S
34は、FPGAでプログラム可能に構成された仮想カ
メラ信号処理ボード330Bに入力され、ローパスフイ
ルタ335、アナログ/デイジタル変換回路336及び
レート変換回路337を介してカメラ用デイジタル信号
処理部338に供給される。このカメラ用デイジタル信
号処理部338は、図2について上述したカメラ用デイ
ジタル信号処理部38と同様の処理を行うものであり、
当該カメラ用デイジタル信号処理部338から出力され
るデイジタルビデオ信号S338は、仮想カメラ合成部
339に送出される。
す図23は、仮想カメラ装置330の全体構成を示し、
仮想カメラヘツド部330Cから出力される撮像信号S
34は、FPGAでプログラム可能に構成された仮想カ
メラ信号処理ボード330Bに入力され、ローパスフイ
ルタ335、アナログ/デイジタル変換回路336及び
レート変換回路337を介してカメラ用デイジタル信号
処理部338に供給される。このカメラ用デイジタル信
号処理部338は、図2について上述したカメラ用デイ
ジタル信号処理部38と同様の処理を行うものであり、
当該カメラ用デイジタル信号処理部338から出力され
るデイジタルビデオ信号S338は、仮想カメラ合成部
339に送出される。
【0081】仮想カメラ合成部339は、図2について
上述した場合と同様にして、CG画像作成装置51及び
過去画像DB装置52から得られるCG画像信号S51
A及び過去画像信号S52と合成され、合成ビデオ信号
S339として、レート変換回路340に供給される。
ここでレート変換されてなる合成ビデオ信号S340
は、インターレース変換回路341において偶数ライン
及び奇数ラインに分化され、これによりノンインターレ
ース方式からインターレース方式に変換されて切換え回
路342の第1の入力端に入力される。また、レート変
換回路340から出力される合成ビデオ信号S340
は、直接、切換え回路342の第2の入力端に入力され
る。
上述した場合と同様にして、CG画像作成装置51及び
過去画像DB装置52から得られるCG画像信号S51
A及び過去画像信号S52と合成され、合成ビデオ信号
S339として、レート変換回路340に供給される。
ここでレート変換されてなる合成ビデオ信号S340
は、インターレース変換回路341において偶数ライン
及び奇数ラインに分化され、これによりノンインターレ
ース方式からインターレース方式に変換されて切換え回
路342の第1の入力端に入力される。また、レート変
換回路340から出力される合成ビデオ信号S340
は、直接、切換え回路342の第2の入力端に入力され
る。
【0082】切換え回路342は第1の入力端又は第2
の入力端に入力されるインターレースの合成ビデオ信号
S341又はノンインターレースの合成ビデオ信号S3
40のいずれかを選択して、ビデオエンコーダ343に
送出する。
の入力端に入力されるインターレースの合成ビデオ信号
S341又はノンインターレースの合成ビデオ信号S3
40のいずれかを選択して、ビデオエンコーダ343に
送出する。
【0083】ビデオエンコーダ343は、入力された合
成ビデオ信号S340又はS341を例えばNTSC方
式の合成ビデオ信号S343にエンコードし、これをデ
イジタルインタフエイス346を介してデイジタル信号
のまま合成出力ビデオ信号S346として出力するとと
もに、デイジタル/アナログ変換回路347及びローパ
スフイルタ348を介してアナログ信号に変換し、これ
を合成出力ビデオ信号S348として出力する。かくし
て、FPGA構成の仮想カメラ信号処理ボード330B
から出力される合成ビデオ信号S346、S348とし
て、実際に撮像して得られた被写体像の背景にCG画像
を合成してなる合成画像を得ることができる。
成ビデオ信号S340又はS341を例えばNTSC方
式の合成ビデオ信号S343にエンコードし、これをデ
イジタルインタフエイス346を介してデイジタル信号
のまま合成出力ビデオ信号S346として出力するとと
もに、デイジタル/アナログ変換回路347及びローパ
スフイルタ348を介してアナログ信号に変換し、これ
を合成出力ビデオ信号S348として出力する。かくし
て、FPGA構成の仮想カメラ信号処理ボード330B
から出力される合成ビデオ信号S346、S348とし
て、実際に撮像して得られた被写体像の背景にCG画像
を合成してなる合成画像を得ることができる。
【0084】ここで、ビデオエンコーダ343から出力
される合成ビデオ信号S343は、仮想カメラヘツド部
330Cのデイジタル/アナログ変換回路44を介し
て、又は直接、LCD又はCRT式のビユーフアインダ
45に送出される。これにより、ビユーフアインダ45
には、実際に撮像して得られた被写体像がCG画像を背
景として表示される。
される合成ビデオ信号S343は、仮想カメラヘツド部
330Cのデイジタル/アナログ変換回路44を介し
て、又は直接、LCD又はCRT式のビユーフアインダ
45に送出される。これにより、ビユーフアインダ45
には、実際に撮像して得られた被写体像がCG画像を背
景として表示される。
【0085】以上の構成において、仮想カメラ装置33
0は、パーソナルコンピユータ本体390がシステム制
御を行い、FPGA構成の仮想カメラ信号処理ボード3
30Bがカメラ信号処理を行い、仮想画像を出力するビ
デオ合成ボード、仮想カメラヘツド部330C、仮想カ
メラ映像を表示、記録、編集するシステムは、パーソナ
ルコンピユータのCRTや記録機器(HDD、DVD
等)が行う。
0は、パーソナルコンピユータ本体390がシステム制
御を行い、FPGA構成の仮想カメラ信号処理ボード3
30Bがカメラ信号処理を行い、仮想画像を出力するビ
デオ合成ボード、仮想カメラヘツド部330C、仮想カ
メラ映像を表示、記録、編集するシステムは、パーソナ
ルコンピユータのCRTや記録機器(HDD、DVD
等)が行う。
【0086】パーソナルコンピユータ本体390はシス
テム制御を行うが、同時に、種々の拡張ボードを内蔵す
ることによつて、CGエンジンやリアルタイム画像デー
タベースを兼ねることができる。またCG画像の作成編
集やビデオ編集もパーソナルコンピユータのツールによ
つて行うことができる。このように、パーソナルコンピ
ユータシステムを用いた仮想カメラ装置330は、コン
ピユータシステム部330Aにおいて、制御、処理、記
録、表示、通信が一体となつており、仮想カメラに関係
する全ての機能をコンパクトに提供し得る。
テム制御を行うが、同時に、種々の拡張ボードを内蔵す
ることによつて、CGエンジンやリアルタイム画像デー
タベースを兼ねることができる。またCG画像の作成編
集やビデオ編集もパーソナルコンピユータのツールによ
つて行うことができる。このように、パーソナルコンピ
ユータシステムを用いた仮想カメラ装置330は、コン
ピユータシステム部330Aにおいて、制御、処理、記
録、表示、通信が一体となつており、仮想カメラに関係
する全ての機能をコンパクトに提供し得る。
【0087】(5)他の実施例 (5−1)上述の実施例においては、仮想カメラ合成処
理部の構成として、幾何変換回路を設けた場合について
述べたが、本発明はこれに限らず、例えば図24に示す
ように、画像変換回路239Cとして色変換及びぼかし
処理を施す回路を設けるようにしても良い。図24の場
合、デイジタル信号に変換されてなる撮像信号S238
は、FPGA239Aで構成された仮想カメラ合成処理
部の幾何変換回路255に供給される。幾何変換回路2
55は、仮想カメラ本体の撮影位置(カメラアングル)
を仮想的に変えるように画像を変形させたり、又は、仮
想カメラ本体のレンズ特性を仮想的に変えるように画像
処理する。
理部の構成として、幾何変換回路を設けた場合について
述べたが、本発明はこれに限らず、例えば図24に示す
ように、画像変換回路239Cとして色変換及びぼかし
処理を施す回路を設けるようにしても良い。図24の場
合、デイジタル信号に変換されてなる撮像信号S238
は、FPGA239Aで構成された仮想カメラ合成処理
部の幾何変換回路255に供給される。幾何変換回路2
55は、仮想カメラ本体の撮影位置(カメラアングル)
を仮想的に変えるように画像を変形させたり、又は、仮
想カメラ本体のレンズ特性を仮想的に変えるように画像
処理する。
【0088】このようにして幾何変換において画像処理
されることにより得られる幾何変換ビデオ信号S255
は、画像変換回路239C及び実撮像クロマキー検出回
路256に送出される。画像変換回路239Cは、幾何
変換ビデオ信号S255に対して、色変換及び又はぼか
し等の画像処理を施すことにより画像変換ビデオ信号S
239Cを得、これをキー制御合成回路239に送出す
る。
されることにより得られる幾何変換ビデオ信号S255
は、画像変換回路239C及び実撮像クロマキー検出回
路256に送出される。画像変換回路239Cは、幾何
変換ビデオ信号S255に対して、色変換及び又はぼか
し等の画像処理を施すことにより画像変換ビデオ信号S
239Cを得、これをキー制御合成回路239に送出す
る。
【0089】また実撮像クロマキー検出回路256は、
幾何変換ビデオ信号S255から、実際に撮影してなる
画像の被写体と背景を区別する実画像キー制御信号S2
56を生成し、これをキー制御合成回路239及び影処
理回路239Bに送出する。影処理回路239Bは、背
景画像前景画像CG作成装置251から送出される背景
CG画像信号S252に対して、実撮像クロマキー検出
回路256から出力される実画像キー制御信号S256
によつて被写体像の影を合成し、これにより得られる影
処理背景画像信号S239Bをキー制御合成回路239
に送出する。
幾何変換ビデオ信号S255から、実際に撮影してなる
画像の被写体と背景を区別する実画像キー制御信号S2
56を生成し、これをキー制御合成回路239及び影処
理回路239Bに送出する。影処理回路239Bは、背
景画像前景画像CG作成装置251から送出される背景
CG画像信号S252に対して、実撮像クロマキー検出
回路256から出力される実画像キー制御信号S256
によつて被写体像の影を合成し、これにより得られる影
処理背景画像信号S239Bをキー制御合成回路239
に送出する。
【0090】キー制御合成回路239は、画像変換回路
239Cから供給される画像変換ビデオ信号S239C
(すなわち画像処理された被写体の実写画像)を、背景
前景CG作成装置251から供給される前景画像信号S
251A及び影処理背景画像信号S239Bを合成す
る。これにより、被写体像に色変換やぼかし処理といつ
た画像処理を施すことができるとともに、背景となるC
G画像に被写体像の影を付けることができる。
239Cから供給される画像変換ビデオ信号S239C
(すなわち画像処理された被写体の実写画像)を、背景
前景CG作成装置251から供給される前景画像信号S
251A及び影処理背景画像信号S239Bを合成す
る。これにより、被写体像に色変換やぼかし処理といつ
た画像処理を施すことができるとともに、背景となるC
G画像に被写体像の影を付けることができる。
【0091】(5−2)図25は、FPGAを用いた仮
想カメラシステム230Aに対して、販売会社410か
らインターネツトを介してFPGAのプログラムを提供
する放送システム400を示している。仮想カメラシス
テム230Aを持つ顧客は、契約により販売会社410
からFPGAプログラムを受け取り、仮想空間作成CG
装置51、52を用いて所望の仮想空間を作り出す。こ
のとき、仮想スタジオ401では、単色背景の中で被写
体を撮影し、これを通常固定式カメラ等で構成される放
送情報入力設備402で撮影し、この結果得られる被写
体像を編集設備403に送出する。編集設備403は、
仮想空間と被写体像とを合成し、送出設備404を用い
て配信する。
想カメラシステム230Aに対して、販売会社410か
らインターネツトを介してFPGAのプログラムを提供
する放送システム400を示している。仮想カメラシス
テム230Aを持つ顧客は、契約により販売会社410
からFPGAプログラムを受け取り、仮想空間作成CG
装置51、52を用いて所望の仮想空間を作り出す。こ
のとき、仮想スタジオ401では、単色背景の中で被写
体を撮影し、これを通常固定式カメラ等で構成される放
送情報入力設備402で撮影し、この結果得られる被写
体像を編集設備403に送出する。編集設備403は、
仮想空間と被写体像とを合成し、送出設備404を用い
て配信する。
【0092】(5−3)図26は、パーソナルコンピユ
ータに内蔵したFPGA式仮想カメラ処理装置500A
と、アーム型実カメラ500Bとを有するFPGA式仮
想カメラシステム500を示し、販売会社から提供され
たFPGAプログラム作成ツール509によつて自らF
PGA処理器504をプログラムする。これにより、所
望のプログラミングが完了したFPGA式処理器504
は、スタジオ実カメラ512から得られる実写の被写体
像に、CGエンジン506から得られるCG背景画像を
合成することができる。なお、CGエンジン506は、
情報センサ513から得られる実カメラの位置情報等に
基づいて背景画像を変化させることができる。
ータに内蔵したFPGA式仮想カメラ処理装置500A
と、アーム型実カメラ500Bとを有するFPGA式仮
想カメラシステム500を示し、販売会社から提供され
たFPGAプログラム作成ツール509によつて自らF
PGA処理器504をプログラムする。これにより、所
望のプログラミングが完了したFPGA式処理器504
は、スタジオ実カメラ512から得られる実写の被写体
像に、CGエンジン506から得られるCG背景画像を
合成することができる。なお、CGエンジン506は、
情報センサ513から得られる実カメラの位置情報等に
基づいて背景画像を変化させることができる。
【0093】このように、販売会社からFPGAプログ
ラム作成ソフトを顧客に提供し、顧客はこの作成ソフト
によつてFPGAを任意にプログラムすることにより、
販売会社が全ての顧客の要求に答えたプログラミングソ
フトを提供するといつた煩雑な手間を回避し得る。
ラム作成ソフトを顧客に提供し、顧客はこの作成ソフト
によつてFPGAを任意にプログラムすることにより、
販売会社が全ての顧客の要求に答えたプログラミングソ
フトを提供するといつた煩雑な手間を回避し得る。
【0094】因みに、図27は図26について上述した
パーソナルコンピユータ内蔵式FPGA仮想カメラシス
テムの各構成要素(画像DB制御エンジン606、任意
構成可能なFPGA式処理器607、ロボツト制御部6
08、CGエンジン609、ネツトワーク部610、
等)を拡張ボードで構成したものを示す。
パーソナルコンピユータ内蔵式FPGA仮想カメラシス
テムの各構成要素(画像DB制御エンジン606、任意
構成可能なFPGA式処理器607、ロボツト制御部6
08、CGエンジン609、ネツトワーク部610、
等)を拡張ボードで構成したものを示す。
【0095】
【発明の効果】上述のように本発明によれば、仮想カメ
ラによつて撮影された被写体像に対して、別の画像ソー
スから供給された背景画像を合成してなる合成画像を、
当該仮想カメラのビユーフアインダに表示することによ
り、撮影者は実際に撮影している被写体像を合成後の状
態で見ることができ、合成される背景像との関わりを意
識しながら被写体を撮影することができる。
ラによつて撮影された被写体像に対して、別の画像ソー
スから供給された背景画像を合成してなる合成画像を、
当該仮想カメラのビユーフアインダに表示することによ
り、撮影者は実際に撮影している被写体像を合成後の状
態で見ることができ、合成される背景像との関わりを意
識しながら被写体を撮影することができる。
【図1】本発明による仮想カメラ装置のシステム例を示
すブロツク図である。
すブロツク図である。
【図2】第1実施例による仮想カメラ装置の全体構成を
示すブロツク図である。
示すブロツク図である。
【図3】サンプリングレート変換原理の説明に供する特
性曲線図である。
性曲線図である。
【図4】第1実施例によるカメラ信号処理部の構成を示
すブロツク図である。
すブロツク図である。
【図5】第1実施例による仮想カメラ合成処理部の構成
を示すブロツク図である。
を示すブロツク図である。
【図6】仮想カメラ合成処理部の幾何変換回路による幾
何変換例を示す略線図である。
何変換例を示す略線図である。
【図7】インターレース及びノンインターレースによる
変換前後のスペクトルを示す特性曲線図である。
変換前後のスペクトルを示す特性曲線図である。
【図8】仮想カメラ合成処理部の他の実施例を示すブロ
ツク図である。
ツク図である。
【図9】仮想カメラ装置の他の実施例を示すブロツク図
である。
である。
【図10】第2実施例による仮想カメラ装置のシステム
構成を示すブロツク図である。
構成を示すブロツク図である。
【図11】第2実施例による仮想カメラ装置の全体構成
を示すブロツク図である。
を示すブロツク図である。
【図12】第3実施例による仮想カメラ装置のシステム
構成を示すブロツク図である。
構成を示すブロツク図である。
【図13】第3実施例による仮想カメラ装置のシステム
構成を示すブロツク図である。
構成を示すブロツク図である。
【図14】第3実施例による仮想カメラ装置の全体構成
を示すブロツク図である。
を示すブロツク図である。
【図15】レート変換内部基本構成を示すブロツク図で
ある。
ある。
【図16】レート変換ローパスフイルタの構成を示す接
続図である。
続図である。
【図17】適応/非適応型ローパスフイルタの説明に供
するブロツク図である。
するブロツク図である。
【図18】FPGAプログラミング処理手順を示すフロ
ーチヤートである。
ーチヤートである。
【図19】第3実施例によるカメラ信号処理部の構成を
示すブロツク図である。
示すブロツク図である。
【図20】第3実施例による仮想カメラ合成処理部の構
成を示すブロツク図である。
成を示すブロツク図である。
【図21】仮想カメラ合成処理部の他の実施例を示すブ
ロツク図である。
ロツク図である。
【図22】第4実施例による仮想カメラ装置のシステム
構成を示すブロツク図である。
構成を示すブロツク図である。
【図23】第4実施例による仮想カメラ装置の全体構成
を示すブロツク図である。
を示すブロツク図である。
【図24】仮想カメラ合成処理部の他の実施例を示すブ
ロツク図である。
ロツク図である。
【図25】仮想スタジオとそのFPGA型仮想カメラシ
ステムを持つ放送システムの構成を示すブロツク図であ
る。
ステムを持つ放送システムの構成を示すブロツク図であ
る。
【図26】パーソナルコンピユータ内蔵式FPGA仮想
カメラシステムの構成を示すブロツク図である。
カメラシステムの構成を示すブロツク図である。
【図27】パーソナルコンピユータ内蔵式コンパクトF
PGAボード式仮想カメラシステムの構成を示すブロツ
ク図である。
PGAボード式仮想カメラシステムの構成を示すブロツ
ク図である。
【図28】従来の仮想カメラの構成を示すブロツク図で
ある。
ある。
30、130、230、330……仮想カメラ装置、3
7、137、237……レート変換回路、38、13
8、238、338……カメラ用デイジタル信号処理
部、39、139、239、339……仮想カメラ合成
部、45……ビユーフアインダ、230B、330B…
…FPGA。
7、137、237……レート変換回路、38、13
8、238、338……カメラ用デイジタル信号処理
部、39、139、239、339……仮想カメラ合成
部、45……ビユーフアインダ、230B、330B…
…FPGA。
Claims (3)
- 【請求項1】実写によつて得られる被写体像を、他の画
像ソースから供給された背景画像に合成する仮想カメラ
装置において、 上記実写による被写体像及び上記背景画像を合成してビ
ユーフアインダに送出する合成手段を具えることを特徴
とする仮想カメラ装置。 - 【請求項2】上記仮想カメラ装置は、 実写によつて上記被写体像を形成する画像信号をノンイ
ンターレースで生成し、上記背景画像を形成するノンイ
ンターレースの画像信号と上記合成手段で合成すること
を特徴とする請求項1に記載の仮想カメラ装置。 - 【請求項3】上記合成手段は、 外部から回路機能をプログラムするフイールドプログラ
マブルゲートアレイで構成することを特徴とする請求項
1に記載の仮想カメラ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9021082A JPH10210365A (ja) | 1997-01-20 | 1997-01-20 | 仮想カメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9021082A JPH10210365A (ja) | 1997-01-20 | 1997-01-20 | 仮想カメラ装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10210365A true JPH10210365A (ja) | 1998-08-07 |
Family
ID=12044972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9021082A Pending JPH10210365A (ja) | 1997-01-20 | 1997-01-20 | 仮想カメラ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10210365A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001311616A (ja) * | 2000-02-01 | 2001-11-09 | Faro Technol Inc | 座標測定システムに実行可能プログラムを提供する方法、システム、および記憶媒体 |
JP2004357272A (ja) * | 2003-05-28 | 2004-12-16 | Dennis S Fernandez | ネットワーク拡張可能・再構成可能メディア装置 |
-
1997
- 1997-01-20 JP JP9021082A patent/JPH10210365A/ja active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001311616A (ja) * | 2000-02-01 | 2001-11-09 | Faro Technol Inc | 座標測定システムに実行可能プログラムを提供する方法、システム、および記憶媒体 |
JP2004357272A (ja) * | 2003-05-28 | 2004-12-16 | Dennis S Fernandez | ネットワーク拡張可能・再構成可能メディア装置 |
US7577636B2 (en) | 2003-05-28 | 2009-08-18 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
US7599963B2 (en) | 2003-05-28 | 2009-10-06 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
US7743025B2 (en) | 2003-05-28 | 2010-06-22 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
US7761417B2 (en) | 2003-05-28 | 2010-07-20 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
US7784077B2 (en) | 2003-05-28 | 2010-08-24 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
US7805405B2 (en) | 2003-05-28 | 2010-09-28 | Dennis Fernandez | Network-extensible reconfigurable media appliance |
US7805404B2 (en) | 2003-05-28 | 2010-09-28 | Dennis Fernandez | Network-extensible reconfigurable media appliances |
US7827140B2 (en) | 2003-05-28 | 2010-11-02 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
US7831555B2 (en) | 2003-05-28 | 2010-11-09 | Dennis Fernandez | Network-extensible reconfigurable media appliance |
US7856418B2 (en) | 2003-05-28 | 2010-12-21 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
US7904465B2 (en) | 2003-05-28 | 2011-03-08 | Dennis Fernandez | Network-extensible reconfigurable media appliance |
US7987155B2 (en) | 2003-05-28 | 2011-07-26 | Dennis Fernandez | Network extensible reconfigurable media appliance |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3974964B2 (ja) | 画像処理装置 | |
KR101035770B1 (ko) | 촬상 장치와 동기 신호 발생 장치 | |
JP3382359B2 (ja) | 撮像装置 | |
KR100666290B1 (ko) | 촬상 장치 및 촬상 방법 | |
JP5300756B2 (ja) | 撮像装置及び画像処理方法 | |
US20080278602A1 (en) | Camera | |
JPH10150668A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
JP2005142680A (ja) | 画像処理装置 | |
JPH05502149A (ja) | 高解像度センサのための標準解像度処理装置を用いた分布形ディジタル信号処理システム | |
US20070030374A1 (en) | Electronic image capturing apparatus, control method of electronic image capturing apparatus, and image processing apparatus | |
US8564685B2 (en) | Video signal capturing apparatus, signal processing and control apparatus, and video signal capturing, video signal processing, and transferring system and method | |
JP3531003B2 (ja) | 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置 | |
JP2007096588A (ja) | 画像撮影装置および画像表示方法 | |
JP2002305684A (ja) | 撮像システム及びプログラム | |
JP3444281B2 (ja) | 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体 | |
JPH10336494A (ja) | ズーム表示機能付デジタルカメラ | |
JPH10210365A (ja) | 仮想カメラ装置 | |
JP2001309212A (ja) | デジタルカメラ | |
JP2006340100A (ja) | 撮影装置 | |
JPH10210424A (ja) | レート変換装置及び撮像装置 | |
JP6602425B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
JP4264602B2 (ja) | 画像処理装置 | |
JP2009267555A (ja) | 撮像装置、撮像方法 | |
JP4133179B2 (ja) | 画像信号処理装置 | |
JP2001268400A (ja) | ヒストグラム作成装置及びヒストグラム作成方法 |