JP2000270261A - 撮像装置及び画像合成方法並びに記録媒体 - Google Patents
撮像装置及び画像合成方法並びに記録媒体Info
- Publication number
- JP2000270261A JP2000270261A JP11069224A JP6922499A JP2000270261A JP 2000270261 A JP2000270261 A JP 2000270261A JP 11069224 A JP11069224 A JP 11069224A JP 6922499 A JP6922499 A JP 6922499A JP 2000270261 A JP2000270261 A JP 2000270261A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- composite
- data
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 実写画像とＣＧ画像との合成画像を簡易に得
る。 【解決手段】 テレビカメラやビデオカメラなどの撮像
装置１に合成部１４及び表示部１８を備える。また、撮
像部１０から取得した実写画像に合成すべきＣＧ画像な
どを合成情報とともに記憶部１６に格納する。合成部１
４は、画像データに付加された合成情報に基づき切出部
１２から切り出された実写画像とＣＧ画像などを合成
し、表示部１８に出力する。合成情報としては、アルフ
ァマップデータや３次元の合成位置データなどを用いる
ことができる。
る。 【解決手段】 テレビカメラやビデオカメラなどの撮像
装置１に合成部１４及び表示部１８を備える。また、撮
像部１０から取得した実写画像に合成すべきＣＧ画像な
どを合成情報とともに記憶部１６に格納する。合成部１
４は、画像データに付加された合成情報に基づき切出部
１２から切り出された実写画像とＣＧ画像などを合成
し、表示部１８に出力する。合成情報としては、アルフ
ァマップデータや３次元の合成位置データなどを用いる
ことができる。
Description
【０００１】
【発明の属する技術分野】本発明は撮像装置及び画像合
成方法、特に実写画像と予め用意した合成用画像（コン
ピュータグラフィックス（ＣＧ）画像など）を合成する
装置及び方法に関する。
成方法、特に実写画像と予め用意した合成用画像（コン
ピュータグラフィックス（ＣＧ）画像など）を合成する
装置及び方法に関する。
【０００２】
【従来の技術】最近、テレビ放送などでクロマキー技術
を用いてＣＧ等で作成した素材に実写画像から切り出し
た出演者を合成して多様な演出を行う技術が用いられて
いる。特に、近年のＣＧ技術の進歩により、カメラの動
きにＣＧ画像が同期し、出演者がＣＧの世界であたかも
自由に動き回っているような画像を作り出せるシステム
も開発されている。このシステム（バーチャルスタジ
オ）を用いることで、スタジオセットを実際に制作する
必要がなくなり、コストの削減や演出効果の増大、さら
には作業時間の短縮を図ることができる。
を用いてＣＧ等で作成した素材に実写画像から切り出し
た出演者を合成して多様な演出を行う技術が用いられて
いる。特に、近年のＣＧ技術の進歩により、カメラの動
きにＣＧ画像が同期し、出演者がＣＧの世界であたかも
自由に動き回っているような画像を作り出せるシステム
も開発されている。このシステム（バーチャルスタジ
オ）を用いることで、スタジオセットを実際に制作する
必要がなくなり、コストの削減や演出効果の増大、さら
には作業時間の短縮を図ることができる。
【０００３】従来のバーチャルスタジオの概要は以下の
通りである。すなわち、図６（ａ）に示されるように、
ブルーバックを背景とした出演者をカメラで撮影し、ク
ロマキー技術を用いてブルーバックから出演者のみを切
り出す。一方、カメラとは別のコンピュータを用い、図
６（ｂ）に示されるように、カメラの位置情報やパン、
チルト、ズーム、フォーカス情報などを取り込んでカメ
ラの画角に応じたＣＧ画像を生成する。そして、実写画
像から切り出した出演者の画像とＣＧ画像とを合成し、
図６（ｃ）に示されるような合成画像をモニタに表示す
る。
通りである。すなわち、図６（ａ）に示されるように、
ブルーバックを背景とした出演者をカメラで撮影し、ク
ロマキー技術を用いてブルーバックから出演者のみを切
り出す。一方、カメラとは別のコンピュータを用い、図
６（ｂ）に示されるように、カメラの位置情報やパン、
チルト、ズーム、フォーカス情報などを取り込んでカメ
ラの画角に応じたＣＧ画像を生成する。そして、実写画
像から切り出した出演者の画像とＣＧ画像とを合成し、
図６（ｃ）に示されるような合成画像をモニタに表示す
る。
【０００４】なお、コンピュータでＣＧ画像を生成する
には所定の時間を要するので、実写画像データを数フレ
ーム分遅延させてＣＧ画像と合成することが一般に行わ
れている。
には所定の時間を要するので、実写画像データを数フレ
ーム分遅延させてＣＧ画像と合成することが一般に行わ
れている。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従
来のバーチャルスタジオでは、実写画像を得るためのカ
メラ、ＣＧ画像を作成するためのコンピュータ、実写画
像とＣＧ画像を合成するための合成装置、及び合成画像
を表示するモニタがそれぞれ個別に設けられており、カ
メラを操作するカメラマンは、カメラとは離れて設けら
れたモニタ画像を適宜確認しながら所望の合成画像を得
るためにカメラを操作しなければならず、カメラコント
ロールが困難である問題があった。また、カメラとコン
ピュータ、合成装置が別体であるため、これらを設置す
るための大規模な施設が必要となり、撮影場所の制限や
価格などの点から小規模なプロダクションあるいは一般
ユーザが使用するのは困難である問題があった。
来のバーチャルスタジオでは、実写画像を得るためのカ
メラ、ＣＧ画像を作成するためのコンピュータ、実写画
像とＣＧ画像を合成するための合成装置、及び合成画像
を表示するモニタがそれぞれ個別に設けられており、カ
メラを操作するカメラマンは、カメラとは離れて設けら
れたモニタ画像を適宜確認しながら所望の合成画像を得
るためにカメラを操作しなければならず、カメラコント
ロールが困難である問題があった。また、カメラとコン
ピュータ、合成装置が別体であるため、これらを設置す
るための大規模な施設が必要となり、撮影場所の制限や
価格などの点から小規模なプロダクションあるいは一般
ユーザが使用するのは困難である問題があった。
【０００６】このような課題に対し、ＣＧ画像を作成す
るコンピュータ機能や合成機能、さらには合成画像を出
力するモニタ機能を単一のカメラに組み込み、合成画像
をカメラに設けられたモニタ（あるいはファインダ）に
出力し、カメラマンがこの合成画像を見ながら出演者を
撮影することが望ましいが、単にこれらの機能をカメラ
に搭載したのみでは実写画像とＣＧ画像をどのように合
成するか、例えば３次元ＣＧ画像に対して実写画像をど
のような位置にどのような割合で合成するかをカメラを
操作しながら行わなければならず、操作が困難となる問
題がある。
るコンピュータ機能や合成機能、さらには合成画像を出
力するモニタ機能を単一のカメラに組み込み、合成画像
をカメラに設けられたモニタ（あるいはファインダ）に
出力し、カメラマンがこの合成画像を見ながら出演者を
撮影することが望ましいが、単にこれらの機能をカメラ
に搭載したのみでは実写画像とＣＧ画像をどのように合
成するか、例えば３次元ＣＧ画像に対して実写画像をど
のような位置にどのような割合で合成するかをカメラを
操作しながら行わなければならず、操作が困難となる問
題がある。
【０００７】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、簡易な操作で実写
画像と合成用素材（ＣＧ画像など）を合成でき、所望の
画像を得ることができる装置及び方法並びに記録媒体を
提供することにある。
みなされたものであり、その目的は、簡易な操作で実写
画像と合成用素材（ＣＧ画像など）を合成でき、所望の
画像を得ることができる装置及び方法並びに記録媒体を
提供することにある。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、撮像手段と、予め用意された合成素
材データを記憶する記憶手段と、前記撮像手段で得られ
た実写画像と、前記記憶手段に記憶された合成素材デー
タとを合成する合成手段と、前記合成手段で得られた合
成画像を表示する表示手段とを有し、前記合成素材デー
タは、前記合成手段での合成を制御する合成情報を含む
ことを特徴とする。
に、第１の発明は、撮像手段と、予め用意された合成素
材データを記憶する記憶手段と、前記撮像手段で得られ
た実写画像と、前記記憶手段に記憶された合成素材デー
タとを合成する合成手段と、前記合成手段で得られた合
成画像を表示する表示手段とを有し、前記合成素材デー
タは、前記合成手段での合成を制御する合成情報を含む
ことを特徴とする。
【０００９】また、第２の発明は、第１の発明におい
て、前記合成素材データは、ＣＧデータであることを特
徴とする。
て、前記合成素材データは、ＣＧデータであることを特
徴とする。
【００１０】また、第３の発明は、第１、第２の発明に
おいて、前記合成情報は、アルファマップデータである
ことを特徴とする。
おいて、前記合成情報は、アルファマップデータである
ことを特徴とする。
【００１１】また、第４の発明は、第１、第２の発明に
おいて、前記合成情報は、合成位置に関するデータであ
ることを特徴とする。
おいて、前記合成情報は、合成位置に関するデータであ
ることを特徴とする。
【００１２】また、第５の発明は、実写画像と予め用意
した画像とを合成する方法であって、前記予め用意した
画像に合成情報を付加し、前記実写画像と前記予め用意
した画像を合成する際に、前記合成情報に基づいて合成
することを特徴とする。
した画像とを合成する方法であって、前記予め用意した
画像に合成情報を付加し、前記実写画像と前記予め用意
した画像を合成する際に、前記合成情報に基づいて合成
することを特徴とする。
【００１３】また、第６の発明は、実写画像に予め用意
した画像とを合成するプログラムを記録した媒体であっ
て、前記プログラムはコンピュータに対して、少なくと
も前記予め用意した画像に合成情報を付加して記憶手段
に記憶させ、前記実写画像と前記予め用意した画像を合
成する際に、前記合成情報に基づいて合成させることを
特徴とする。
した画像とを合成するプログラムを記録した媒体であっ
て、前記プログラムはコンピュータに対して、少なくと
も前記予め用意した画像に合成情報を付加して記憶手段
に記憶させ、前記実写画像と前記予め用意した画像を合
成する際に、前記合成情報に基づいて合成させることを
特徴とする。
【００１４】このように、本発明では、従来のようにカ
メラ、合成装置、モニタを別個に設けるのではなく、撮
像機能と合成機能と表示機能を一体化し、カメラなどの
撮像手段を操作するユーザが容易に合成画像を視認でき
るようにする。一体化とは一人で扱える範囲で、ケーブ
ル接続や無線接続されていてもよい。そして、実写画像
と合成用の素材を合成する際には、素材の画像データに
付加されている合成情報を用いて合成することで、ユー
ザが合成に関する専門的な知識や技術を必要とすること
なく、簡易に、かつリアルタイムで合成画像を得ること
ができる。合成用の素材は好適にはＣＧ画像であるが、
過去に得られた実写画像でもよい。また、ＣＧ画像には
２次元、３次元がともに含まれ、さらに２次元、３次元
の動き情報も含まれる。したがって、２次元、３次元の
ＣＧアニメーションにも当然対応できる。
メラ、合成装置、モニタを別個に設けるのではなく、撮
像機能と合成機能と表示機能を一体化し、カメラなどの
撮像手段を操作するユーザが容易に合成画像を視認でき
るようにする。一体化とは一人で扱える範囲で、ケーブ
ル接続や無線接続されていてもよい。そして、実写画像
と合成用の素材を合成する際には、素材の画像データに
付加されている合成情報を用いて合成することで、ユー
ザが合成に関する専門的な知識や技術を必要とすること
なく、簡易に、かつリアルタイムで合成画像を得ること
ができる。合成用の素材は好適にはＣＧ画像であるが、
過去に得られた実写画像でもよい。また、ＣＧ画像には
２次元、３次元がともに含まれ、さらに２次元、３次元
の動き情報も含まれる。したがって、２次元、３次元の
ＣＧアニメーションにも当然対応できる。
【００１５】合成情報は、実写画像と素材を合成する際
の合成の態様を制御するものであり、好適には合成の度
合いを示すアルファマップデータ、あるいは合成位置に
関するデータである。アルファマップデータにより実写
画像と素材を所望の割合で合成することができ、合成位
置情報により例えばＣＧ空間の所望位置に実写画像を合
成することができるようになる。
の合成の態様を制御するものであり、好適には合成の度
合いを示すアルファマップデータ、あるいは合成位置に
関するデータである。アルファマップデータにより実写
画像と素材を所望の割合で合成することができ、合成位
置情報により例えばＣＧ空間の所望位置に実写画像を合
成することができるようになる。
【００１６】なお、記録媒体にはＣＤ−ＲＯＭやＤＶＤ
など、電磁気的、化学的あるいは光学的に情報を担持で
きる任意の媒体が含まれる。
など、電磁気的、化学的あるいは光学的に情報を担持で
きる任意の媒体が含まれる。
【００１７】
【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。
形態について説明する。
【００１８】図１には、本実施形態の構成ブロック図が
示されている。本実施形態の基本構成は、テレビカメラ
やビデオカメラなどの撮像装置１に画像合成機能及び合
成画像を表示する表示機能を持たせたものである。
示されている。本実施形態の基本構成は、テレビカメラ
やビデオカメラなどの撮像装置１に画像合成機能及び合
成画像を表示する表示機能を持たせたものである。
【００１９】撮像部１０は、ＣＣＤ２次元アレイなどで
構成され、ブルーバック環境で演技をしている出演者な
どの実写画像を取得する。得られた実写画像は、切出部
１２に供給される。切出部１２は、公知のクロマキー技
術を用いて、ブルーバック環境から合成の対象となる実
写画像、例えば出演者画像を切り出し、合成部１４に出
力する。
構成され、ブルーバック環境で演技をしている出演者な
どの実写画像を取得する。得られた実写画像は、切出部
１２に供給される。切出部１２は、公知のクロマキー技
術を用いて、ブルーバック環境から合成の対象となる実
写画像、例えば出演者画像を切り出し、合成部１４に出
力する。
【００２０】操作部２０は、撮像装置１を操作するカメ
ラマンが操作するスイッチであり、この手元の操作部２
０を操作することでカメラマンは実写画像に合成すべき
画像を選択することができる。なお、実写画像に合成す
る画像としては、ＣＧ画像の他、予め用意された実写画
像や実写映像などが含まれる。
ラマンが操作するスイッチであり、この手元の操作部２
０を操作することでカメラマンは実写画像に合成すべき
画像を選択することができる。なお、実写画像に合成す
る画像としては、ＣＧ画像の他、予め用意された実写画
像や実写映像などが含まれる。
【００２１】記憶部１６は、実写画像に合成する合成用
素材を記憶するもので、ＣＧ画像その他が記憶される。
画像データは２次元データ、３次元データのいずれでも
よい。記憶部１６に記憶されているＣＧ画像データなど
には、合成情報が予め付加されており、実写画像と素材
との合成は、この合成情報を用いて行われる。
素材を記憶するもので、ＣＧ画像その他が記憶される。
画像データは２次元データ、３次元データのいずれでも
よい。記憶部１６に記憶されているＣＧ画像データなど
には、合成情報が予め付加されており、実写画像と素材
との合成は、この合成情報を用いて行われる。
【００２２】合成部１４は、切出部１２から出力された
実写画像と記憶部１６から読み出された素材を、素材に
付加されている合成情報を用いて合成し、表示部１８に
出力する。
実写画像と記憶部１６から読み出された素材を、素材に
付加されている合成情報を用いて合成し、表示部１８に
出力する。
【００２３】表示部１８は、撮像装置１に組み込まれて
おり、合成部１４から出力された合成画像を表示する。
これにより、撮像装置１を操作するカメラマンは合成画
像を見ながら撮像装置１を操作することができる。な
お、表示部１８は、ファインダで構成するのが好適であ
る。
おり、合成部１４から出力された合成画像を表示する。
これにより、撮像装置１を操作するカメラマンは合成画
像を見ながら撮像装置１を操作することができる。な
お、表示部１８は、ファインダで構成するのが好適であ
る。
【００２４】図２には、合成部１４の構成ブロック図が
示されている。合成部１４は、合成情報抽出部１４ａ及
び像合成部１４ｂを含んで構成されている。
示されている。合成部１４は、合成情報抽出部１４ａ及
び像合成部１４ｂを含んで構成されている。
【００２５】合成情報抽出部１４ａは、記憶部１６から
読み出した素材に付加されている合成情報を抽出し、抽
出した合成情報と素材の画像データを像合成部１４ｂに
供給する。
読み出した素材に付加されている合成情報を抽出し、抽
出した合成情報と素材の画像データを像合成部１４ｂに
供給する。
【００２６】像合成部１４ｂは、合成情報抽出部１４ａ
からの合成情報に基づいて素材画像あるいは実写画像を
加工し、実写画像と素材を所望の態様で合成する。合成
機能自体は公知であり、その説明は省略する。合成情報
は画像データとセットとなるように付加され、具体的に
は実写画像と素材との混合度合いや素材に対する実写画
像の合成位置などがある。合成情報の付加は、素材のＣ
Ｇ画像を作成するコンピュータで行っても良く、また、
撮像装置１で合成情報が未だ付加されていない素材を用
いて合成画像を一度作成し（ユーザがマニュアルで合成
の態様を決定する）、そのときの各種合成パラメータを
合成情報とし、用いた素材データに付加して記憶部１６
に記憶してもよい。次に同一の素材を用いて合成を行う
際には、前回の合成で付加された合成情報を利用するこ
とができる。すなわち、記憶部１６は、合成用素材のデ
ータベースとして機能する。
からの合成情報に基づいて素材画像あるいは実写画像を
加工し、実写画像と素材を所望の態様で合成する。合成
機能自体は公知であり、その説明は省略する。合成情報
は画像データとセットとなるように付加され、具体的に
は実写画像と素材との混合度合いや素材に対する実写画
像の合成位置などがある。合成情報の付加は、素材のＣ
Ｇ画像を作成するコンピュータで行っても良く、また、
撮像装置１で合成情報が未だ付加されていない素材を用
いて合成画像を一度作成し（ユーザがマニュアルで合成
の態様を決定する）、そのときの各種合成パラメータを
合成情報とし、用いた素材データに付加して記憶部１６
に記憶してもよい。次に同一の素材を用いて合成を行う
際には、前回の合成で付加された合成情報を利用するこ
とができる。すなわち、記憶部１６は、合成用素材のデ
ータベースとして機能する。
【００２７】以下、本実施形態における合成情報につい
て説明する。
て説明する。
【００２８】＜アルファマップ＞図３には、記憶部１６
に記憶されている素材データのフォーマットの一例が示
されている。なお、素材の画像データとしてＣＧ画像を
用いている。実写画像と合成する素材データは、時間毎
（フレーム毎）のＣＧデータ部分と合成情報であるアル
ファマップデータ部分から構成されている。アルファマ
ップとは、画像と画像の混合度合いを示すマップであ
り、画面を構成する画素単位に混合度合いを示したマッ
プである。混合度合いは、例えば２５６階調のグレーレ
ベルとし、実写画像側の比率を１００％とする場合に
は、その画素のアルファ値を０とし、素材側の比率を１
００％とする場合にはその画素のアルファ値を２５５と
する。したがって、ある画素について、そのアルファ値
を時間とともに０から２５５まで変化させた場合、最初
は実写画像のみであり、やがて素材の比率が増大し、最
後に素材のみとなり、素材が徐々に浮かび上がるような
視覚的効果を得ることができる。
に記憶されている素材データのフォーマットの一例が示
されている。なお、素材の画像データとしてＣＧ画像を
用いている。実写画像と合成する素材データは、時間毎
（フレーム毎）のＣＧデータ部分と合成情報であるアル
ファマップデータ部分から構成されている。アルファマ
ップとは、画像と画像の混合度合いを示すマップであ
り、画面を構成する画素単位に混合度合いを示したマッ
プである。混合度合いは、例えば２５６階調のグレーレ
ベルとし、実写画像側の比率を１００％とする場合に
は、その画素のアルファ値を０とし、素材側の比率を１
００％とする場合にはその画素のアルファ値を２５５と
する。したがって、ある画素について、そのアルファ値
を時間とともに０から２５５まで変化させた場合、最初
は実写画像のみであり、やがて素材の比率が増大し、最
後に素材のみとなり、素材が徐々に浮かび上がるような
視覚的効果を得ることができる。
【００２９】したがって、図３に示すように、フレーム
毎にアルファマップデータを合成情報として付加し、像
合成部１４ｂでこのアルファマップデータに基づいて実
写画像と素材とを合成することで、カメラマンは合成の
度合いを調整することなく容易に両画像を所望の態様で
合成することができる。
毎にアルファマップデータを合成情報として付加し、像
合成部１４ｂでこのアルファマップデータに基づいて実
写画像と素材とを合成することで、カメラマンは合成の
度合いを調整することなく容易に両画像を所望の態様で
合成することができる。
【００３０】なお、上記の例では実写画像に素材を合成
する度合いをアルファマップで規定したが、逆に、素材
に対する実写画像の合成度合いをアルファマップで規定
することも可能である。例えば、固定的な２次元ＣＧ画
像を素材として用い、この素材に実写画像（人物像）を
合成する場合、素材に対する実写画像の合成度合いをア
ルファマップで規定し、アルファ値が０の画素では素材
のみとし、アルファ値が２５５の画素では実写のみとす
ればよい。また、アルファマップのみフレーム毎に備え
ることも可能である。
する度合いをアルファマップで規定したが、逆に、素材
に対する実写画像の合成度合いをアルファマップで規定
することも可能である。例えば、固定的な２次元ＣＧ画
像を素材として用い、この素材に実写画像（人物像）を
合成する場合、素材に対する実写画像の合成度合いをア
ルファマップで規定し、アルファ値が０の画素では素材
のみとし、アルファ値が２５５の画素では実写のみとす
ればよい。また、アルファマップのみフレーム毎に備え
ることも可能である。
【００３１】＜位置情報＞図４には、記憶部１６に記憶
されている素材データのフォーマットの他の例が示され
ている。実写画像と合成する素材データは、固定の３次
元（３Ｄ）のＣＧデータと時間毎（フレーム毎）の合成
情報から構成されている。３次元ＣＧデータは、具体的
には３次元空間データや３次元物体データである。ま
た、合成情報（ｔ）、合成情報（ｔ＋１）、・・・は、
各時間における素材画像に対する実写画像の合成位置そ
の他を示している。すなわち、合成情報（ｔ）には、 位置情報：（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ）） 回転情報：（ｒｘ（ｔ）、ｒｙ（ｔ）、ｒｚ（ｔ）） スケール情報：（全体のスケール、各軸ｘ、ｙ、ｚのス
ケール、矩形頂点位置の指定） が含まれている。像合成部１４ｂは、３ＤのＣＧ画像を
一度セットし、時間毎の合成情報を用いて実写画像を次
々と３ＤＣＧの所定位置に所定の大きさで合成する。ユ
ーザであるカメラマンは、合成について考慮することな
く所望の合成画像を得ることができる。
されている素材データのフォーマットの他の例が示され
ている。実写画像と合成する素材データは、固定の３次
元（３Ｄ）のＣＧデータと時間毎（フレーム毎）の合成
情報から構成されている。３次元ＣＧデータは、具体的
には３次元空間データや３次元物体データである。ま
た、合成情報（ｔ）、合成情報（ｔ＋１）、・・・は、
各時間における素材画像に対する実写画像の合成位置そ
の他を示している。すなわち、合成情報（ｔ）には、 位置情報：（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ）） 回転情報：（ｒｘ（ｔ）、ｒｙ（ｔ）、ｒｚ（ｔ）） スケール情報：（全体のスケール、各軸ｘ、ｙ、ｚのス
ケール、矩形頂点位置の指定） が含まれている。像合成部１４ｂは、３ＤのＣＧ画像を
一度セットし、時間毎の合成情報を用いて実写画像を次
々と３ＤＣＧの所定位置に所定の大きさで合成する。ユ
ーザであるカメラマンは、合成について考慮することな
く所望の合成画像を得ることができる。
【００３２】なお、素材に対する実写画像の位置を時間
とともに変化させない場合には、もちろん合成情報
（ｔ）、合成情報（ｔ＋１）、・・は同一データとなる
ので固定値としてもよい。
とともに変化させない場合には、もちろん合成情報
（ｔ）、合成情報（ｔ＋１）、・・は同一データとなる
ので固定値としてもよい。
【００３３】また、素材の画像データとしては、３Ｄの
ＣＧではなく、２次元のＣＧを用いることももちろん可
能である。この場合、合成情報（ｔ）としては、 位置情報：（ｘ（ｔ）、ｙ（ｔ））回転情報：（ｒｚ
（ｔ）） スケール情報：（全体スケール、各軸ｘ、ｙのスケー
ル、矩形頂点位置の指定） を含めることができる。像合成部１４ｂは、２次元のＣ
Ｇデータを一度セットし、時間毎の合成情報を用いて実
写画像を次々と所定の位置に合成していく。
ＣＧではなく、２次元のＣＧを用いることももちろん可
能である。この場合、合成情報（ｔ）としては、 位置情報：（ｘ（ｔ）、ｙ（ｔ））回転情報：（ｒｚ
（ｔ）） スケール情報：（全体スケール、各軸ｘ、ｙのスケー
ル、矩形頂点位置の指定） を含めることができる。像合成部１４ｂは、２次元のＣ
Ｇデータを一度セットし、時間毎の合成情報を用いて実
写画像を次々と所定の位置に合成していく。
【００３４】また、３ＤのＣＧ画像あるいは２次元のＣ
Ｇ画像を固定ではなく、単純変形（平行移動や回転、ス
ケーリング変化）させながら実写画像と合成するように
合成情報を規定することもできる。
Ｇ画像を固定ではなく、単純変形（平行移動や回転、ス
ケーリング変化）させながら実写画像と合成するように
合成情報を規定することもできる。
【００３５】図５には、この場合の素材データフォーマ
ット例が示されている。実写画像と合成する素材データ
は、３Ｄ（もちろん２次元でもよい）のＣＧデータと時
間毎の合成情報（ｔ）及び３Ｄ素材の合成情報（ｔ）か
ら構成されている。すなわち、合成情報として２種類用
意し、１つは図３や図４と同様に素材に対する実写画像
の合成位置を表す情報であり、もう１つは素材の画像デ
ータ自身の変形を規定する合成情報である。素材の画像
データ自身の変形を規定する３Ｄ素材合成情報（ｔ）に
は、 視点位置情報：（ｖｘ（ｔ）、ｖ（ｙ）、ｖ（ｚ）） 位置情報（ｘ’（ｔ）、ｙ’（ｔ）、ｚ’（ｔ））、 回転情報（ｒｘ’（ｔ）、ｒｙ’（ｔ）、ｒｚ’
（ｔ）） スケール情報（全体スケール、各軸スケール） などが含まれる。これにより、例えばＣＧで作成した３
次元仮想空間を変形させながら実写画像を所定の位置に
合成する、あるいはＣＧで作成したキャラクタを実写画
像の出演者と共演させる合成画像を容易に得ることがで
きる。
ット例が示されている。実写画像と合成する素材データ
は、３Ｄ（もちろん２次元でもよい）のＣＧデータと時
間毎の合成情報（ｔ）及び３Ｄ素材の合成情報（ｔ）か
ら構成されている。すなわち、合成情報として２種類用
意し、１つは図３や図４と同様に素材に対する実写画像
の合成位置を表す情報であり、もう１つは素材の画像デ
ータ自身の変形を規定する合成情報である。素材の画像
データ自身の変形を規定する３Ｄ素材合成情報（ｔ）に
は、 視点位置情報：（ｖｘ（ｔ）、ｖ（ｙ）、ｖ（ｚ）） 位置情報（ｘ’（ｔ）、ｙ’（ｔ）、ｚ’（ｔ））、 回転情報（ｒｘ’（ｔ）、ｒｙ’（ｔ）、ｒｚ’
（ｔ）） スケール情報（全体スケール、各軸スケール） などが含まれる。これにより、例えばＣＧで作成した３
次元仮想空間を変形させながら実写画像を所定の位置に
合成する、あるいはＣＧで作成したキャラクタを実写画
像の出演者と共演させる合成画像を容易に得ることがで
きる。
【００３６】以上、本発明の実施形態について説明した
が、本実施形態の合成処理はコンピュータにプログラム
をインストールし、コンピュータのプロセッサがインス
トールプログラムを逐次実行することで実現することが
できる。プログラムは記録媒体からコンピュータに供給
することができ、このような記録媒体としてはＣＤ−Ｒ
ＯＭやＤＶＤ、ハードディスクなど任意の媒体が使用で
きる。
が、本実施形態の合成処理はコンピュータにプログラム
をインストールし、コンピュータのプロセッサがインス
トールプログラムを逐次実行することで実現することが
できる。プログラムは記録媒体からコンピュータに供給
することができ、このような記録媒体としてはＣＤ−Ｒ
ＯＭやＤＶＤ、ハードディスクなど任意の媒体が使用で
きる。
【００３７】また、本発明の実施形態以外にも種々の変
形が可能である。例えば、本実施形態において、撮像装
置１の表示部１８（好適にはファインダ）に合成画像を
表示する際に、合成情報であるアルファマップや実写画
像の合成位置を同時に表示し、ユーザであるカメラマン
が操作部２０を用いてこれらの合成情報を変更すること
ができる構成とすることも可能である。これにより、合
成情報に基づいた合成画像に必ずしも満足できないユー
ザでも、合成位置などを自身で微調整して所望の合成画
像を容易に得ることができるようになる。
形が可能である。例えば、本実施形態において、撮像装
置１の表示部１８（好適にはファインダ）に合成画像を
表示する際に、合成情報であるアルファマップや実写画
像の合成位置を同時に表示し、ユーザであるカメラマン
が操作部２０を用いてこれらの合成情報を変更すること
ができる構成とすることも可能である。これにより、合
成情報に基づいた合成画像に必ずしも満足できないユー
ザでも、合成位置などを自身で微調整して所望の合成画
像を容易に得ることができるようになる。
【００３８】また、切出部１２でブルーバックから実写
画像を切り出した際の切り出し情報をそのままアルファ
マップデータとして用い、所望の素材に切り出した実写
画像を合成することもできる。
画像を切り出した際の切り出し情報をそのままアルファ
マップデータとして用い、所望の素材に切り出した実写
画像を合成することもできる。
【００３９】また、図３〜図５において、１つのＣＧデ
ータに対して複数種類の合成情報（合成情報Ａ（ｔ）、
合成情報Ｂ（ｔ）、・・）を付加し、合成情報抽出部１
４ａはこれらの合成情報を抽出して表示部１８に供給
し、ユーザがこれらの合成情報の中から所望の合成情報
を選択できるように構成することもできる。ここで、当
然ながら、一つの合成情報に複数の素材データを対応づ
けることも可能である。
ータに対して複数種類の合成情報（合成情報Ａ（ｔ）、
合成情報Ｂ（ｔ）、・・）を付加し、合成情報抽出部１
４ａはこれらの合成情報を抽出して表示部１８に供給
し、ユーザがこれらの合成情報の中から所望の合成情報
を選択できるように構成することもできる。ここで、当
然ながら、一つの合成情報に複数の素材データを対応づ
けることも可能である。
【００４０】また、図１の構成において、撮像装置１の
位置（前後、左右、高さ）やチルト、ズーム、フォーカ
ス、アイリスを検出するセンサを設け、得られた信号を
像合成部１４ｂに供給することも可能である。そして、
合成情報を用いて実写画像とＣＧ画像などを合成する際
に、合成情報を用いるか、センサで検出された位置情報
を用いるかを適宜選択できる構成とすることもでき、あ
るいは合成情報に基づいて合成した後に、センサで得ら
れた位置情報に基づいて微調整するなども可能である。
位置（前後、左右、高さ）やチルト、ズーム、フォーカ
ス、アイリスを検出するセンサを設け、得られた信号を
像合成部１４ｂに供給することも可能である。そして、
合成情報を用いて実写画像とＣＧ画像などを合成する際
に、合成情報を用いるか、センサで検出された位置情報
を用いるかを適宜選択できる構成とすることもでき、あ
るいは合成情報に基づいて合成した後に、センサで得ら
れた位置情報に基づいて微調整するなども可能である。
【００４１】さらに、本実施形態において、実写画像と
して部分切出画像ではなく撮像部１０で得られたフレー
ム全体を用いることもでき、素材についても、２次元あ
るいは３次元のＣＧ画像ではなく、過去に得られた実写
画像やアニメーションなどの映像を用いることも可能で
ある。合成の態様には、例えば以下のものがある。
して部分切出画像ではなく撮像部１０で得られたフレー
ム全体を用いることもでき、素材についても、２次元あ
るいは３次元のＣＧ画像ではなく、過去に得られた実写
画像やアニメーションなどの映像を用いることも可能で
ある。合成の態様には、例えば以下のものがある。
【００４２】（１）実写画像をフレーム全体とし、素材
を２次元画像あるいは映像とした場合実写フレームへの
タイトル合成、実写フレームへのキャラクタ合成、実写
フレームへの実写画像の合成（例えば列車の車内映像の
窓内に実写合成） （２）実写画像をフレーム全体とし、素材を３次元空間
画像とした場合室内を仮想表現したＣＧ画像中の窓に実
写画像を合成 （３）実写画像をフレーム全体とし、素材を３次元物体
画像とした場合実写画像を背景に３次元物体（ＣＧで作
成した車など）を合成 （４）実写画像を部分切出画像とし、素材を２次元画像
あるいは映像とした場合ＣＧで作成した背景に実写画像
を合成 （５）実写画像を部分切出画像とし、素材を３次元空間
とした場合ＣＧで作成した仮想空間中に演技者を合成、
ＣＧ空間中に実写の車を合成 （６）実写画像を部分切出画像とし、素材を３次元物体
とした場合 ＣＧで作成したキャラクタと出演者が共演しているよう
な合成
を２次元画像あるいは映像とした場合実写フレームへの
タイトル合成、実写フレームへのキャラクタ合成、実写
フレームへの実写画像の合成（例えば列車の車内映像の
窓内に実写合成） （２）実写画像をフレーム全体とし、素材を３次元空間
画像とした場合室内を仮想表現したＣＧ画像中の窓に実
写画像を合成 （３）実写画像をフレーム全体とし、素材を３次元物体
画像とした場合実写画像を背景に３次元物体（ＣＧで作
成した車など）を合成 （４）実写画像を部分切出画像とし、素材を２次元画像
あるいは映像とした場合ＣＧで作成した背景に実写画像
を合成 （５）実写画像を部分切出画像とし、素材を３次元空間
とした場合ＣＧで作成した仮想空間中に演技者を合成、
ＣＧ空間中に実写の車を合成 （６）実写画像を部分切出画像とし、素材を３次元物体
とした場合 ＣＧで作成したキャラクタと出演者が共演しているよう
な合成
【発明の効果】以上説明したように、本発明によれば実
写画像とＣＧ画像などの合成画像を簡易にかつ効率的に
得ることができる。
写画像とＣＧ画像などの合成画像を簡易にかつ効率的に
得ることができる。
【図１】 本発明の実施形態の構成ブロック図である。
【図２】 図１における合成部の構成ブロック図であ
る。
る。
【図３】 素材データのフォーマット説明図（その１）
である。
である。
【図４】 素材データのフォーマット説明図（その２）
である。
である。
【図５】 素材データのフォーマット説明図（その３）
である。
である。
【図６】 実写画像と素材との合成を示す説明図であ
る。
る。
１ 撮像装置、１０ 撮像部、１２ 切出部、１４ 合
成部、１６ 記憶部、１８ 表示部、２０ 操作部。
成部、１６ 記憶部、１８ 表示部、２０ 操作部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｈ０４Ｎ 5/781 ５１０Ｆ ５Ｃ０５４ 7/18 5/91 Ｎ (72)発明者 北村 徹 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 Ｆターム(参考） 5B050 AA08 BA07 BA09 BA11 BA12 EA19 5B057 BA02 CA13 CB12 CE08 5C022 AA01 AA11 AA13 AB00 AB68 AC01 AC13 AC32 AC69 AC75 AC80 CA00 5C023 AA11 AA17 AA18 AA37 BA11 CA02 CA05 CA08 DA04 DA08 EA02 EA03 5C053 FA14 FA23 GB12 JA16 KA03 KA17 KA24 KA25 LA01 LA06 LA14 5C054 AA01 CA04 CC05 DA01 EA07 EB05 EH02 FC12 FE12 FF03 GA01 GA02 GB02 GB16 HA14 HA17
Claims (6)
- 【請求項１】 撮像手段と、 予め用意された合成素材データを記憶する記憶手段と、 前記撮像手段で得られた実写画像と、前記記憶手段に記
憶された合成素材データとを合成する合成手段と、 前記合成手段で得られた合成画像を表示する表示手段
と、 を有し、前記合成素材データは、前記合成手段での合成
を制御する合成情報を含むことを特徴とする撮像装置。 - 【請求項２】 請求項１記載の装置において、 前記合成素材データは、ＣＧデータであることを特徴と
する撮像装置。 - 【請求項３】 請求項１、２のいずれかに記載の装置に
おいて、 前記合成情報は、アルファマップデータであることを特
徴とする撮像装置。 - 【請求項４】 請求項１、２のいずれかに記載の装置に
おいて、 前記合成情報は、合成位置に関するデータであることを
特徴とする撮像装置。 - 【請求項５】 実写画像と予め用意した画像とを合成す
る方法であって、 前記予め用意した画像に合成情報を付加し、 前記実写画像と前記予め用意した画像を合成する際に、
前記合成情報に基づいて合成することを特徴とする画像
合成方法。 - 【請求項６】 実写画像に予め用意した画像とを合成す
るプログラムを記録した媒体であって、前記プログラム
はコンピュータに対して、少なくとも前記予め用意した
画像に合成情報を付加して記憶手段に記憶させ、 前記実写画像と前記予め用意した画像を合成する際に、
前記合成情報に基づいて合成させることを特徴とする記
録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11069224A JP2000270261A (ja) | 1999-03-15 | 1999-03-15 | 撮像装置及び画像合成方法並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11069224A JP2000270261A (ja) | 1999-03-15 | 1999-03-15 | 撮像装置及び画像合成方法並びに記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000270261A true JP2000270261A (ja) | 2000-09-29 |
Family
ID=13396555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11069224A Pending JP2000270261A (ja) | 1999-03-15 | 1999-03-15 | 撮像装置及び画像合成方法並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000270261A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1617653A2 (en) | 2004-07-16 | 2006-01-18 | Canon Kabushiki Kaisha | Lens apparatus and image synthesis system |
| JP2006150427A (ja) * | 2004-11-30 | 2006-06-15 | Kobe Steel Ltd | 鍛造作業のガイダンス装置及びこの装置を用いた鍛造方法 |
| US7145737B2 (en) | 2004-04-12 | 2006-12-05 | Canon Kabushiki Kaisha | Lens apparatus and virtual system |
| JP2007318628A (ja) * | 2006-05-29 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 実時間映像処理システム |
| JP2010087902A (ja) * | 2008-09-30 | 2010-04-15 | Casio Computer Co Ltd | 撮像装置及びプログラム |
| JP2010153947A (ja) * | 2008-12-24 | 2010-07-08 | Casio Computer Co Ltd | 画像生成装置、画像生成プログラム及び画像表示方法 |
| JP2012088776A (ja) * | 2010-10-15 | 2012-05-10 | Nintendo Co Ltd | 画像処理プログラム、装置、システムおよび方法 |
| JP2012129731A (ja) * | 2010-12-14 | 2012-07-05 | Ntt Docomo Inc | 携帯端末および画像処理方法 |
-
1999
- 1999-03-15 JP JP11069224A patent/JP2000270261A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7145737B2 (en) | 2004-04-12 | 2006-12-05 | Canon Kabushiki Kaisha | Lens apparatus and virtual system |
| EP1617653A2 (en) | 2004-07-16 | 2006-01-18 | Canon Kabushiki Kaisha | Lens apparatus and image synthesis system |
| JP2006150427A (ja) * | 2004-11-30 | 2006-06-15 | Kobe Steel Ltd | 鍛造作業のガイダンス装置及びこの装置を用いた鍛造方法 |
| JP4628072B2 (ja) * | 2004-11-30 | 2011-02-09 | 株式会社神戸製鋼所 | 鍛造作業のガイダンス装置及びこの装置を用いた鍛造方法 |
| JP2007318628A (ja) * | 2006-05-29 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 実時間映像処理システム |
| JP4643494B2 (ja) * | 2006-05-29 | 2011-03-02 | パナソニック株式会社 | 実時間映像処理システム |
| JP2010087902A (ja) * | 2008-09-30 | 2010-04-15 | Casio Computer Co Ltd | 撮像装置及びプログラム |
| JP2010153947A (ja) * | 2008-12-24 | 2010-07-08 | Casio Computer Co Ltd | 画像生成装置、画像生成プログラム及び画像表示方法 |
| JP2012088776A (ja) * | 2010-10-15 | 2012-05-10 | Nintendo Co Ltd | 画像処理プログラム、装置、システムおよび方法 |
| JP2012129731A (ja) * | 2010-12-14 | 2012-07-05 | Ntt Docomo Inc | 携帯端末および画像処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gibbs et al. | Virtual studios: An overview | |
| US8243123B1 (en) | Three-dimensional camera adjunct | |
| JP4072330B2 (ja) | 表示装置および情報処理方法 | |
| US6014163A (en) | Multi-camera virtual set system employing still store frame buffers for each camera | |
| US10859852B2 (en) | Real-time video processing for pyramid holographic projections | |
| CN113660528B (zh) | 一种视频合成方法、装置、电子设备和存储介质 | |
| JP7476375B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP3724117B2 (ja) | 画像生成装置および画像生成方法 | |
| CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、***及存储介质 | |
| JP2007004427A (ja) | 画像表示システムおよび画像表示装置ならびにプログラム | |
| JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
| JP2018055279A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
| JP2003143477A (ja) | 映像合成装置および方法 | |
| JPH1042307A (ja) | キーシステム及び合成画像作成方法 | |
| JP7296735B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2002077586A (ja) | 画像印刷装置 | |
| JP2021015417A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
| JP4741434B2 (ja) | Ｃｇ合成装置およびｃｇ合成プログラム | |
| JP7476160B2 (ja) | 情報処理装置、情報処理システム、及びプログラム | |
| WO2023090038A1 (ja) | 情報処理装置、映像処理方法、プログラム | |
| JP2002271692A (ja) | 画像処理方法、画像処理装置、スタジオ装置、スタジオシステム及びプログラム | |
| GB2324429A (en) | Electronic zoom control in a virtual studio | |
| JPH10327350A (ja) | 画像生成装置および画像生成方法 | |
| WO2022230715A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム |