JP4144960B2

JP4144960B2 - Imaging apparatus, image composition apparatus and method

Info

Publication number: JP4144960B2
Application number: JP07445799A
Authority: JP
Inventors: 幸則松本; 恒太藤村; 徹北村
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1999-03-18
Filing date: 1999-03-18
Publication date: 2008-09-03
Anticipated expiration: 2019-03-18
Also published as: JP2000270203A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び画像合成装置ならびに方法、特に実写画像と合成用画像（コンピュータグラフィックス（ＣＧ）画像など）を合成する装置及び方法に関する。
【０００２】
【従来の技術】
近年、テレビ放送などでクロマキー技術を用いてＣＧなどで作成した画像素材に実写画像から切り出した出演者を合成して多様な演出を行う技術が用いられている。特に、近年のＣＧ技術の進歩により、カメラの動きにＣＧ画像が同期し、出演者がＣＧの世界であたかも自由に動き回っているような画像を作り出せるシステムも開発されている。このシステム（バーチャルスタジオ）を用いることで、スタジオセットを実際に制作する必要がなくなり、コストの削減や演出効果の増大、さらには作業時間の短縮を図ることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような実写画像とＣＧ画像の合成においては、一見して明らかに合成画像であると分かるようなリアリティに欠ける画像が生ずることがしばしばある。これは、実写画像における種々のパラメータとＣＧ画像におけるパラメータの不一致に起因するものが多いと考えられる。
【０００４】
例えば、リアリティに欠ける画像の一例として画像内の人間の足の接地問題がある。これは、ＣＧ画像で作成した背景に実写画像から切り出した人物を立たせた場合、常に人物が地面から浮いているような印象を与える問題である。この原因は、主として実写画像の影付けの不自然さであり、実写画像における光源パラメータ（光源の位置や強度）とＣＧ背景の光源パラメータとが一致していないために生じる。
【０００５】
このような不自然な合成画像の生成を防止するためには、従来においては合成段階において実写画像におけるパラメータを合成作業者（エデイタ）が注意深く観察してＣＧ画像に反映させる必要があり、作業者に高い熟練が要求されるとともに、合成作業にも長時間を要する問題があった。
【０００６】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、作業者の高い熟練を要することなく、リアリティの極めて高い合成画像を容易に生成することができる装置及び方法を提供し、さらには合成画像生成の自動化機能を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明のある態様は、実写画像と素材画像とを合成する画像合成装置であって、前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、前記実写画像と前記素材画像を合成する合成手段と、を有し、前記環境パラメータは、音源の位置情報であることを特徴とする。
【０００８】
本発明の他の態様は、実写画像と素材画像とを合成する画像合成装置であって、前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、前記実写画像と前記素材画像を合成する合成手段と、を有し、前記環境パラメータは、光源の位置情報、光源の輝度及びスペクトルの少なくともいずれかを含む光源パラメータであることを特徴とする。
【０００９】
本発明の他の態様は、実写画像と素材画像とを合成する画像合成装置であって、前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、前記実写画像と前記素材画像を合成する合成手段と、を有し、前記環境パラメータは、大気パラメータであって、前記作成手段は、抽出した大気パラメータに基づいて光源の散乱具合を決定し、決定した結果に基づいて素材画像を作成することを特徴とする。
【００１１】
本発明の画像合成システムは、上記のいずれかの画像合成装置と、撮像装置とからなる。この撮像装置は、撮像手段と、前記撮像手段の撮影条件を含めた撮影環境を示す環境パラメータを前記撮像手段で得られた実写画像に付加手段とを有する。
【００２２】
【発明の実施の形態】
以下、図面に基づき本発明の実施形態について説明する。
【００２３】
図１には、本実施形態における撮像装置１の構成ブロック図が示されている。本実施形態の撮像装置１は、撮像部１０、環境パラメータ獲得部１２及び付加部１４を含んで構成される。
【００２４】
撮像部１０は、公知の２次元カメラ（アナログあるいはデジタル）を用いることができ、ＣＣＤセンサで構成することができる。もちろん、ステレオカメラを用いることもでき、さらには３次元センシング機能を有する３次元カメラでもよい。撮像部１０で得られた実写画像は付加部１４に供給される。
【００２５】
環境パラメータ獲得部１２は、撮像部１０で得られた実写画像の撮影環境を示す環境パラメータを獲得するもので、各種センサから構成される。獲得した環境パラメータは付加部１４に供給される。なお、環境パラメータの具体例については後述する。
【００２６】
付加部１４は、撮像部１０から供給された実写画像に環境パラメータ獲得部１２から供給された環境パラメータを付加し、記憶手段に出力する。
【００２７】
ここで、記憶手段は撮像装置１と別体で構成することもできるが、ビデオカメラのように撮像装置１内に組み込むことも可能である。記憶手段としては、磁気テープや磁気ディスク、光学ディスクなど任意の媒体を用いることができる。
【００２８】
また、図１に示された構成では環境パラメータ獲得部１２が撮像装置１に組み込まれているが、環境パラメータ獲得部１２を撮像装置１と別体で構成し、得られた環境パラメータを撮像装置１に供給することも可能である。
【００２９】
環境パラメータ獲得部１２で環境パラメータを獲得するタイミングとしては、撮像部１０で実写画像を撮影するタイミングと同一であることが好適であるが、撮像部１０で実写画像を撮影するに先立って、環境パラメータのみを獲得して付加部１４に供給するか、あるいは撮像部１０で実写画像を撮影した後に別途環境パラメータ獲得部１２で環境パラメータを獲得し、付加部１４に供給することも可能である。いずれにしても、撮像部１０で実写画像を撮影した撮影環境を高精度に環境パラメータ獲得部１２で獲得することが好ましく、獲得すべき環境パラメータが時間とともに変化するようなパラメータである場合には、可能な限り撮像部１０で撮影するタイミングと同一タイミングで獲得することが好ましい。環境パラメータの獲得の態様も、好適には上述したようにセンサで自動検知することが望ましいが、撮影者が手動でパラメータを入力することも可能である。
【００３０】
実写画像に付加される環境パラメータとしては、例えば以下のものがある。
【００３１】
＜カメラ内部パラメータ＞
撮像部１０固有のパラメータであり、具体的にはレンズの焦点距離やＣＣＤサイズ、レンズ歪みなどである。ズームワークを含めることもできる。カメラ内部パラメータは、撮像部１０から一意に決定されるため、予めデータとして付加部１４が有することも可能である。このカメラ内部パラメータにより、実写画像にＣＧ画像を合成する際に、ＣＧ画像のパースパラメータ（透視投影歪み）を実写画像と一致させることが可能となる。
【００３２】
＜カメラワークパラメータ＞
このパラメータは、撮像装置１の移動に関するパラメータであり、このパラメータを用いることで実写画像に合成したＣＧ部品が実写画像のカメラワークにしたがって見え方が変化し、ＣＧ部品が静止物体であればあたかも実際の背景に固定されているかのようなリアリティのある合成画像を得ることができる。カメラワークパラメータを取得するためには、例えば撮像装置１にジャイロセンサやＧＰＳなどの位置センサを設けてもよく、あるいは、Ｒ．Ｙ．ＴｓａｉａｎｄＴ．Ｓ．Ｈｕａｎｇ，「ＵｎｉｑｕｅｎｅｓｓａｎｄＥｓｔｉｍａｔｉｏｎｏｆＴｈｒｅｅ−ＤｉｍｅｎｓｉｏｎａｌＭｏｔｉｏｎＰａｒａｍｅｔｅｒｓｏｆＲｉｇｉｄＯｂｊｅｃｔｓｗｉｔｈＣｕｒｖｅｄＳｕｒｆａｃｅｓ」ＩＥＥＥＴｒａｎｓ．ＶｏｌＰＡＭＩ−６，ｐｐ．１３−２６，１９８４に記載されているように動画像から得ることもできる。オプティカルフローから算出するのも一法である。カメラワークパラメータの具体例としては、撮像装置１の移動速度や回転角、回転速度である。
【００３３】
＜画像ノイズパラメータ＞
実写画像には、通常ホワイトノイズが含まれており、これにノイズの全くないＣＧ画像を合成した場合、合成部分だけ不自然な印象を与えることになる。そこで、ホワイトノイズの標準偏差などを画像ノイズパラメータとして用い、実写画像に含まれるノイズを強制的にＣＧ画像にも付加することで、実写画像との自然な合成を得ることができる。この画像ノイズパラメータも撮像部１０に多く依存し、特定のパターンを多数撮影して各々の画素毎にデータのばらつきを統計的に調べ、その分散値をパラメータとすることもできる。なお、画像ノイズが撮影時の気温に大きく依存する可能性がある場合には、実写画像撮影時にこの画像ノイズパラメータを獲得するのが好ましい。
【００３４】
＜光源パラメータ＞
昼間の屋外撮影においては、太陽の位置に応じて実写画像に影が生ずる。また、屋内や夜間の屋外撮影においても、様々な照明器具の位置により影が生ずる。光源パラメータは、このような光源の位置や強度に関するパラメータであり、このパラメータを用いることで実写画像とＣＧ画像の影を一致させることができ、リアリティの高い合成が可能となる。
【００３５】
図２には、実写画像とＣＧ画像の合成が模式的に示されている。図２（ａ）は実写画像であり、太陽（あるいは他の光源）１００の影響により実写画像の物体１０２及び１０４にそれぞれ影１０２ａ及び１０４ａが生じている状態が示されている。一方、図２（ｂ）には、コンピュータで作成した、実写画像に合成すべきＣＧ画像２００が示されている。この図では、ＣＧ画像をコップとして表現している。そして、図２（ａ）に示された実写画像に図２（ｂ）で示されたＣＧ画像を合成すると、図２（ｃ）に示された画像となる。ここで、リアリティのある合成画像を作成するためには、実写画像に含まれる物体１０２、１０４の影１０２ａ、１０４ａと同様の影がＣＧ画像２００にも生じている必要があり、ＣＧ画像２００の影２００ａをどの位置にどの程度生成するかが重要となる。この影２００ａの付け方を制御するのが光源パラメータであり、実写画像（図２（ａ））における太陽（あるいは他の光源）１００がどの位置に存在するかを知ることで可能となる。
【００３６】
以下、この光源パラメータの決定方法について説明する。
【００３７】
図３には、光源パラメータを決定するための方法が示されている。まず、表面形状及び表面特性が既知である参照物体３００を用意する。図３（ａ）では、この参照物体を球としている。そして、この参照物体３００を撮像装置１で撮影し、参照物体３００の表面反射のピーク位置を算出する。そして、図３（ａ）に示されるように、表面反射のピーク点における参照物体３００の面法線ベクトル及び撮像装置１とピーク点を結ぶカメラ視線方向を算出する。ピーク点における面法線ベクトルと光源方向ベクトルとのなす角度は、面法線ベクトルとカメラ視線ベクトルとのなす角度に等しく、かつ、これら３ベクトルは平面をなすという拘束条件から、光源方向ベクトルを算出することができる。
【００３８】
そして、以上の処理を複数の参照物体３００、３０２について行うことで複数の光源方向ベクトルを算出し、これら複数の光源方向ベクトルの交わる点を光源の３次元位置とすることができる。また、光源の３次元位置と参照物体３００の反射光量から、光源の光量を計算することもできる。
【００３９】
もちろん、光源パラメータの決定方法としてこれに限らず、例えば椎谷秀一他「三次元情報を用いた画像内の影除去」情報処理学会第５７回全国大会ｐｐ．２：１８５−１８６，１９９８に記載されている方法を用いることもできる。これは、実写画像に立体情報を手動で付加した後、画像内の立体物の一点と、その点に対応した影の部分を指定することで、光源方向を特定する方法である。また、従来のＣＧ画像との合成作業中に試行錯誤的に得たパラメータをそのまま用いることもできる。
【００４０】
＜音パラメータ＞
一般に、実写画像撮影時には音も同時に獲得するが、ここでは特にモデリングされた音情報を意味する。具体的には、騒音環境であるか、非常に静かな環境であるかなどのシンボリックな情報である。
【００４１】
また、単なるステレオ録音された音ではなく、音源モデリングにより、３次元位置が特定された音源も含まれる。これにより、実写画像において視点を変えた際にＣＧ画像もこの音源の３次元位置変化に基づいて変化させることで、極めて臨場感の高い合成画像を得ることができる。
【００４２】
図４には、音パラメータとして音源の３次元位置を決定するための構成ブロック図が示されている。音パラメータを獲得する環境パラメータ獲得部１２は、マイクなどの音入力部１２ａと３次元音源モデリング部１２ｂを含んで構成される。音入力部１２ａは、複数設けられてそれぞれの位置で音を入力する。３次元音源モデリング部１２ｂは、複数の音入力部１２ａからの音を入力して三角測量の原理により音源の３次元位置を特定する。
【００４３】
図５には、３次元音源モデリング部１２ｂにおける処理フローチャートが示されている。まず、３次元音源モデリング部１２ｂは、複数の音入力部１２ａから音信号を入力し（Ｓ１０１）、デジタル信号に変換する（Ｓ１０２）。次に、入力した音を高速フーリエ変換（ＦＦＴ）などにより周波数分解し（Ｓ１０３）、各周波数毎に複数の音入力部１２ａの位相差を検出する（Ｓ１０４）。位相差は音源と各音入力部１２ａとの距離差に相当する。また、複数の音入力部１２ａからの音の各周波数毎の強度差を検出する（Ｓ１０５）。強度及びその差は、音源と音入力部１２ａとの距離及び方向に相当する。検出された各周波数毎の位相差及び強度差に基づき、音源の３次元位置を特定する（Ｓ１０６）。
【００４４】
図６及び図７には、以上述べた処理が模式的に示されている。図６に示すように、複数の音入力部Ａ、Ｂが離間して設けられ、それぞれの地点において音源４００からの音を入力する。各地点において入力した音波の位相及び強度は音源４００からの距離に依存し、図７に示されるように音入力部Ａ、Ｂでの位相差並びに強度差が生ずる。この位相差及び強度差、並びに各音入力部Ａ、Ｂの位置関係から音源４００の３次元位置を特定することができる。なお、図６、７では説明の都合上、２個の音入力部を示しているが、実際には２個の音入力部１２ａでは音源を２次元的にしか特定できないので、音入力部１２ａは少なくとも３個以上設ける必要がある。
【００４５】
また、これらの入力部が１直線を成すように配置した場合、やはり音源は２次元的にしか特定できないので、これらが直線を成さないように配置することが好ましい。
【００４６】
なお、音入力部を２個のみ持つ場合、上記のように音源が２次元的にしか特定できないだけでなく、複数の候補を持つことになる。すなわち、周期ｔの波については、位相距離差ｎ×ｔ＋ｄ（ｎは任意の整数）を満たす地点は全て位相差ｄと判断される。しかし、音入力部を３個持つことで、この問題は以下のように解決される。
【００４７】
３個の音入力部をａ，ｂ，ｃとし、ａ−ｂのペアで観測される位相差をｄ（ａ，ｂ）、ｂ−ｃのペアで観測される位相差をｄ（ｂ，ｃ）、ａ−ｃのペアで観測される位相差をｄ（ａ，ｃ）とする。音源候補はｎ０×ｔ＋ｄ（ａ，ｂ）、ｎ１×ｔ＋ｄ（ｂ，ｃ）、ｎ２×ｔ＋ｄ（ａ，ｃ）を全て満たす地点となり、一般に１地点に特定できる。但し、当然ながら誤差の影響も考慮する必要があり、このため上記の位置誤差に加え強度差も考慮することで、より精度良く音源の３次元位置を特定することができる。
【００４８】
また、音入力部１２ａとしては、図８に示されるように複数の指向性マイクアレイを用いることができる。各指向性マイクで入力された音は上述した処理と同様に周波数分解され、各周波数毎に最強の入力があった指向性マイクの方向及びその近傍のマイクとの強度の差から音源の３次元方向を特定することができる。
【００４９】
さらに、このようにして算出された音源の３次元位置を実写画像を用いて修正することで、３次元位置検出の精度を向上させることも可能である。図９にはこの場合の処理が模式的に示されている。図９（ａ）に示されるように、実写画像から音源の可能性がある物体Ａ、Ｂ、Ｃ、Ｄの３次元配置モデルを生成し、上述した方法で特定された音源の３次元位置をこの３次元配置モデルにプロットする。図９（ｂ）は３次元配置に算出した音源位置をプロットした状態を表しており、算出した音源位置を符号５００、５０２、５０４、５０６で表している。実際の音源は物体Ａ、Ｂ、Ｃ、Ｄから発せられると考えられるので、推定した音源位置５００、５０２、５０４、５０６を物体Ａ、Ｂ、Ｃ、Ｄの配置位置に応じて修正し（例えば、物体の中心位置に引き込む）、図９（ｃ）に示されるように音源位置６００、６０２、６０４、６０６とする。
【００５０】
このようにして実写画像における音源の３次元位置を音パラメータとして用いることで、実写画像にＣＧ画像を合成する場合に、実写画像中において音源の変化に起因して物体の様子が変化しても、音源の３次元位置が既知であるため、合成されるＣＧ画像もこの音源の変化に従った変化を起こさせることが可能となり、極めてリアリティの高い合成画像を得ることができる。
【００５１】
なお、以上では入力された音情報をデジタル変換した後、周波数分解する方法について述べたが、複数のバンドパスフィルタを用いることでアナログ的に周波数分解してもよい。
【００５２】
＜大気パラメータ＞
大気の曇り具合（霧や水粒子密度）に関係するパラメータであり、これにより光源の散乱具合が決定される。したがって、この大気パラメータを用いることで、実写と同様の霧効果をＣＧ画像にも生成することができ、合成した場合でもリアリティの高い画像を得ることができる。大気パラメータを獲得するには、例えば湿度計を用いればよい。
【００５３】
＜天候パラメータ＞
このパラメータには、雨、曇り、雪など一般的な天候情報の他、気温、風速／風向、気圧なども含めることができる。天候パラメータとして雪、風速、風向を有する実写画像にＣＧ画像を合成する場合、ＣＧ画像に対して同様な風速などを与えることで、違和感のない合成画像が得られる。天候パラメータを獲得するには、例えば温度計、気圧計、風速計、風向計を用いることができる。
【００５４】
＜時刻パラメータ＞
撮影部１０で実写画像を取得した時刻に関するパラメータであり、撮影時が早朝であるか、昼間であるか、夕方であるかを示すパラメータである。このパラメータを用いることで、例えば夕方の合成画像を作成する際に朝の実写画像を用いてしまい、合成画像間で光源パラメータが一致していても「なんとなく不自然」な印象を与えてしまうことを確実に防止できる。
【００５５】
＜感情パラメータ＞
実写画像が人物を撮影したものである場合、その人物が「悲しい」、「楽しい」、「怒った」などどんな感情を持っているかに関するパラメータである。これらのパラメータを有することで、合成すべき画像の選択をより適切に行うことができる。例えば、悲しいシーンの合成画像を作成する場合、楽しい雰囲気の実写画像を背景部品として選択してしまい、「なんとなく不自然」な印象を与えることを防止できる。
【００５６】
＜プロローグ／エピローグパラメータ＞
実写画像において実際に得られた画像の前後の状況に関するパラメータである。例えば、実写画像が泣いている人物に関する画像である場合、その原因である交通事故発生に関するデータである（交通事故自体は、実写画像には存在しない）。あるいは、実写画像が多数の人物が上を見ている画像である場合、低空飛行している飛行機に関するデータである（飛行機の画像自体は、実写画像には存在しない）。これらのパラメータを２次的に用いることで、より適切な合成画像を選択することも可能となる。
以上、環境パラメータの具体例について説明したが、もちろんこれらの全てを用いる必要はなく、任意に選択すればよい。そして、付加部１４では、撮像部１０から供給された実写画像と環境パラメータ獲得部１２で獲得した各種獲得パラメータを付加して記憶手段に出力する。以下、付加部１４で実写画像に環境パラメータを付加するフォーマットについて説明する。
【００５７】
図１０には、実写画像のヘッダ部のフォーマット例が示されている。まず、実写画像である映像部品名が先頭に配置され、次に映像のモデル形式、すなわち２次元か３次元かを識別するための情報が配置される。そして、映像情報へのポインタと環境パラメータへのポインタが配置され、さらにその他の付随情報が配置される。
【００５８】
図１１には、図１０における映像情報へのポインタで指定される映像情報部分のフォーマット例が示されている。映像情報は、オブジェクト数、オブジェクト情報＃１、＃２、＃３、・・・から構成され、オブジェクト情報には映像の形状情報、色彩情報、材質情報及び動き情報が含まれる。
【００５９】
一方、図１２には、映像情報に付加される環境情報（環境パラメータ）のフォーマット例が示されている。なお、環境パラメータとして上述した各種パラメータのうち、カメラ内部パラメータ、カメラワークパラメータ、画像ノイズパラメータ、光源パラメータ、大気パラメータ、天候パラメータ、音パラメータ、時刻パラメータのみを示しているが、他のパラメータを含むことができるのは言うまでもない。図１２において、環境パラメータはカメラ内部パラメータが先頭に配置され、次にカメラワークパラメータへのポインタ情報が付加される。そして、画像ノイズパラメータが配置され、さらに光源パラメータへのポインタが配置される。大気パラメータ及び天候パラメータが光源パラメータへのポインタに続き、さらに音パラメータへのポインタ及び時刻パラメータが付加される。もちろん、全てのパラメータをポインタで指定することも可能である。
【００６０】
図１３には図１２におけるカメラワークパラメータへのポインタで指定されるカメラワークパラメータのフォーマット例が示されている。カメラワークパラメータは、モーションセグメント数（移動数）及び＃１開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、＃２開始点（ｘ、ｙ、ｚ）と動き速度ベクトル、・・・から構成される。なお、カメラワークに回転が含まれる場合には、例えば回転速度ベクトルなどを付加することも可能である。
【００６１】
図１４には図１２において光源パラメータへのポインタで指定される光源パラメータのフォーマット例が示されている。光源パラメータは、光源数及び各光源毎に光源位置（ｘ、ｙ、ｚ）、光源光スペクトル、光源強度、光源動き、・・・から構成される。光源光スペクトルは、太陽光や蛍光灯などの光源の種類で代用することができる。光源光スペクトルは、例えば分光器などを用いて獲得することができる。
【００６２】
さらに、図１５には、図１２の音パラメータへのポインタで指定される音パラメータのフォーマット例が示されている。音パラメータは、音源数及び各音源毎の位置（ｘ、ｙ、ｚ）、音波シーケンス、音源動き、・・・から構成される。音波シーケンスは音の種類を示すものである。
【００６３】
本実施形態における撮像装置１は、以上のようにして実写画像に撮影環境を示す環境パラメータを付加して記憶手段に出力する。そして、実際に実写画像と素材画像（合成用の画像）としてのＣＧ画像を合成する際には、記憶手段から実写画像を読み出し、実写画像に付加されている環境パラメータを用いてＣＧ画像を自動合成する。
【００６４】
図１６には、本実施形態における画像合成装置２０の構成ブロック図が示されている。画像合成装置２０は、環境パラメータ抽出部１５、ＣＧ作成部２２及び合成部２４を含んで構成される。
【００６５】
環境パラメータ抽出部１５は、記憶手段に格納されている環境パラメータが付加された実写画像を読み出し、読み出した画像データから環境パラメータデータを抽出してＣＧ作成部２２に供給する。また、実写画像自体は合成部２４に出力する。
【００６６】
ＣＧ作成部２２は、公知のＣＧ処理機能を有するコンピュータで構成され、環境パラメータ抽出部１５から供給された環境パラメータを用いて実写画像のパラメータに合致したパラメータでＣＧ部品を作成する。具体的には、例えば環境パラメータ中の光源パラメータを用いて実写画像に含まれる影と同一の影をＣＧ部品に付加する。作成したＣＧ部品は、合成部２４に供給される。
【００６７】
合成部２４は、ＣＧ作成部２２で作成されたＣＧ部品と環境パラメータ抽出部１５から供給された実写画像を合成し、例えばモニタなどに出力する。環境パラメータに基づいて自動的にＣＧ部品を作成して合成するので、操作者は環境パラメータを独自に観察してＣＧ部品に反映させる必要がなくなり、リアリティの高い合成画像を容易に得ることができる。
【００６８】
なお、ＣＧ作成部２２でＣＧを作成するに際し、環境パラメータ抽出部１５から供給された環境パラメータの全てを考慮してＣＧを作成する必要はない。例えば、意図的に不自然な画像を生成する場合には、必要に応じて環境パラメータのいくつかを考慮せずＣＧを作成することもできる。
【００６９】
また、図１６の構成においては、環境パラメータ抽出部１５から供給された環境パラメータに基づき新たにＣＧ画像を作成したが、一度合成用に作成されたＣＧ画像については、合成時に使用した環境パラメータとともにデータベースに格納しておき、新たに実写画像と合成する必要が生じた場合には、このＣＧ画像に付加された環境パラメータと合成すべき実写画像に含まれている環境パラメータとを比較し、ＣＧ画像を修正して再使用することも考えられる。
【００７０】
図１７には、このような場合の構成ブロック図が示されている。実写画像データベース３０及びＣＧ画像データベース３２が用いられる。実写画像にＣＧ画像を合成する場合、ＣＧ画像データベース３２に格納されているＣＧ画像はＣＧ修正部３４に供給される。そして、実写画像に付加されている環境パラメータをＣＧ修正部３４に供給し、ＣＧ修正部３４では、ＣＧ画像に付加されている環境パラメータと実写画像に付加されている環境パラメータを比較し、環境パラメータの相違に基づいてＣＧ画像を修正する。例えば、光源パラメータＡを有する実写画像に合成されたＣＧ画像ａが存在するとする。このＣＧ画像ａを用いて別の実写画像Ｂに合成する場合、合成すべき実写画像Ｂに付加されている光源パラメータＢを用いてＣＧ画像ａの影の部分を修正してＣＧ画像ｂを得る。これにより、ＣＧ修正部３４は、実写画像のパラメータに一致したＣＧ画像を効率的かつ迅速に作成することができる。
【００７１】
以上、本発明の実施形態について、特に実写画像とＣＧ画像との合成を例にとり説明したが、本発明はこれに限定されるものではなく、実写画像と実写画像の合成にも適用することが可能である。
【００７２】
【発明の効果】
本発明によれば、実写画像のパラメータとＣＧ画像などの合成用画像のパラメータを自動的に一致させることができるので、高い熟練を要することなくリアリティの高い合成画像を容易に得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態の撮像装置の構成ブロック図である。
【図２】光源パラメータの説明図である。
【図３】光源パラメータの算出説明図である。
【図４】本実施形態における環境パラメータ獲得部の構成ブロック図である。
【図５】音パラメータの算出処理フローチャートである。
【図６】音パラメータ算出の説明図（その１）である。
【図７】音パラメータの算出説明図（その２）である。
【図８】図４における音入力部の一構成図である。
【図９】本実施形態における他の音パラメータ算出説明図である。
【図１０】環境パラメータが付加された実写画像データのフォーマット図である。
【図１１】図１０における映像情報部分のフォーマット図である。
【図１２】図１０における環境パラメータ部のフォーマット図である。
【図１３】図１２におけるカメラワークパラメータ部のフォーマット図である。
【図１４】図１２における光源パラメータ部のフォーマット図である。
【図１５】図１２における音パラメータ部のフォーマット図である。
【図１６】本実施形態における画像合成装置の構成ブロック図である。
【図１７】本実施形態における画像合成装置の他の構成ブロック図である。
【符号の説明】
１撮像装置、１０撮像部、１２環境パラメータ獲得部、１４付加部、１５環境パラメータ抽出部、２０画像合成装置、２２ＣＧ作成部、２４合成部、３０実写画像データベース、３２ＣＧ画像データベース、３４ＣＧ修正部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, an image composition apparatus, and a method, and more particularly, to an apparatus and method for synthesizing a real image and a composition image (such as a computer graphics (CG) image).
[0002]
[Prior art]
2. Description of the Related Art In recent years, techniques for performing various effects by synthesizing performers cut out from live-action images with image materials created with CG or the like using chroma key technology in television broadcasting or the like have been used. In particular, due to recent advances in CG technology, a system has been developed in which a CG image is synchronized with the movement of a camera, and a performer can create an image that moves freely in the CG world. By using this system (virtual studio), it is not necessary to actually produce a studio set, and it is possible to reduce costs, increase production effects, and shorten work time.
[0003]
[Problems to be solved by the invention]
However, in the synthesis of such a photographed image and a CG image, an image lacking in reality often appears to be apparently a synthesized image at first glance. This is considered to be caused by a mismatch between various parameters in the real image and parameters in the CG image.
[0004]
For example, as an example of an image lacking in reality, there is a problem of ground contact of a human foot in the image. This is a problem that when a person cut out from a live-action image stands on a background created with a CG image, the person always gives the impression that the person is floating from the ground. This cause is mainly due to the unnaturalness of shadowing of the photographed image, and is caused by the fact that the light source parameters (light source position and intensity) in the photographed image do not match the light source parameters of the CG background.
[0005]
In order to prevent the generation of such an unnatural composite image, conventionally, it is necessary for a composition operator (editor) to carefully observe the parameters in the live-action image at the composition stage and reflect them in the CG image. In addition, high skill is required, and there is a problem that the synthesis work takes a long time.
[0006]
The present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to provide an apparatus and a method that can easily generate a very high-quality composite image without requiring high skill of an operator. It is to provide an automatic function for generating a composite image.
[0007]
[Means for Solving the Problems]
  In order to achieve the above object, an aspect of the present invention is an image composition device that synthesizes a photographed image and a material image, and is added to the photographed image.When shooting the live-action imageAn extraction means for extracting an environmental parameter; a creation means for creating the material image based on the extracted environmental parameter; and a synthesis means for synthesizing the photographed image and the material image. The position information of the sound source.
[0008]
  Another aspect of the present invention is an image composition device that synthesizes a live-action image and a material image, and is added to the real-action image.When shooting the live-action imageExtraction means for extracting an environmental parameter; creation means for creating the material image based on the extracted environmental parameter; and synthesis means for synthesizing the live-action image and the material image. The light source parameters include at least one of position information of the light source, luminance of the light source, and spectrum.
[0009]
  Another aspect of the present invention is an image composition device that synthesizes a live-action image and a material image, and is added to the real-action image.When shooting the live-action imageExtraction means for extracting an environmental parameter; creation means for creating the material image based on the extracted environmental parameter; and synthesis means for synthesizing the actual image and the material image. The atmospheric parameter, wherein the creating means determines the degree of scattering of the light source based on the extracted atmospheric parameter, and creates a material image based on the determined result.
[0011]
  An image composition system of the present invention includes any one of the image composition apparatuses described above and an imaging apparatus. This image pickup apparatus includes an image pickup unit and a unit for adding an environment parameter indicating a shooting environment including a shooting condition of the image pickup unit to a real image obtained by the image pickup unit.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0023]
FIG. 1 shows a configuration block diagram of an imaging apparatus 1 in the present embodiment. The imaging apparatus 1 according to the present embodiment includes an imaging unit 10, an environment parameter acquisition unit 12, and an addition unit 14.
[0024]
The imaging unit 10 can use a known two-dimensional camera (analog or digital), and can be composed of a CCD sensor. Of course, a stereo camera can also be used, and further a three-dimensional camera having a three-dimensional sensing function may be used. The real image obtained by the imaging unit 10 is supplied to the adding unit 14.
[0025]
The environment parameter acquisition unit 12 acquires environment parameters indicating the shooting environment of a real image obtained by the imaging unit 10, and includes various sensors. The acquired environmental parameters are supplied to the adding unit 14. A specific example of the environment parameter will be described later.
[0026]
The adding unit 14 adds the environmental parameter supplied from the environmental parameter acquiring unit 12 to the photographed image supplied from the imaging unit 10 and outputs it to the storage unit.
[0027]
Here, the storage means can be configured separately from the imaging device 1, but can also be incorporated in the imaging device 1 like a video camera. As the storage means, any medium such as a magnetic tape, a magnetic disk, or an optical disk can be used.
[0028]
In the configuration shown in FIG. 1, the environmental parameter acquisition unit 12 is incorporated in the imaging device 1. However, the environmental parameter acquisition unit 12 is configured separately from the imaging device 1, and the obtained environmental parameters are used as the imaging device. 1 can also be supplied.
[0029]
The timing at which the environment parameter acquisition unit 12 acquires the environment parameter is preferably the same as the timing at which the image capturing unit 10 captures a photographed image. It is also possible to acquire only the parameters and supply them to the adding unit 14, or to capture environmental parameters by the environmental parameter acquiring unit 12 after capturing a real image with the imaging unit 10 and supply them to the adding unit 14. In any case, it is preferable that the environment parameter acquisition unit 12 acquire the shooting environment in which the photographed image is captured by the imaging unit 10 with high accuracy. If the environment parameter to be acquired is a parameter that changes with time, It is preferable that the timing is acquired at the same timing as the timing at which the imaging unit 10 captures images. As described above, it is preferable that the environmental parameter is automatically detected by the sensor as described above, but it is also possible for the photographer to manually input the parameter.
[0030]
Examples of environmental parameters added to the photographed image include the following.
[0031]
<Camera internal parameters>
Parameters specific to the imaging unit 10, specifically, focal length of the lens, CCD size, lens distortion, and the like. Zoom work can also be included. Since the camera internal parameters are uniquely determined from the imaging unit 10, the addition unit 14 can also have data in advance. With this camera internal parameter, it is possible to match the perspective parameter (perspective projection distortion) of the CG image with the actual image when the CG image is combined with the actual image.
[0032]
<Camera work parameters>
This parameter is a parameter related to the movement of the imaging apparatus 1. By using this parameter, the appearance of the CG component synthesized with the photographed image changes according to the camerawork of the photographed image. A realistic composite image can be obtained as if it is fixed to the actual background. In order to acquire the camera work parameter, for example, the imaging apparatus 1 may be provided with a position sensor such as a gyro sensor or GPS. Y. Tsai and T.A. S. Huang, “Uniqueness and Estimation of Three-Dimensional Motion Parameters of Rigid Objects with Curved Surfaces” IEEE Trans. Vol PAMI-6, pp. It can also be obtained from moving images as described in 13-26,1984. One method is to calculate from optical flow. Specific examples of the camera work parameter include a moving speed, a rotation angle, and a rotation speed of the imaging device 1.
[0033]
<Image noise parameter>
A real image usually contains white noise, and when a CG image having no noise is synthesized with this, an unnatural impression is given only to the synthesized portion. Therefore, by using the standard deviation of white noise or the like as an image noise parameter and forcibly adding noise included in the photographed image to the CG image, a natural composition with the photographed image can be obtained. This image noise parameter also largely depends on the imaging unit 10, and a large number of specific patterns can be photographed to statistically check the variation in data for each pixel, and the dispersion value can be used as a parameter. In the case where there is a possibility that the image noise greatly depends on the temperature at the time of shooting, it is preferable to acquire this image noise parameter at the time of shooting a real image.
[0034]
<Light source parameters>
In daytime outdoor photography, shadows appear in the photographed image according to the position of the sun. Also, in indoor and night outdoor photography, shadows are generated depending on the positions of various lighting fixtures. The light source parameter is a parameter related to the position and intensity of such a light source, and by using this parameter, the shadow of the real image and the CG image can be matched, and a highly realistic composition is possible.
[0035]
FIG. 2 schematically shows synthesis of a real image and a CG image. FIG. 2A is a live-action image, and shows a state in which shadows 102 a and 104 a are generated on the objects 102 and 104 in the live-action image due to the influence of the sun (or other light source) 100. On the other hand, FIG. 2B shows a computer generated CG image 200 to be synthesized with a real image. In this figure, the CG image is expressed as a cup. Then, when the CG image shown in FIG. 2B is combined with the actual image shown in FIG. 2A, the image shown in FIG. 2C is obtained. Here, in order to create a realistic composite image, it is necessary for the CG image 200 to have shadows similar to the shadows 102a and 104a of the objects 102 and 104 included in the photographed image. It is important how much the shadow 200a is generated at which position. It is the light source parameter that controls how the shadow 200a is attached, and it is possible to know where the sun (or other light source) 100 is in the actual image (FIG. 2A).
[0036]
Hereinafter, a method for determining the light source parameter will be described.
[0037]
FIG. 3 shows a method for determining light source parameters. First, a reference object 300 having a known surface shape and surface characteristics is prepared. In FIG. 3A, this reference object is a sphere. Then, the reference object 300 is photographed by the imaging apparatus 1 and the peak position of the surface reflection of the reference object 300 is calculated. Then, as shown in FIG. 3A, the surface normal vector of the reference object 300 at the peak point of the surface reflection and the camera sight line direction connecting the imaging device 1 and the peak point are calculated. The angle formed by the surface normal vector and the light source direction vector at the peak point is equal to the angle formed by the surface normal vector and the camera line-of-sight vector, and the light source direction vector is determined from the constraint that these three vectors form a plane. Can be calculated.
[0038]
A plurality of light source direction vectors can be calculated by performing the above processing for a plurality of reference objects 300 and 302, and a point where the plurality of light source direction vectors intersect can be set as a three-dimensional position of the light source. Further, the light amount of the light source can be calculated from the three-dimensional position of the light source and the reflected light amount of the reference object 300.
[0039]
Of course, the method of determining the light source parameters is not limited to this. For example, Shuichi Shitani et al. “Shadow removal from images using three-dimensional information” Information Processing Society of Japan 57th National Convention pp. 2: 185-186, 1998 can also be used. This is a method of specifying a light source direction by manually adding stereoscopic information to a live-action image and then specifying one point of a three-dimensional object in the image and a shadow portion corresponding to that point. Further, parameters obtained by trial and error during the composition operation with the conventional CG image can be used as they are.
[0040]
<Sound parameters>
In general, sound is also acquired at the time of shooting a live-action image, but here, it means sound information that is specifically modeled. Specifically, it is symbolic information such as whether it is a noise environment or a very quiet environment.
[0041]
Further, not only a stereo-recorded sound but also a sound source whose three-dimensional position is specified by sound source modeling is included. Thereby, when the viewpoint is changed in the live-action image, the CG image is also changed based on the change in the three-dimensional position of the sound source, so that a composite image with extremely high presence can be obtained.
[0042]
FIG. 4 shows a configuration block diagram for determining a three-dimensional position of a sound source as a sound parameter. The environment parameter acquisition unit 12 that acquires sound parameters includes a sound input unit 12a such as a microphone and a three-dimensional sound source modeling unit 12b. A plurality of sound input units 12a are provided to input sound at each position. The three-dimensional sound source modeling unit 12b inputs sounds from the plurality of sound input units 12a and specifies the three-dimensional position of the sound source based on the principle of triangulation.
[0043]
FIG. 5 shows a processing flowchart in the three-dimensional sound source modeling unit 12b. First, the three-dimensional sound source modeling unit 12b inputs sound signals from the plurality of sound input units 12a (S101) and converts them into digital signals (S102). Next, the input sound is subjected to frequency decomposition by fast Fourier transform (FFT) or the like (S103), and the phase difference of the plurality of sound input units 12a is detected for each frequency (S104). The phase difference corresponds to the distance difference between the sound source and each sound input unit 12a. Moreover, the intensity difference for every frequency of the sound from the some sound input part 12a is detected (S105). The intensity and the difference between them correspond to the distance and direction between the sound source and the sound input unit 12a. Based on the detected phase difference and intensity difference for each frequency, the three-dimensional position of the sound source is specified (S106).
[0044]
6 and 7 schematically show the processing described above. As shown in FIG. 6, a plurality of sound input units A and B are provided apart from each other, and the sound from the sound source 400 is input at each point. The phase and intensity of the sound wave input at each point depends on the distance from the sound source 400, and a phase difference and an intensity difference at the sound input parts A and B are generated as shown in FIG. The three-dimensional position of the sound source 400 can be specified from the phase difference and the intensity difference and the positional relationship between the sound input units A and B. 6 and 7 show two sound input units for convenience of explanation, but in reality, the two sound input units 12a can specify the sound source only two-dimensionally, so the sound input unit 12a It is necessary to provide at least 3 or more.
[0045]
In addition, when these input units are arranged so as to form a straight line, the sound source can be specified only two-dimensionally, so it is preferable to arrange them so that they do not form a straight line.
[0046]
When only two sound input units are provided, the sound source can be specified not only two-dimensionally as described above, but also has a plurality of candidates. That is, for a wave having a period t, all points satisfying the phase distance difference n × t + d (n is an arbitrary integer) are determined to be the phase difference d. However, having three sound input units solves this problem as follows.
[0047]
The three sound input units are a, b, and c, the phase difference observed in the ab pair is d (a, b), and the phase difference observed in the bc pair is d (b, c). ), And the phase difference observed in the pair a-c is d (a, c). The sound source candidate is a point that satisfies all of n0 × t + d (a, b), n1 × t + d (b, c), and n2 × t + d (a, c), and can generally be specified as one point. However, of course, it is necessary to consider the influence of the error. Therefore, the three-dimensional position of the sound source can be specified with higher accuracy by considering the intensity difference in addition to the position error.
[0048]
As the sound input unit 12a, a plurality of directional microphone arrays can be used as shown in FIG. The sound input from each directional microphone is frequency-resolved in the same manner as the above-described processing, and the three-dimensional sound source is determined from the direction of the directional microphone that has the strongest input for each frequency and the intensity difference from the neighboring microphones. The direction can be specified.
[0049]
Furthermore, it is possible to improve the accuracy of the three-dimensional position detection by correcting the three-dimensional position of the sound source calculated in this way using a real image. FIG. 9 schematically shows the processing in this case. As shown in FIG. 9A, a three-dimensional arrangement model of objects A, B, C, and D that may be a sound source is generated from a live-action image, and the three-dimensional position of the sound source specified by the above-described method is determined. Plot to this three-dimensional placement model. FIG. 9B shows a state where the calculated sound source positions are plotted in a three-dimensional arrangement, and the calculated sound source positions are denoted by reference numerals 500, 502, 504, and 506. Since the actual sound source is considered to be emitted from the objects A, B, C, and D, the estimated sound source positions 500, 502, 504, and 506 are corrected according to the arrangement positions of the objects A, B, C, and D (for example, , The sound source positions 600, 602, 604, and 606 as shown in FIG. 9C.
[0050]
In this way, by using the three-dimensional position of the sound source in the live-action image as a sound parameter, when a CG image is synthesized with the live-action image, even if the state of the object changes due to the change of the sound source in the live-action image. Since the three-dimensional position of the sound source is known, the synthesized CG image can be changed according to the change of the sound source, and a composite image with extremely high reality can be obtained.
[0051]
In the above description, the method of performing frequency decomposition after digitally converting input sound information has been described. However, frequency decomposition may be performed in an analog manner by using a plurality of bandpass filters.
[0052]
<Atmospheric parameters>
It is a parameter related to the cloudiness of the atmosphere (mist or water particle density), and this determines the scattering of the light source. Therefore, by using this atmospheric parameter, it is possible to generate a fog effect similar to that of a live-action image even in a CG image, and it is possible to obtain an image with high reality even when combined. In order to obtain the atmospheric parameters, for example, a hygrometer may be used.
[0053]
<Weather parameters>
In addition to general weather information such as rain, cloudiness, snow, etc., this parameter can also include temperature, wind speed / wind direction, air pressure, and the like. When synthesizing a CG image with a real image having snow, wind speed, and wind direction as weather parameters, a composite image without a sense of incongruity can be obtained by giving the same wind speed to the CG image. In order to acquire the weather parameter, for example, a thermometer, a barometer, an anemometer, or an anemometer can be used.
[0054]
<Time parameter>
It is a parameter related to the time when the photographed part 10 acquired a real image, and is a parameter indicating whether the photographing is early morning, daytime, or evening. By using this parameter, for example, when creating a composite image in the evening, a real image of the morning is used, and even if the light source parameters match between the composite images, it gives a “somehow unnatural” impression. Can be reliably prevented.
[0055]
<Emotion parameters>
When the live-action image is a photograph of a person, it is a parameter relating to what emotion the person has such as “sad”, “fun”, “angry”. By having these parameters, an image to be synthesized can be selected more appropriately. For example, when a composite image of a sad scene is created, a live-action image having a pleasant atmosphere is selected as a background part, and it is possible to prevent the “somehow unnatural” impression from being given.
[0056]
<Prologue / Epilogue parameters>
This is a parameter related to the situation before and after the actually obtained image in the real image. For example, when the live-action image is an image relating to a crying person, it is data relating to the occurrence of a traffic accident that is the cause (the traffic accident itself does not exist in the live-action image). Alternatively, when the live-action image is an image in which a large number of persons are looking up, the data is about the airplane flying in the low altitude (the airplane image itself does not exist in the live-action image). By using these parameters secondarily, a more appropriate composite image can be selected.
Although specific examples of environment parameters have been described above, of course, it is not necessary to use all of them, and any selection may be made. Then, the adding unit 14 adds the actual image supplied from the imaging unit 10 and various acquisition parameters acquired by the environment parameter acquisition unit 12 and outputs them to the storage unit. Hereinafter, a format in which the adding unit 14 adds the environment parameter to the photographed image will be described.
[0057]
FIG. 10 shows a format example of the header portion of the photographed image. First, a video part name that is a live-action image is arranged at the top, and then information for identifying a video model format, that is, two-dimensional or three-dimensional, is arranged. Then, a pointer to video information and a pointer to environmental parameters are arranged, and other accompanying information is arranged.
[0058]
FIG. 11 shows a format example of the video information portion designated by the pointer to the video information in FIG. The video information is composed of the number of objects, object information # 1, # 2, # 3,..., And the object information includes video shape information, color information, material information, and motion information.
[0059]
On the other hand, FIG. 12 shows a format example of environment information (environment parameters) added to video information. Of the various parameters described above as environmental parameters, only camera internal parameters, camera work parameters, image noise parameters, light source parameters, atmospheric parameters, weather parameters, sound parameters, and time parameters are shown, but other parameters are included. Needless to say, you can. In FIG. 12, the internal parameters of the environment parameters are arranged at the head, and then pointer information to the camera work parameters is added. Then, an image noise parameter is arranged, and further a pointer to the light source parameter is arranged. An atmospheric parameter and a weather parameter follow the pointer to the light source parameter, and further a pointer to the sound parameter and a time parameter are added. Of course, it is also possible to specify all parameters with pointers.
[0060]
FIG. 13 shows a format example of the camera work parameter designated by the pointer to the camera work parameter in FIG. The camera work parameters are composed of the number of motion segments (number of movements), # 1 start point (x, y, z), motion velocity vector, # 2 start point (x, y, z), motion velocity vector, and so on. Is done. When the camera work includes rotation, for example, a rotation speed vector can be added.
[0061]
FIG. 14 shows a format example of the light source parameter designated by the pointer to the light source parameter in FIG. The light source parameter includes the number of light sources and the light source position (x, y, z), light source light spectrum, light source intensity, light source motion,. The light source light spectrum can be substituted with a type of light source such as sunlight or a fluorescent lamp. The light source light spectrum can be obtained using, for example, a spectroscope.
[0062]
Further, FIG. 15 shows a format example of the sound parameter designated by the pointer to the sound parameter in FIG. The sound parameter is composed of the number of sound sources, the position (x, y, z) for each sound source, a sound wave sequence, sound source motion,. The sound wave sequence indicates the type of sound.
[0063]
As described above, the imaging apparatus 1 in the present embodiment adds the environment parameter indicating the shooting environment to the photographed image and outputs it to the storage unit. When the actual image and the CG image as the material image (composition image) are actually combined, the actual image is read from the storage unit, and the CG image is automatically converted using the environment parameters added to the actual image. Synthesize.
[0064]
FIG. 16 is a block diagram showing the configuration of the image composition device 20 in the present embodiment. The image composition device 20 includes an environment parameter extraction unit 15, a CG creation unit 22, and a composition unit 24.
[0065]
The environment parameter extraction unit 15 reads out the real image image to which the environment parameter is stored, which is stored in the storage unit, extracts the environment parameter data from the read image data, and supplies it to the CG creation unit 22. In addition, the actual image itself is output to the synthesis unit 24.
[0066]
The CG creation unit 22 is configured by a computer having a known CG processing function, and creates a CG part with parameters that match the parameters of the photographed image using the environment parameters supplied from the environment parameter extraction unit 15. Specifically, for example, the same shadow as the shadow included in the photographed image is added to the CG component using the light source parameter in the environmental parameters. The created CG component is supplied to the synthesis unit 24.
[0067]
The synthesizing unit 24 synthesizes the CG component created by the CG creating unit 22 and the real image supplied from the environment parameter extracting unit 15 and outputs the synthesized image to a monitor, for example. Since the CG parts are automatically created and synthesized based on the environmental parameters, it is not necessary for the operator to observe the environmental parameters independently and reflect them on the CG parts, and a highly realistic synthesized image can be easily obtained. .
[0068]
Note that when the CG creation unit 22 creates a CG, it is not necessary to create the CG in consideration of all the environmental parameters supplied from the environment parameter extraction unit 15. For example, when an unnatural image is intentionally generated, a CG can be created without considering some of the environmental parameters as necessary.
[0069]
In the configuration of FIG. 16, a new CG image is created based on the environmental parameters supplied from the environmental parameter extraction unit 15, but the CG image once created for synthesis is used together with the environmental parameters used at the time of synthesis. When it is necessary to newly store the actual image and store it in the database, the environmental parameter added to the CG image is compared with the environmental parameter included in the actual image to be combined. It is also possible to modify the image and reuse it.
[0070]
FIG. 17 shows a configuration block diagram in such a case. A real image database 30 and a CG image database 32 are used. When a CG image is combined with a real image, the CG image stored in the CG image database 32 is supplied to the CG correction unit 34. Then, the environmental parameter added to the live-action image is supplied to the CG correction unit 34, and the CG correction unit 34 compares the environmental parameter added to the CG image with the environmental parameter added to the live-action image. The CG image is corrected based on the parameter difference. For example, it is assumed that there is a CG image a synthesized with a real image having a light source parameter A. When this CG image a is used to synthesize another photographic image B, the shadow portion of the CG image a is corrected using the light source parameter B added to the photographic image B to be synthesized to obtain a CG image b. . Thereby, the CG correction unit 34 can efficiently and quickly create a CG image that matches the parameters of the photographed image.
[0071]
As described above, the embodiment of the present invention has been described by taking, as an example, the combination of a live-action image and a CG image. However, the present invention is not limited to this, and may be applied to the synthesis of a real-action image and a real-shot image. Is possible.
[0072]
【The invention's effect】
According to the present invention, since the parameters of the actual image and the parameters of the image for synthesis such as the CG image can be automatically matched, a highly realistic synthesized image can be easily obtained without requiring high skill.
[Brief description of the drawings]
FIG. 1 is a configuration block diagram of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram of light source parameters.
FIG. 3 is an explanatory diagram of light source parameter calculation.
FIG. 4 is a configuration block diagram of an environment parameter acquisition unit in the present embodiment.
FIG. 5 is a flowchart of sound parameter calculation processing.
FIG. 6 is an explanatory diagram (part 1) of sound parameter calculation.
FIG. 7 is an explanatory diagram (part 2) of calculation of sound parameters.
8 is a configuration diagram of a sound input unit in FIG. 4. FIG.
FIG. 9 is a diagram for explaining another sound parameter calculation in the present embodiment.
FIG. 10 is a format diagram of photographed image data to which environmental parameters are added.
FIG. 11 is a format diagram of a video information portion in FIG.
12 is a format diagram of an environment parameter part in FIG. 10. FIG.
13 is a format diagram of a camera work parameter section in FIG. 12. FIG.
14 is a format diagram of a light source parameter part in FIG. 12. FIG.
FIG. 15 is a format diagram of a sound parameter part in FIG. 12;
FIG. 16 is a block diagram illustrating the configuration of an image composition device according to the present embodiment.
FIG. 17 is a block diagram showing another configuration of the image composition apparatus according to the present embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image pick-up device, 10 Image pick-up part, 12 Environment parameter acquisition part, 14 Addition part, 15 Environment parameter extraction part, 20 Image composition apparatus, 22 CG production part, 24 composition part, 30 Real image database, 32 CG image database, 34 CG Correction part.

Claims

実写画像と素材画像とを合成する画像合成装置であって、
前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、
抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、
前記実写画像と前記素材画像を合成する合成手段と、を有し、
前記環境パラメータは、光源の位置情報、光源の輝度及びスペクトルの少なくともいずれかを含む光源パラメータであることを特徴とする画像合成装置。An image composition device that combines a live-action image and a material image,
Extraction means for extracting environmental parameters at the time of shooting the photographed image attached to the photographed image ;
Creating means for creating the material image based on the extracted environmental parameters;
Synthesizing means for synthesizing the live-action image and the material image;
The image synthesizing apparatus, wherein the environmental parameter is a light source parameter including at least one of position information of a light source, luminance of the light source, and spectrum.

実写画像と素材画像とを合成する画像合成装置であって、
前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、
抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、
前記実写画像と前記素材画像を合成する合成手段と、を有し、
前記環境パラメータは、音源の位置情報であることを特徴とする画像合成装置。An image composition device that combines a live-action image and a material image,
Extraction means for extracting environmental parameters at the time of shooting the photographed image attached to the photographed image ;
Creating means for creating the material image based on the extracted environmental parameters;
Synthesizing means for synthesizing the live-action image and the material image;
The image synthesizing apparatus, wherein the environmental parameter is sound source position information.

実写画像と素材画像とを合成する画像合成装置であって、
前記実写画像に付加されている該実写画像の撮影時の環境パラメータを抽出する抽出手段と、
抽出された前記環境パラメータに基づいて前記素材画像を作成する作成手段と、
前記実写画像と前記素材画像を合成する合成手段と、を有し、
前記環境パラメータは、大気パラメータであって、
前記作成手段は、抽出した大気パラメータに基づいて光源の散乱具合を決定し、決定した結果に基づいて素材画像を作成することを特徴とする画像合成装置。An image composition device that combines a live-action image and a material image,
Extraction means for extracting environmental parameters at the time of shooting the photographed image attached to the photographed image ;
Creating means for creating the material image based on the extracted environmental parameters;
Synthesizing means for synthesizing the live-action image and the material image;
The environmental parameter is an atmospheric parameter,
The image creating apparatus is characterized in that the creating means determines the degree of scattering of the light source based on the extracted atmospheric parameter and creates a material image based on the determined result.

撮像手段と、前記撮像手段の撮影条件を含めた撮影環境を示す環境パラメータを前記撮像手段で得られた実写画像に付加手段とを有する撮像装置と、
請求項１ないし３のいずれかに記載の画像合成装置と、を備えたことを特徴とする画像合成システム。An imaging device comprising: an imaging unit; and an appending unit to an actual image obtained by the imaging unit with an environmental parameter indicating a shooting environment including a shooting condition of the imaging unit;
Image synthesizing system comprising the, image synthesizing apparatus according to any one of claims 1 to 3.