JP6374754B2 - 画像合成装置及びそのプログラム - Google Patents

Description

本願発明は、前景と背景とが合成された合成画像を生成する画像合成装置及びそのプログラムに関する。

従来から、テレビ局では、実写映像とＣＧ(computer graphics)とをリアルタイムで合成するバーチャルスタジオが利用されている（例えば、非特許文献１参照）。このバーチャルスタジオは、実際に撮影を行うスタジオの床や壁を青一色とし、そのスタジオのキャスター（出演者）の背景として、ＣＧセットを合成するものである。

ここで、バーチャルスタジオは、クロマキー処理を行って、青色以外のキャスターを切り出す。そして、バーチャルスタジオは、各種センサでスタジオ内の撮影カメラの動きを計測し、計測された撮影カメラの動きを再現した仮想カメラによりＣＧセットを撮影し、キャスターの背景として合成する。

このバーチャルスタジオでは、実際のスタジオの大きさを考慮してＣＧセットを制作する必要があるので、その手間と時間とを要し、制作コストが上昇してしまう。このため、バーチャルスタジオでの合成を、迅速かつ容易に実現できる手法の実現が望まれている。

近年、全天周映像を一括撮影できる全天周カメラが提案されている（例えば、非特許文献２参照）。そこで、バーチャルスタジオにおいて、全天周映像を背景として合成すれば、ＣＧセットを制作する必要がなくなり、迅速かつ容易な合成を実現できると考えられる。

"新世代バーチャルスタジオ"、［online］、［平成２６年９月１８日検索］、インターネット＜URL:http://www.nhk.or.jp/strl/publica/dayori-new/jp/rd-0211.html＞ "全方位パノラマカメラ"、［online］、［平成２６年９月１８日検索］、インターネット＜http://www.viewplus.co.jp/product_category.html#!cat=lb5＞

しかし、前記した全天周映像には、全天周カメラから背景までの距離情報が含まれておらず、例えば、狭い屋内で撮影された場合でも、広い屋外で撮影された場合でも、遠近感（距離感）が一定になってしまう。このため、バーチャルスタジオでは、全天周映像を背景として合成すると、キャスターに対して背景が大きすぎることや小さすぎることがあり、不自然な遠近感を視聴者に与えてしまう。

そこで、本願発明は、遠近感が自然な合成画像を生成できる画像合成装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係る画像合成装置は、第１カメラで周囲の背景を撮影した球状画像が２次元に展開された背景展開画像と、第２カメラで前景を撮影した撮影画像と、第２カメラの姿勢及び焦点距離を計測したカメラデータとを用いて、前景と背景とが合成された合成画像を生成する画像合成装置であって、背景球状体生成手段と、半径設定手段と、背景球状体配置手段と、前景抽出手段と、画像合成手段と、を備えることを特徴とする。

かかる構成によれば、画像合成装置は、背景球状体生成手段によって、予め設定された２次元座標系を３次元球面上の座標系に変換する座標変換規則に従って、背景展開画像から、背景が描画された仮想的な背景球状体を生成する。
画像合成装置は、半径設定手段によって、前景に対して背景が適切な大きさとなるように、手動又は第１カメラから背景までの距離情報により、背景球状体の半径を設定する。

画像合成装置は、背景球状体配置手段によって、半径が設定された背景球状体の中心が仮想ＣＧ空間の原点に位置するように、背景球状体を仮想ＣＧ空間に配置する。
画像合成装置は、前景抽出手段によって、撮影画像から前景を抽出する。

画像合成装置は、画像合成手段によって、抽出された前景を仮想ＣＧ空間の原点に合わせて配置し、仮想カメラの姿勢及び焦点距離をカメラデータに従って設定し、仮想カメラで仮想ＣＧ空間を撮影することで合成画像を生成する。

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る画像合成装置は、前景に対して背景が適切な大きさとなるように背景球状体の半径を設定できるので、遠近感が自然な合成画像を生成することができる。

本願発明の実施形態に係る画像合成システムの概略図である。 （ａ）は全天周画像の説明図であり、（ｂ）は背景展開画像の説明図である。 図１の画像合成装置の構成を示すブロック図である。 （ａ）及び（ｂ）は背景球状体の生成を説明する説明図である。 （ａ）及び（ｂ）は背景球状体の半径の設定を説明する説明図である。 （ａ）は撮影カメラの姿勢を説明する説明図であり、（ｂ）は仮想カメラの姿勢を説明する説明図である。 （ａ）乃至（ｃ）は合成画像の一例を説明する説明図である。 図３の画像合成装置の動作を示すフローチャートである。

（実施形態）
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

［画像合成システムの構成］
図１を参照し、本願発明の実施形態に係る画像合成システム１の構成を説明する。
画像合成システム１は、全天周カメラ（第１カメラ）１０で撮影された全天周画像（球状画像）の背景Ｂｇと、スタジオ８０で撮影された前景Ｆｇとを合成するものである。
図１のように、画像合成システム１は、全天周カメラ１０と、画像処理装置２０と、送信装置３０と、通信設備４０Ａ，４０Ｂと、受信装置５０と、撮影カメラ（第２カメラ）６０と、画像合成装置７０とを備える。

本実施形態では、全天周カメラ１０が屋外に配置され、撮影カメラ６０がスタジオ８０に配置されていることとする。
ここで、スタジオ８０は、照明等の撮影に必要な機材が備わっており、撮影カメラ６０の姿勢を計測するときの基準となる原点Ｏが床面に設定されている。そして、スタジオ８０では、前景Ｆｇとなる人物が原点Ｏの付近にいる。

全天周カメラ１０は、全周囲の背景Ｂｇを一括で撮影し、全天周画像を生成するものである。例えば、全天周カメラ１０は、１８０°以上の画角を有するカメラ１０ａ，１０ｂが２台、反対方向に向けて組み込まれている。この全天周カメラ１０は、個々のカメラ１０ａ，１０ｂで撮影された画像をシームレスに貼り合わせることで、図２（ａ）のように、全周囲の背景Ｂｇが撮影された全天周画像１００を生成する。そして、全天周カメラ１０は、生成した全天周画像１００を画像処理装置２０に出力する。

画像処理装置２０は、全天周カメラ１０から入力された全天周画像１００を２次元に展開することで、背景展開画像を生成するものである。例えば、画像処理装置２０は、下記参考文献１に記載の発明を用いて、図２（ａ）の全天周画像１００を、図２（ｂ）のように２次元の背景展開画像２００に変換する。そして、画像処理装置２０は、生成した背景展開画像２００を送信装置３０に出力する。
参考文献１：特開２０１１−２１０２３２号公報

さらに、本実施形態では、画像処理装置２０は、後記する距離情報も送信装置３０に出力する。この距離情報は、全天周カメラ１０から背景Ｂｇまでの距離を表している。以下、距離情報を生成する手法の第１例から第３例を説明する。

＜距離情報の生成：第１例＞
第１例の手法では、距離計測手段（不図示）を用いて、距離情報を生成する。
距離計測手段は、全天周カメラ１０から背景Ｂｇまでの距離を計測し、計測した距離を距離情報として画像処理装置２０に出力するものである。例えば、距離計測手段としては、レーザ距離計測器、レーダ距離計測器、赤外線距離計測器等の距離計測器があげられる。この距離計測器は、全天周カメラ１０に取り付けることができる。

ここで、全天周カメラ１０と背景Ｂｇとが離れている場合、距離計測器では距離情報を計測できない場合がある。この場合、距離計測手段として、ＧＰＳ（Global Positioning System）装置を利用することもできる。具体的には、ＧＰＳ装置は、全天周カメラ１０及び背景Ｂｇの位置をそれぞれ計測する。そして、ＧＰＳ装置は、計測した全天周カメラ１０及び背景Ｂｇの位置から両者の距離を求め、距離情報を生成する。

＜距離情報の生成：第２例＞
第２例の手法では、視差により距離情報を生成する。
この場合、画像処理装置２０は、カメラ１０ａ，１０ｂのそれぞれで背景Ｂｇを撮影した広角画像が入力される。この各広角画像には、互いに重なる領域が存在する。

そこで、画像処理装置２０は、各広角画像にＳＩＦＴ（Scale Invariant Feature Transform）等の特徴点検出処理を施し、各広角画像間で対応する特徴点（対応点）を検出する。そして、画像処理装置２０は、対応点の間隔（画素数）を視差として算出し、算出した視差から距離情報を生成する。

この第２例の手法によれば、画像合成システム１は、距離計測手段を用いずに距離情報を生成できるので、その構成を簡素にできる。
なお、全天周カメラ１０が１台のカメラで構成されている場合、第２例の手法を適用することができない。

＜距離情報の生成：第３例＞
第３例の手法では、距離情報を手動で生成する。
すなわち、画像合成システム１の利用者が、全天周カメラ１０から背景Ｂｇまでの距離を手動で計測し、その結果を距離情報として画像処理装置２０に入力する。
この第３例の手法によれば、画像合成システム１は、距離計測手段を用いずに距離情報を生成できるので、その構成を簡素にできる。

なお、距離情報は、画像合成に用いる情報であるから、厳密な正確性が要求されず、ある程度の正確性を保っていればよい。
また、全天周カメラ１０の周囲に複数の物体が存在する場合もある。この場合、代表的な一つの物体（例えば、最も注目されそうな物体）を背景Ｂｇとして定め、距離情報を生成してもよい。

図１に戻り、画像合成システム１の構成について、説明を続ける。
送信装置３０は、通信設備４０Ａ，４０Ｂを介して、画像処理装置２０から入力された背景展開画像２００及び距離情報を受信装置５０に送信するものである。
図２のように、球状の全天周画像１００が２次元の背景展開画像２００に変換されている。そこで、送信装置３０は、背景展開画像２００のデータ量を圧縮するため、ＭＰＥＧ（Moving Picture Experts Group）−２のような符号化処理を背景展開画像２００に施すことが好ましい。

通信設備４０Ａ，４０Ｂは、例えば、送信装置３０と受信装置５０との間で無線通信を行うものである。この通信設備４０Ａ，４０Ｂは、例えば、アンテナを備えた一般的な無線通信設備であるため、説明を省略する。

受信装置５０は、通信設備４０Ａ，４０Ｂを介して、送信装置３０から背景展開画像２００及び距離情報を受信するものである。
ここで、受信装置５０は、送信装置３０が符号化処理を施した場合、この符号化処理に対応した復号化処理を背景展開画像２００に施す。そして、受信装置５０は、背景展開画像２００及び距離情報を画像合成装置７０に出力する。

撮影カメラ６０は、前景Ｆｇを撮影するカメラである。この撮影カメラ６０は、スタジオ８０に配置され、カメラマン９０がその姿勢や焦点距離を操作する。そして、撮影カメラ６０は、カメラマン９０の操作に応じて、前景Ｆｇが撮影された撮影画像を生成する。その後、撮影カメラ６０は、生成した撮影画像を画像合成装置７０に出力する。

また、撮影カメラ６０は、カメラデータを計測するセンサ６２を備える。このセンサ６２は、撮影カメラ６０が前景Ｆｇを撮影しているときカメラデータを計測し、計測したカメラデータを画像合成装置７０に出力する。
なお、カメラデータには、撮影カメラ６０の姿勢及び焦点距離が含まれる。

画像合成装置７０は、受信装置５０から入力された背景展開画像２００及び距離情報と、撮影カメラ６０から入力された撮影画像及びカメラデータとを用いて、前景Ｆｇと背景Ｂｇとが合成された合成画像を生成するものである。

［画像合成装置の構成］
図３を参照し、画像合成装置７０の構成を説明する（適宜図１参照）。
図３のように、画像合成装置７０は、背景球状体生成手段７１と、半径設定手段７２と、背景球状体配置手段７３と、前景抽出手段７４と、画像合成手段７５とを備える。

背景球状体生成手段７１は、予め設定された座標変換規則に従って、受信装置５０より入力された背景展開画像２００から、背景Ｂｇが描画された背景球状体を生成するものである。そして、背景球状体生成手段７１は、生成した背景球状体を半径設定手段７２に出力する。

＜背景球状体の生成＞
図４を参照し、背景球状体生成手段７１による背景球状体の生成を説明する。
図４のように、背景球状体３００は、表面に背景Ｂｇが描画された仮想的な球体である。また、背景球状体３００は、その中心Ｃ（図５）が全天周カメラ１０の位置を表している。
なお、図４では、図面を見やすくするため、背景球状体３００に描かれた背景Ｂｇの図示を省略した。

座標変換規則は、２次元座標系を３次元球面上の座標系に変換する規則である。つまり、座標変換規則は、背景展開画像２００の座標系を、背景球状体３００の座標系に変換するための規則である。

ここで、背景球状体生成手段７１は、座標変換規則を参照し、背景展開画像２００の画素Ｐｔの座標を、背景球状体３００の画素Ｐｔの座標に変換する。また、背景球状体生成手段７１は、背景展開画像２００の画素Ｐｔにおける画素値を、背景球状体３００の画素Ｐｔにおける画素値として割り当てる。さらに、背景球状体生成手段７１は、背景展開画像２００で画素Ｐｔ以外の画素についても、画素Ｐｔと同様に座標系の変換及び画素値の割り当てを行う。

図３に戻り、画像合成装置７０の構成について、説明を続ける。
半径設定手段７２は、背景球状体生成手段７１から入力された背景球状体３００の半径を設定するものである。具体的には、半径設定手段７２は、予め設定された半径変換規則に従って、受信装置５０より入力された距離情報から、背景球状体３００の半径を設定する。

半径変換規則は、距離情報（全天周カメラ１０から背景Ｂｇまでの距離）を、背景球状体３００の半径に変換する規則である。つまり、半径変換規則は、実空間での距離単位系（例えば、メートル）を、仮想ＣＧ空間での距離単位系（例えば、ピクセル数）に変換する。例えば、半径変換規則は、距離情報と背景球状体３００の半径とが比例するように設定されている。

ここで、半径設定手段７２は、全天周カメラ１０から背景Ｂｇまでが近い場合、半径変換規則に従って、図５（ａ）のように、背景球状体３００の半径ｒを小さく設定する。
一方、半径設定手段７２は、全天周カメラ１０から背景Ｂｇまでが遠い場合、図５（ｂ）のように、背景球状体３００の半径ｒを大きく設定する。
その後、半径設定手段７２は、半径ｒが設定された背景球状体３００を背景球状体配置手段７３に出力する。

背景球状体配置手段７３は、半径設定手段７２から入力された背景球状体３００の中心Ｃが仮想ＣＧ空間の原点Ｏに位置するように、背景球状体３００を仮想ＣＧ空間に配置するものである。

仮想ＣＧ空間とは、ＣＧ合成を行うための仮想的な３次元空間のことである。この仮想ＣＧ空間には、前景Ｆｇと、背景球状体３００と、仮想カメラ４００（図６）とが配置されることになる。
仮想カメラ４００は、仮想ＣＧ空間を撮影するための仮想的なカメラである。この仮想カメラ４００は、撮影カメラ６０と同様、仮想ＣＧ空間の原点Ｏを基準とした姿勢、及び、焦点距離が設定可能である。

図６（ａ）のように、スタジオ８０では、原点Ｏを基準として、撮影カメラ６０の姿勢を計測している。また、撮影カメラ６０と仮想カメラ４００との姿勢を一致させる必要がある。このため、背景球状体配置手段７３は、図６（ｂ）のように、仮想ＣＧ空間の原点Ｏと背景球状体３００の中心Ｃとを一致させるように、背景球状体３００を仮想ＣＧ空間に配置する。
なお、背景球状体３００が配置された仮想ＣＧ空間は、後記する画像合成手段７５によって参照される。

前景抽出手段７４は、撮影カメラ６０より入力された撮影画像から、前景Ｆｇを抽出するものである。例えば、前景抽出手段７４は、撮影画像にクロマキー処理を施すことで、撮影画像で青色以外の領域である前景Ｆｇを抽出する。そして、前景抽出手段７４は、抽出した前景Ｆｇを画像合成手段７５に出力する。

画像合成手段７５は、背景球状体３００及び前景Ｂｇが配置された仮想ＣＧ空間を仮想カメラ４００で仮想的に撮影することで、前景抽出手段７４から入力された前景Ｆｇと背景Ｂｇとが合成された合成画像を生成するものである。

まず、画像合成手段７５は、前景Ｆｇを仮想ＣＧ空間の原点に合わせて配置する。既に背景球状体３００が仮想ＣＧ空間の原点Ｏを中心に配置されている。このため、仮想ＣＧ空間では、背景Ｂｇを描いた背景球状体３００が、前景Ｆｇを囲んだ状態となっている。
次に、画像合成手段７５は、撮影カメラ６０から入力されたカメラデータに従って、仮想カメラ４００の姿勢及び焦点距離を設定する。これにより、実空間での撮影カメラ６０の姿勢及び焦点距離と、仮想ＣＧ空間での仮想カメラ４００の姿勢及び焦点距離とが同一になる。
そして、画像合成手段７５は、仮想カメラ４００で仮想ＣＧ空間を仮想的に撮影する。言い換えるなら、画像合成手段７５は、撮影カメラ６０と同一姿勢及び同一画角で、前景Ｆｇ及び背景球状体３００が配置された状態の仮想ＣＧ空間を切り出す。この切り出された画像が合成画像となる。

なお、背景球状体３００の半径ｒが大きくなった場合、合成画像で背景部分の解像度が低下することがある。この場合、画像合成手段７５は、下記参考文献２に記載の超解像技術を用いて、合成画像の解像度を向上させることが好ましい。
参考文献２：特開２０１４−１１９９４９号公報

＜合成画像の具体例＞
図７を参照し、画像合成装置７０が生成した合成画像５００の具体例を説明する（適宜図３参照）。
図７では、人物を前景Ｆｇとし、建物を背景Ｂｇとする。また、撮影カメラ６０が、人物が撮影画像の左下に位置するように撮影を行ったこととする。

この場合、画像合成手段７５は、撮影カメラ６０の姿勢に合わせて仮想カメラ４００の姿勢を設定し、図７（ａ）のような合成画像５００を生成する。この合成画像５００では、左下に人物が位置し、その背後に建物が写っている。

ここで、撮影カメラ６０を右にパンニングさせて、撮影カメラ６０の姿勢を変化させた場合を考える。この場合、画像合成手段７５は、撮影カメラ６０の姿勢変化に合わせて、仮想カメラ４００の姿勢も変化させて、図７（ｂ）のように、右下に人物が位置する合成画像５００を生成する。

さらに、建物の代わりに、より遠方にある山を背景Ｂｇとした場合を考える。この場合、半径設定手段７２は、建物が背景Ｂｇのときに比べて、背景球状体３００の半径ｒを大きく設定する。従って、仮想ＣＧ空間では、人物が位置する原点と、表面に山が描かれた背景球状体３００との距離が遠くなる。そして、画像合成手段７５は、仮想カメラ４００が仮想ＣＧ空間を撮影することで、図７（ｃ）のような合成画像５００を生成する。

このように、画像合成装置７０は、人物等の前景Ｆｇに対して、建物や山といった背景Ｂｇが適切な大きさとなる合成画像５００を生成することができる。

［画像合成装置の動作］
図８を参照し、画像合成装置７０の動作を説明する（適宜図３参照）。
画像合成装置７０は、背景球状体生成手段７１によって、予め設定された座標変換規則に従って、受信装置５０より入力された背景展開画像２００から、背景Ｂｇが描画された背景球状体３００を生成する（ステップＳ１）。

画像合成装置７０は、半径設定手段７２によって、予め設定された半径変換規則に従って、受信装置５０より入力された距離情報から、ステップＳ１で生成した背景球状体３００の半径ｒを設定する（ステップＳ２）。
画像合成装置７０は、背景球状体配置手段７３によって、背景球状体３００の中心Ｃが仮想ＣＧ空間の原点Ｏに位置するように、背景球状体３００を仮想ＣＧ空間に配置する（ステップＳ３）。

画像合成装置７０は、前景抽出手段７４によって、撮影カメラ６０より入力された撮影画像から、前景Ｆｇを抽出する（ステップＳ４）。
画像合成装置７０は、ステップＳ４で抽出された前景Ｆｇと背景Ｂｇとが合成された合成画像５００を生成する（ステップＳ５）。

［作用・効果］
画像合成装置７０は、前景Ｆｇに対して背景Ｂｇが適切な大きさとなるように背景球状体３００の半径ｒを設定できるので、遠近感が自然な合成画像５００を生成することができる。
さらに、画像合成装置７０は、合成画像の背景Ｂｇとして、全天周カメラ１０で撮影した実写画像を活用することができる。従って、画像合成装置７０は、ＣＧセットを制作する必要がなく、制作コストを抑えることができる。

さらに、画像合成装置７０は、実写画像を活用できるので、スタジオ中継でありながら、あたかも現場中継を行っているような雰囲気の合成画像５００を生成できる。例えば、災害現場は危険なため、その場で中継を行うことが困難である。しかし、画像合成装置７０は、全天周カメラ１０を災害現場に設置しておけば、災害現場を背景Ｂｇとした臨場感の高い合成画像５００を安全に生成できる。この他、画像合成装置７０は、全天周カメラ１０を各地に設置しておけば、いつでもその場にいるような合成画像５００を生成することもできる。

（変形例）
以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した各実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。

前記した実施形態では、静止画を合成することとして説明したが、動画（映像）を合成することもできる。この場合、画像合成システムは、リアルタイムで撮影した撮影映像及び全天周映像を用いることができる。さらに、画像合成システムは、リアルタイムで撮影した全天周映像の代わりに、予め蓄積した全天周映像を用いることも可能である。

前記した実施形態では、全天周カメラが全周囲の背景を撮影することとして説明したが、一部背景のみを撮影してもよい。つまり、背景球状体は、一部背景のみが表面に描かれるため、半球体のような部分球体となる。
なお、このとき、背景が合成されない事態を防止するため、撮影カメラの姿勢及び画角を制限することが好ましい。

前記した実施形態では、全天周カメラが全周囲の背景を一括で撮影することとして説明したが、これに限定されない。例えば、全天周カメラは、撮影位置を中心に回転しながら、全周囲の背景を撮影する１台のカメラであってもよい。

前記した実施形態では、クロマキー処理で前景を抽出することとして説明したが、これに限定されない。例えば、距離計測器で前景の奥行情報を予め計測し、この奥行情報を前景抽出手段に出力する。そして、前景抽出手段は、この奥行情報を用いて、前景の輪郭部分のキー信号を生成し、前景を抽出してもよい。

前記した実施形態では、距離情報が入力されることとして説明したが、これに限定されない。例えば、半径設定手段７２は、画像合成システム１の利用者が、仮想ＣＧ空間内での半径球状体の半径を手動で設定してもよい。

前記した実施形態では、画像合成装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、画像合成装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる画像合成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 画像合成システム
１０ 全天周カメラ（第１カメラ）
２０ 画像処理装置
３０ 送信装置
４０Ａ，４０Ｂ 送信設備
５０ 受信装置
６０ 撮影カメラ（第２カメラ）
７０ 画像合成装置
７１ 背景球状体生成手段
７２ 半径設定手段
７３ 背景球状体配置手段
７４ 前景抽出手段
７５ 画像合成手段

Claims (6)

1. 第１カメラで周囲の背景を撮影した球状画像が２次元に展開された背景展開画像と、第２カメラで前景を撮影した撮影画像と、前記第２カメラの姿勢及び焦点距離を計測したカメラデータとを用いて、前記前景と前記背景とが合成された合成画像を生成する画像合成装置であって、
   予め設定された２次元座標系を３次元球面上の座標系に変換する座標変換規則に従って、前記背景展開画像から、前記背景が描画された仮想的な背景球状体を生成する背景球状体生成手段と、
   手動又は前記第１カメラから前記背景までの距離情報により、前記背景球状体の半径を設定する半径設定手段と、
   半径が設定された前記背景球状体の中心が仮想ＣＧ空間の原点に位置するように、当該背景球状体を前記仮想ＣＧ空間に配置する背景球状体配置手段と、
   前記撮影画像から前記前景を抽出する前景抽出手段と、
   抽出された前記前景を前記仮想ＣＧ空間の原点に合わせて配置し、仮想カメラの姿勢及び焦点距離を前記カメラデータに従って設定し、前記仮想カメラで前記仮想ＣＧ空間を撮影することで前記合成画像を生成する画像合成手段と、
   を備えることを特徴とする画像合成装置。
2. 前記半径設定手段は、前記距離情報が入力され、予め設定された前記距離情報を前記半径に変換する半径変換規則に従って、前記半径を設定することを特徴とする請求項１に記載の画像合成装置。
3. 前記半径設定手段は、距離計測手段で計測された前記距離情報が入力されることを特徴とする請求項１又は請求項２に記載の画像合成装置。
4. 前記半径設定手段は、視差により求められた前記距離情報が入力されることを特徴とする請求項１又は請求項２に記載の画像合成装置。
5. 前記背景球状体生成手段は、前記第１カメラとしての全天周カメラで撮影された全天周画像が２次元に展開された背景展開画像から、前記背景球状体を生成することを特徴とする請求項１から請求項４の何れか一項に記載の画像合成装置。
6. コンピュータを、請求項１から請求項５の何れか一項に記載の画像合成装置として機能させるための画像合成プログラム。

Images