JPH10116359A - カメラパラメータ演算装置及び画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 ビデオカメラで撮影した動画像データからカ
メラパラメータを自動的にかつ精度良く推定し、推定し
たカメラパラメータに基づいて３次元ＣＧ画像を生成し
て動画像との合成を行う。 【解決手段】 カメラパラメータ設定部１１で、動画像
の最初のフレームに対してそのフレームの画像が撮影さ
れたときのカメラパラメータを設定する。カメラパラメ
ータ予測部１２は、次のフレームの画像データ内に撮影
されている既知形状物体の特徴点のワールド座標と既知
形状物体の特徴点の画像データ内の位置から次のフレー
ムのカメラパラメータを予測する。カメラパラメータ補
正部１３は、カメラパラメータ予測部１２で予測された
カメラパラメータを画像データ内に写し込まれた既知形
状物体の表面色を用いて補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ビデオカメラ等
で撮影した画像と３次元ＣＧ（コンピュータグラフィッ
クス）で生成した画像とを合成する技術に関するもの
で、詳しくは、ビデオカメラ等で撮影された画像のデー
タから撮影時のカメラパラメータを求めるカメラパラメ
ータ演算装置、並びに、撮影された画像のデータから求
めたカメラパラメータを用いて３次元ＣＧ画像を生成し
て、撮影画像と３次元ＣＧ画像を合成する画像合成装置
に関するものである。

【０００２】

【従来の技術】ビデオカメラ等で撮影した静止画や動画
像（以下、撮影画像と記す）と３次元ＣＧで生成した画
像（以下、３次元ＣＧ画像と記す）との合成は、映画や
コマーシャルフィルム等での特殊効果を始めとして、映
像製作の現場で幅広く利用されている。特に、動画像の
動きに合せて３次元ＣＧ画像を動かすことは、実在しな
いものに現実味と迫力を与えるときなどに良く使われ
る。

【０００３】図１２は撮像画像と３次元ＣＧ画像との合
成例を示す説明図である。図１２では、実際に撮影され
たビルの画像に、現実には存在しないロボット（例えば
ビルよりも大きいロボット）を３次元ＣＧで生成して合
成する例を示している。こうした画像合成では、３次元
ＣＧ画像を作成する際に用いるカメラパラメータと、撮
影画像を撮影した際のカメラパラメータとを一致させ
て、奥行き感や動きを調和させる必要がある。ここで、
カメラパラメータとは、カメラの位置、向き、焦点距
離、アスペクト比、カメラ位置から投影スクリーンに垂
線を下ろした点の投影座標である。

【０００４】図１３はカメラパラメータの不一致による
合成画像の違和感を示す説明図である。図１３では、実
在のビルに並べて３次元ＣＧで生成したビルを合成した
例を示している。実在のビルを撮影した際のカメラパラ
メータと３次元ＣＧ画像を生成する際のカメラパラメー
タとが一致しない場合、合成画像には違和感が生ずる。

【０００５】このように、動画像（撮影画像）と３次元
ＣＧ画像とを遠近感や動きに違和感をもたせることなく
合成するには、動画像を撮影する際のカメラパラメータ
と３次元ＣＧを作成する際のカメラパラメータとを一致
させる必要がある。

【０００６】そこで、カメラパラメータを測定・記録で
きるカメラを用いて動画像を撮影し、撮影された動画像
の各フレーム毎に記録されたカメラパラメータに基づい
て３次元ＣＧを作成して、動画像（撮影画像）と３次元
ＣＧ画像とを合成している。又は、３次元ＣＧ画像を生
成する際のカメラパラメータに合せて、動画像を撮影す
るようにしている。

【０００７】このような撮影画像と３次元ＣＧ画像との
合成に関する技術として、以下に示す技術が知られてい
る。

【０００８】特開昭６１−２６７１８２号公報には、角
度、拡大率を変化させながらビデオカメラで撮像した風
景等の映像と、ビデオカメラで撮像した状態に基づいて
コンピュータグラフィックスで作成した３次元モデルを
変化させて得たコンピュータグラフィックス映像とを合
成する映像合成方式が記載されている。

【０００９】特開平５−１８１９５２号公報には、３次
元の動きが自在に行える基台にビデオカメラを搭載する
と共に、このビデオカメラの３次元の位置、方向及び画
角を検出する位置検出装置を基台に取り付け、この位置
検出装置によるビデオカメラの位置データに基づきコン
ピュータ内に３次元のコンピュータグラフィックスの映
像を生成し、このコンピュータグラフィックスによる映
像にビデオカメラで撮影した被写体の映像を合成するよ
うにした実時間合成装置が記載されている。

【００１０】特開平５−１８３８０８号公報には、撮影
対象物をモデル化して仮想空間に配置し、撮影時のカメ
ラの位置、方向等のパラメータの検出結果に基づき、モ
デル化した仮想対象物までの奥行きを、そのカメラの撮
影画像の画素毎に演算して、画像中の前後関係を正しく
保ちながら画像を合成するようにした画像合成装置が記
載されている。

【００１１】特開平７−１４６５０１号公報には、広範
な範囲のカメラ移動を扱えるようにするため、操作する
人間が物理的に入力できる範囲を自在に拡大、縮小でき
るスケール機能を持つと共に、撮影対象内の任意の位置
の目標に３次元座標原点を設定する機能を持ち、この原
点に対してスケールを機能させることで、１回の連続し
た操作で、目標の周りの広い空間内の移動経路を一挙に
入力でき、同時に、カメラワークに関する全てのデータ
を、映像が撮影される映像同期毎に収集蓄積することに
より、映像同期毎に描画を行うＣＧなどにおけるカメラ
ワーク入力地区性装置として使うことを可能にしたカメ
ラワーク入力装置が記載されている。

【００１２】また、静止画像からその静止画像を撮影し
た際のカメラパラメータを推定する方法として、Ｒｏｄ
Ｇ．ＢｏｇａｒｔのＶＩＥＷ ＣＯＲＲＥＬＡＴＩＯ
Ｎ法（ＧＲＡＰＨＩＣＳ ＧＥＭＳ ２，ＡＣＡＤＥＭ
ＩＣ ＰＲＥＳＳ ｐｐ１８１−１９０）が知られてい
る。このＶＩＥＷ ＣＯＲＲＥＬＡＴＩＯＮ法は、人間
が画像データ中の特徴点にワールド座標における３次元
座標を対応させ、３次元座標が画像中のどの位置に投影
されるかを５点以上の特徴点について与えることで、カ
メラパラメータを推定するものである。画像データ中の
特徴点としては、図１４に示すように、物体の角等の形
状変化点や物体表面上の色が変化する色変化点を用い
る。

【００１３】このＶＩＥＷ ＣＯＲＲＥＬＡＴＩＯＮ法
を応用して動画像のカメラパラメータを推定することが
考えられる。動画像データを構成する各フレームの画像
データ一枚一枚に対して、ＶＩＥＷ ＣＯＲＲＥＬＡＴ
ＩＯＮ法を用いてカメラパラメータを推定し、各フレー
ム毎に推定されたカメラパラメータに基づいて各フレー
ムに合成する３次元ＣＧ画像を生成すれば、動画像と３
次元ＣＧ画像とを違和感を与えることなく合成できる。
しかしながら、多数の画像データからなる動画像データ
に対して特徴点のワールド座標を対応させる作業が極め
て膨大となり、効率の点で問題である。

【００１４】そこで、作業量を減らす方法として、動画
像データの最初のフレームに対して人間が特徴点の画像
データ内での位置とワールド座標との対応付けを行い、
後続のフレームについては自動的にカメラパラメータの
推定させることが考えられる。この方法では、最初のフ
レームにおける特徴点が後続のフレームでどのように移
動するかを追跡する。この追跡処理の結果、すべてのフ
レームで特徴点の位置がわかれば、ＶＩＥＷ ＣＯＲＲ
ＥＬＡＴＩＯＮ法を適用して全てのフレームのカメラパ
ラメータを推定することができる。

【００１５】図１５は動画像を撮影した際のカメラパラ
メータをＶＩＥＷ ＣＯＲＲＥＬＡＴＩＯＮ法を応用し
て推定する方法のフローチャートである。ステップＳ１
では、人間（ユーザ）が動画像データの最初のフレーム
の画像データに対して、特徴点の画像データ中での位置
とワールド座標との対応付けを行う。ステップＳ２で
は、この対応関係を用いてＶＩＥＷ ＣＯＲＲＥＬＡＴ
ＩＯＮ法を適用し、最初のフレームの画像データに対す
るカメラパラメータを算出する。

【００１６】ステップＳ３では、最初のフレームの画像
データから第２フレームの画像データに変わった際に、
特徴点がどこに移動したかを追跡する。この特徴点の追
跡方法には、残差逐次検定法（画像処理ハンドブック，
東京大学出版会，ｐｐ７０８）を用いる。残差逐次検定
法は一般的なパターン照合法であり、現フレームの画像
データにおける特徴点とその隣接ピクセルを参照パター
ンとして、次フレームの画像データ中からこの参照パタ
ーンを探索することにより、特徴点の追跡を行うことが
できる。

【００１７】ステップＳ４では、ステップＳ３の特徴点
の追跡により得られた第２フレームでの特徴点の画像内
での位置と、この特徴点に対してステップＳ１で対応付
けられたワールド座標を用いてＶＩＥＷ ＣＯＲＲＥＬ
ＡＴＩＯＮ法を適用し、第２フレームのカメラパラメー
タを算出する。以降、ステップＳ３とステップＳ４とを
繰り返し行い、動画像データの全てのフレームの画像デ
ータに対するカメラパラメータを算出する。

【００１８】図１５に示した方法によって算出したカメ
ラパラメータに基づいて３次元ＣＧ画像を生成して、生
成した３次元ＣＧ画像と動画像（撮影画像）とを合成す
ることが原理的には可能である。しかしながら、ステッ
プＳ３で特徴点の追跡を行っても、追跡結果の特徴点の
位置と実際の特徴点の位置とにずれが生じてしまう。こ
のため、ステップＳ４でのカメラパラメータの算出結果
に誤差が生じ、動画像（撮影画像）に合ったカメラパラ
メータを推定することができない。よって、図１５に示
したカメラパラメータの推定方法を用いて、動画像と３
次元ＣＧ画像とを合成することは実用上行われていな
い。

【００１９】上述したように、従来の技術では、カメラ
パラメータを測定・記録することのできる特殊な機構を
備えていない一般のカメラで撮影した動画像データに対
して、カメラパラメータの合った３次元ＣＧ画像を生成
して合成することはできなかった。

【００２０】

【発明が解決しようとする課題】従来、撮影時のカメラ
パラメータ（カメラの位置、向き、焦点距離、アスペク
ト比、カメラの位置から投影スクリーンに垂線を下ろし
た点の投影座標）と３次元ＣＧ画像を生成する際のカメ
ラパラメータとを一致させて、動画像（撮影画像）と３
次元ＣＧ画像を合成する場合には、動画像データの撮影
時にカメラパラメータを測定・記録し記録されたカメラ
パラメータに基づいて３次元ＣＧ画像を生成するか、３
次元ＣＧ画像生成時のカメラパラメータを記録し記録し
たカメラパラメータに基づいて動画像の撮影を行うかの
２通りの方法が用いられていた。

【００２１】このため、動画像データを撮影する撮影器
材には、カメラパラメータを測定・記録するための機
構、又は、カメラパラメータに基づいてカメラの動き
（姿勢）を制御する機構が必要であった。カメラパラメ
ータには、焦点距離やアスペクト比、光軸のスクリーン
座標といったカメラ内部のパラメータが含まれるため、
カメラ自体にもカメラパラメータがわかる機構が必要で
ある。

【００２２】したがって、上記２通りの方法では、特殊
な撮影器材の設営が必要である。市販されているビデオ
カメラで撮影された動画像データや過去に撮影された動
画像データに、３次元ＣＧ画像を合成することは不可能
である。

【００２３】一方、上記２通りの方法とは別に、カメラ
パラメータを静止画像データから推定する方法（ＶＩＥ
Ｗ ＣＯＲＲＥＬＡＴＩＯＮ法）を用いて、動画像デー
タの各フレームにおけるカメラパラメータを推定し、推
定したカメラパラメータを用いて３次元ＣＧ画像を生成
し合成する方法が考えられる。

【００２４】ＶＩＥＷ ＣＯＲＲＥＬＡＴＩＯＮ法で
は、画像データ中の特徴点（物体の角や物体表面上の色
が変化する点）の位置とワールド座標系における３次元
座標の対応付けが必要であるため、動画像データの各フ
レームの画像データ中の特徴点の位置が必要である。こ
の特徴点の位置を決める方法として、全てのフレームに
亘ってユーザが特徴点の位置を各フレーム毎に指定する
方法と、最初のフレームでユーザが特徴点の位置を指定
し、その後のフレームでは特徴点の追跡を自動的に行わ
せる方法が考えられる。

【００２５】これら２つの方法によれば、原理的には、
市販されているビデオカメラで撮影された動画像データ
に３次元ＣＧ画像を合成することが可能である。しか
し、第１の方法は、動画像データの各フレーム毎に人手
が介在するため効率的でない。

【００２６】第２の方法では、特徴点の追跡結果のずれ
がカメラパラメータのずれを引き起こし、実用できる精
度のカメラパラメータを推定することができない。

【００２７】この発明はこのような課題を解決するため
なされたもので、特殊な機構を備えていないカメラで撮
影した動画像データからカメラパラメータを精度良く推
定する技術、並びに、推定したカメラパラメータに基づ
いて３次元ＣＧ画像を生成し合成する画像合成技術を提
供することを目的とする。

【００２８】

【課題を解決するための手段】前記課題を解決するため
この発明に係るカメラパラメータ演算装置は、入力され
たカメラパラメータ（暫定カメラパラメータ）を画像デ
ータ内に撮影された既知形状物体の表面色を用いて評価
するカメラパラメータ評価部と、このカメラパラメータ
評価部における評価を改善するために非線形最小自乗法
を用いてカメラパラメータを更新する量を算出するカメ
ラパラメータ更新量算出部と、カメラ更新量算出部で算
出されたカメラパラメータ更新量によりカメラパラメー
タを更新するカメラパラメータ更新部と、カメラパラメ
ータ評価部，カメラパラメータ更新量算出部，カメラパ
ラメータ更新部の３つの処理部による反復処理を終了さ
せるカメラパラメータ補正終了判定部とを有することを
特徴とする。

【００２９】この発明に係るカメラパラメータ演算装置
は、入力されたカメラパラメータの初期値と画像データ
を撮影したときのカメラパラメータとの間の誤差をカメ
ラパラメータ補正部における処理により減少させる。

【００３０】カメラパラメータ補正部に入力されたカメ
ラパラメータは、カメラパラメータ評価部において、既
知形状をもつ物体上の色と現フレームに写されたときの
色の差から評価値を算出する。

【００３１】次にこの評価値を改善するようにカメラパ
ラメータを更新する量をカメラパラメータ更新量算出部
において算出する。

【００３２】カメラパラメータ補正終了判定部は、評価
値と更新量並びにカメラパラメータ補正のためにカメラ
パラメータ補正部内で反復処理を行った回数を用いてカ
メラパラメータの補正を終了するかを判定する。終了し
ない場合には、カメラパラメータ更新部で先に得られた
カメラパラメータ更新量を用いてカメラパラメータを更
新し、再度カメラパラメータ評価部へカメラパラメータ
を入力する。

【００３３】一方、終了する場合には、最終的に得られ
ているカメラパラメータの評価値とユーザが予め設定し
たしきい値とを用いて、カメラパラメータの補正が成功
したか失敗したかを判定する。

【００３４】

【発明の実施の形態】以下、この発明の実施の形態を添
付図面に基づいて説明する。図１はこの発明に係る画像
合成装置の全体構成図である。画像合成装置１は、再生
装置２と、記録装置３と、描画・合成装置４と、キーボ
ード５と、ポインティングデバイス６と、画像表示装置
７とからなる。

【００３５】再生装置２は、ビデオカメラ等で事前に撮
影された動画像データを描画・合成装置４へ供給すると
共に、ＣＧ画像を生成するためのＣＧ画像データを描画
・合成装置４へ供給するためのものであり、ＶＴＲ装
置，メモリ装置，ハードディスク装置，ＣＤ−ＲＯＭ再
生装置等を用いて構成される。動画像データは、離散時
間でサンプリングされた連続画像データである。連続画
像データの一枚一枚をフレームと呼ぶ。再生装置２は、
１フレームずつ再生できる構成としている。

【００３６】記録装置３は、描画・合成装置４から出力
される合成画像（動画像とＣＧ画像との合成画像）を記
録するためのものであり、ＶＴＲ装置，メモリ装置，ハ
ードディスク装置等を用いて構成される。

【００３７】キーボード５は、暫定カメラパラメータ入
力部並びにカメラパラメータ設定部を構成するものであ
る。このキーボード５は、静止画像からその静止画像が
撮影された際のカメラパラメータを求める際に暫定カメ
ラパラメータを入力するため、並びに、動画像からその
動画像が撮影された際のカメラパラメータを求める際の
特定のフレームの画像が撮影されたときのカメラパラメ
ータを入力するためのものである。ポインティングデバ
イス６は、画像表示装置７の画面上に表示された撮影画
像に対してその撮影画像の特徴点を指定するためにもの
である。

【００３８】図２は描画・合成装置のブロック構成図で
ある。描画・合成装置４は、カメラパラメータ演算装置
１０と、３次元ＣＧ生成部２０と、画像合成部３０とを
備える。カメラパラメータ演算装置１０は、動画像の各
フレームに対してそのフレームの画像が撮影されたとき
のカメラパラメータを求める。求めたカメラパラメータ
は、３次元ＣＧ生成部２０へ供給される。３次元ＣＧ生
成部２０は、各フレーム毎に求められたカメラパラメー
タに基づいて３次元ＣＧ画像を生成する。生成された３
次元ＣＧ画像は、画像合成部３０へ供給される。画像合
成部３０は、動画像と３次元ＣＧ画像とを合成して合成
画像を出力する。

【００３９】図３は描画・合成装置の動作を示すフロー
チャートである。ステップＳ１１でカメラパラメータ演
算装置１０は、ビデオカメラ等で撮影された動画像の画
像データを１フレームずつ読み込むと、ステップＳ１２
でそのフレームが撮影されたときのカメラパラメータを
求める。ステップＳ１３で、３次元ＣＧ生成部２０は求
めたカメラパラメータに基づいてそのフレームに合成す
る３次元ＣＧ画像を生成する。ステップＳ１４で、画像
合成部３０は動画像と３次元ＣＧ画像とを合成する。描
画・合成装置４は、動画像の各フレーム毎にカメラパラ
メータと求め、求めたパラメータに基づいて３次元ＣＧ
画像を生成して、動画像と３次元ＣＧ画像とを合成する
ので、合成された位置や遠近感に違和感のない合成画像
を得ることができる。

【００４０】図４はカメラパラメータ演算装置のブロッ
ク構成図である。カメラパラメータ演算装置１０は、カ
メラパラメータ設定部１１と、カメラパラメータ予測部
１２と、カメラパラメータ補正部１３とからなる。カメ
ラパラメータ補正部１３は、カメラパラメータ評価部１
４と、カメラパラメータ更新量算出部１５と、カメラパ
ラメータ更新部１６と、カメラパラメータ補正終了判定
部１７とを備える。

【００４１】カメラパラメータ設定部１１は、動画像の
フレームデータを図示しない画像表示制御装置へ供給し
て、評価対象となるフレームの画像を図１に示した画像
表示装置の画面上に表示させる機能を備えている。

【００４２】カメラパラメータ設定部１１には、ユーザ
が特徴点のワールド座標を設定するとともに特定フレー
ムの画像内の特徴点の位置又は特定フレームに対するカ
メラパラメータを設定する。なお、特徴点の位置が指定
された場合には、そのフレームのカメラパラメータを特
徴点のワールド座標と画像内での位置から推定する。そ
して、カメラパラメータ設定部１１は、特徴点のワール
ド座標と特定フレームのかメラパラメータを出力する。

【００４３】なお、特徴点のワールド座標とカメラパラ
メータは、図１に示したキーボード５を操作することに
より入力される。また、特定フレームの画像内の特徴点
の位置は、図１に示したポインティングデバイス６によ
って入力される。

【００４４】このカメラパラメータ演算装置１０は、複
数のフレームからなる動画像の中で特定のフレームに対
してカメラパラメータを設定すると、他のフレームのカ
メラパラメータを求めることができる。

【００４５】そして、 カメラパラメータ予測部１２
は、動画像データ、特徴点のワールド座標及び隣接フレ
ームのカメラパラメータを入力として、カメラパラメー
タと特徴点のワールド座標から特徴点の画像内での位置
を算出し、隣接フレームから現フレームへの特徴点位置
の追跡を残差逐次検定法などで行い、現フレームの特徴
点のワールド座標と特徴点位置からカメラパラメータを
View Corelation法などにより予測し、予測したカメラ
パラメータをカメラパラメータ補正部１３へ供給する。

【００４６】カメラパラメータ補正部１３は、予測され
たカメラパラメータを画像データ内の写し込まれた既知
形状物体の表面色を用いて補正する。カメラパラメータ
補正部１３で補正されたカメラパラメータはカメラパラ
メータ設定部１１へ供給される。カメラパラメータ設定
部１１は、補正されたカメラパラメータをフレームを一
時記憶すると共に、さらに次なるフレームのカメラパラ
メータを予測する際のカメラパラメータの初期値として
カメラパラメータ予測部１２へ供給する。このようにし
て、次なるフレームのカメラパラメータを順次求める。

【００４７】カメラパラメータ評価部１４は、画像デー
タ内に撮影された既知形状物体の色を用いてカメラパラ
メータを評価する。このカメラパラメータ評価部１４
は、画像データ内の写っている既知形状をもつ物体の表
面のワールド座標とカメラパラメータから、画像データ
内での既知形状をもつ物体の位置を算出し、画像データ
内の算出された位置の色を既知形状物体の色として判断
する既知形状物体色決定部１８を備える。カメラパラメ
ータ評価部１４は、画像データ内の写っている既知形状
をもつ物体の色が既知の場合に、評価対象のカメラパラ
メータと画像を撮影したときのカメラパラメータとのず
れを表す量として、既知である色と既知形状物体決定部
１８によって判断した色との差の自乗和又は自乗和の平
均を用いる。

【００４８】カメラパラメータ更新量算出部１５は、カ
メラパラメータ評価部１４における評価を改善するため
に非線形自乗法を用いてカメラパラメータを更新する量
を算出する。

【００４９】カメラパラメータ更新部１６は、カメラパ
ラメータ更新量算出部１５で算出されたカメラパラメー
タ更新量によりカメラパラメータを更新する。

【００５０】カメラパラメータ補正終了判定部１７は、
カメラパラメータ評価部１４で算出したカメラパラメー
タの評価値とユーザが設定した第１の許容誤差とを比較
し、評価値が第１の許容誤差よりも小さい場合にカメラ
パラメータの補正を終了する。また、カメラパラメータ
補正終了判定部１７は、カメラパラメータ更新量算出部
１５で算出したカメラパラメータの更新量とユーザが設
定した最小更新量とを比較し、更新量が最新更新量より
も小さい場合にカメラパラメータの補正を終了すると判
断する。

【００５１】さらに、このカメラパラメータ補正終了判
定部１７は、カメラパラメータの補正を終了すると判定
した際に、カメラパラメータ評価部１４で算出したカメ
ラパラメータの評価値がユーザが設定した第２の許容誤
差を越えている場合は、カメラパラメータの補正に失敗
したと判定するカメラパラメータ補正失敗判定部１９を
備えている。そして、このカメラパラメータ補正終了判
定部１７は、カメラパラメータの補正が失敗したと判定
された場合には、補正が失敗したカメラパラメータの修
正をユーザへ要求するためのパラメータ修正要求を発生
するよう構成している。

【００５２】図５はカメラパラメータ演算装置の全体動
作を示すフローチャートである。ステップＳ２１では、
カメラパラメータ補正部１３でカメラパラメータの補正
終了を判断する際の用いる第１の許容誤差、最小更新
量、第２の許容誤差、並びに、最大反復回数の入力がユ
ーザによってなされる。

【００５３】ステップＳ２２では、ユーザが動画像デー
タの最初の画像データにおいて、既知形状物体上の特徴
点（図１４に示す物体の角などの形状変化による特徴点
や物体表面上の色が変化する点）について、画像データ
中での位置とワールド座標系における３次元座標との対
応付けを行う。ステップＳ２３では、ＶＩＥＷ ＣＯＲ
ＲＥＬＡＴＩＯＮ法を用いて、特徴点の位置とそのワー
ルド座標からカメラパラメータを算出する。ステップＳ
２４では、特徴点のワールド座標を前フレームのカメラ
パラメータで変換し、前フレームの画像内の特徴点の位
置を修正する。ステップＳ２５では、修正された前フレ
ームの画像内の特徴点に対応する現フレームの画像内の
特徴点の位置を求める。ステップＳ２６では、ステップ
Ｓ２５の処理の結果得られた現フレームの画像における
特徴点の位置とその特徴点にステップＳ２２で対応付け
られたワールド座標からカメラパラメータを算出する。

【００５４】ステップＳ２７では、ステップＳ２６で算
出されたカメラパラメータの補正を行う。ステップＳ２
４〜ステップＳ２７の各処理は、動画像データの各フレ
ームに対して実行される。

【００５５】図５に示したこの発明に係るカメラパラメ
ータ演算装置の処理と図１５に示した従来技術の組合せ
によるカメラパラメータの推定方法との違いは、ステッ
プＳ２１とステップＳ２６の有無である。特に、本発明
ではステップＳ２６に示したカメラパラメータ補正部に
よる処理によって、カメラパラメータ推定の精度を向上
させることができる。

【００５６】図６はカメラパラメータ補正部の動作を示
すフローチャートである。カメラパラメータ補正部１３
は、ステップＳ３１〜ステップＳ３４の処理を反復する
ことで、カメラパラメータの補正を行う。まず、ステッ
プＳ３１では、カメラパラメータの評価値を算出する。
ステップＳ３２では、ステップＳ３１で求めたカメラパ
ラメータの評価値が最小になるようにカメラパラメータ
を更新する量を算出する。ステップＳ３３では、図５の
ステップＳ２１で既に設定済みの第１の許容誤差、最小
更新量、第２の許容誤差、並びに、最大反復回数を用い
て、カメラパラメータの補正が終了したかどうかを判定
する。

【００５７】第１の許容誤差及び最小更新量は、カメラ
パラメータの補正が十分に行われたかを判定するために
用いられる。最大反復回数は、カメラパラメータ補正部
１３におけるステップＳ３１〜ステップＳ３４の反復処
理回数の最大値であり、これ以上の反復は行わない。第
２の許容誤差は、カメラパラメータの補正が終了した際
にカメラパラメータ補正が正しく行われたかを判定する
ために用いられる。

【００５８】ステップＳ３３では、以上の４つの値（第
１の許容誤差、最小更新量、第２の許容誤差、並びに、
最大反復回数）を用いて、カメラパラメータの終了判定
を行う。カメラパラメータの補正が終了したと判定する
のは、 （１）カメラパラメータの評価値が第１の許容誤差より
も小さい場合 （２）カメラパラメータの更新量が最小更新量よりも小
さい場合 （３）カメラパラメータ補正部１３において、ステップ
Ｓ３１〜ステップＳ３４の反復処理回数が最大反復回数
を越えた場合 の３通りである。

【００５９】ただし、（１）の終了条件以外でカメラパ
ラメータの補正を終了する場合には、カメラパラメータ
の補正が失敗していることがある。この理由については
後述するが、ステップＳ３３では第２の許容誤差を用い
て補正が失敗したことを検知する。カメラパラメータの
評価値が第２の許容誤差よりも大きい場合には、カメラ
パラメータの補正が失敗したと判定し、図５のステップ
Ｓ２２及びステップＳ２３の処理を通して、補正に失敗
したカメラパラメータの修正をユーザに要求する。

【００６０】一方、前記３通りの終了条件のうち、どの
条件も満たさない場合には、カメラパラメータの補正は
終了しない。この場合にはステップＳ３４で、ステップ
Ｓ３２で算出したカメラパラメータの更新量によるカメ
ラパラメータの更新を行い、ステップＳ３１へ戻ってカ
メラパラメータの補正を続行する。

【００６１】次に、カメラパラメータの評価について説
明する。この発明におけるカメラパラメータの評価方法
は、動画像データに撮影された物体の色が撮影中に急激
に変化しないと仮定している。この仮定から物体の表面
上で対応する点、つまり、ワールド座標の同じ点の色
は、動画像データ中の隣接するフレームにおいてほぼ一
致することになる。ネオンなど発光体が明滅する場合や
鏡など特殊な物体を除けば、この仮定はほぼ成立する。

【００６２】図７は中心投影による座標変換の変換式を
示す説明図、図８はカメラモデルを示す説明図である。
既知形状物体の表面上の点は、そのワールド空間におけ
る３次元座標とカメラパラメータとから画像データ上の
どの位置に投影されるかが算出できる。この算出式は、
図７に示す式１である。式１は、図８に示すカメラモデ
ルから導かれる。

【００６３】カメラモデルはカメラの中心とスクリーン
とからなり、物体上の点Ｐ＝（ｘ，ｙ，ｚ）は、点Ｐと
カメラの中心とを結んだ直線とスクリーンの交点に投影
される。カメラパラメータは、カメラの中心の位置Ｐ
ｃ、物体の３次元座標を与える座標系のｘ，ｙ平面をス
クリーンと平行に回転する回転行列Ｒ、カメラの中心か
らスクリーンに垂線を下ろした点の投影座標（Ｘｃ，Ｙ
ｃ）、及び、スクリーンにおける投影座標の座標軸方向
での拡大率Ｘｚ，Ｙｚからなる。このカメラモデルによ
り、物体上の点Ｐ＝（ｘ，ｙ，ｚ）は、投影座標（Ｘ，
Ｙ）に投影される。この（Ｘ，Ｙ）が画像データにおけ
る位置である。

【００６４】図９は既知形状物体表面色決定部の動作を
示す説明図である。図９に示すように、既知形状物体の
モデルをワールド座標上に作成し、式１を用いれば、物
体表面上の点Ｐのワールド座標とカメラパラメータとか
ら画像データ内での位置Ｐ’を計算できる。式１に用い
たカメラパラメータが画像データを撮影したときのカメ
ラパラメータと一致していれば、画像データ内での点
Ｐ’の色は、既知形状物体の表面色となる。

【００６５】カメラパラメータの補正を行う際には、必
ず隣接するフレームのうちどちらか一方のカメラパラメ
ータが既知なので、式１を用いて得られる既知形状物体
の表面色を求めることができる。もう一方のフレームに
おいても、仮のカメラパラメータを用いて既知形状物体
の表面色を求め、得られた２つの表面色の間に大きな差
があれば、仮のカメラパラメータは画像データに合って
いないことがわかる。

【００６６】本発明では、既知形状物体の表面上の多数
の点について、隣接フレームから得た表面色の差の自乗
平均（又は自乗和）をカメラパラメータの評価値として
求め、この評価値がどのくらい小さいかによってカメラ
パラメータの評価を行う。

【００６７】図１０はカメラパラメータ評価部の動作を
示す説明図である。カメラパラメータ評価部１４は、既
知形状物体の３次元モデルとカメラパラメータ予測部１
２から供給されるカメラパラメータとに基づいて既知形
状物体の投影画像を生成し、生成した既知形状物体の投
影画像の各画素の投影座標点（Ｘｉ，Ｙｉ）の色データ
（Ｒｉ，Ｇｉ，Ｂｉ）と、実際のビデオカメラ等を用い
て撮影されたフレーム画像における同じ座標点の画素の
色データＲ（（Ｘｉ，Ｙｉ），Ｇ（Ｘｉ，Ｙｉ），Ｂ
（Ｘｉ，Ｙｉ））との差を求め、各画素毎に差の自乗値
を演算すると共に、各画素の差の自乗平均（又は自乗
和）を演算する。

【００６８】なお、既知形状物体は、予めその３次元形
状モデルとワールド座標系での存在位置が定義されてい
る。

【００６９】また、図１０では色をＲＧＢ空間のデータ
として表現したが、ＣＭＹ空間、ＨＳＬ空間、ＨＳＶ空
間、ＸＹＺ空間、Ｌｕｖ空間、ＹＵＶ空間、ＹＩＱ空
間、ＹＣｂＣｒ空間における色としてもよい。

【００７０】カメラパラメータの評価値は、カメラパラ
メータに対して非線形な値であり、評価値が既知形状物
体上の各点における色の差の自乗平均（又は自乗和）で
あるので、非線形最小自乗法によってカメラパラメータ
の評価値を極小とするカメラパラメータを求める。

【００７１】本実施例では、非線形最小自乗法問題を解
く方法として、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄ
ｔ法（Ｗ．Ｈ．Ｐｒｅｓｓ ｅｔ ａｌ．Ｎｕｍｅｒｉ
ｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ：Ｔｈｅ Ａｒｔ
ｏｆ ＳｃｉｅｎｔｉｆｉｃＣｏｍｐｕｔｉｎｇ，２ｎ
ｄ ｅｄｉｔｉｏｎ，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ．
Ｐｒｅｓｓ）を用いている。もちろん、非線形最小自乗
法の解法はこの方法に限定されるものではない。非線形
最小自乗法をパラメータの更新と評価値の算出を交互に
行い、パラメータの更新量が小さくなるか、評価値が０
に十分近づいた場合に終了する。カメラパラメータの更
新量は、非線形最小自乗法に基づいて算出される。

【００７２】図１１は非線形最小自乗法を用いてカメラ
パラメータを更新する処理を示す説明図である。カメラ
パラメータの評価値を隣接フレームから得た表面色の差
の自乗和とすると、評価値Ｅは図１１中の式２で示され
る。（自乗平均の場合には物体表面でサンプルした点数
Ｎで、式２に示した評価値Ｅを除算すれば良い。）ただ
し、Ｎは物体表面でサンプルされた点数であり、（Ｒｐ
ｉ，Ｇｐｉ，Ｂｐｉ）はカメラパラメータを推定する画
像において仮のカメラパラメータを用いて得られて既知
形状物体のモデル上の点Ｐｉの色である。また、（Ｒ
ｉ，Ｇｉ，Ｂｉ）は、既にカメラパラメータがわかって
いる画像において、既知のカメラパラメータを用いて得
られた既知形状物体のモデル上の点Ｐｉの色である。ま
た、ａｋはｋ番目のカメラパラメータである。ａｋにお
けるカメラパラメータの順番は計算の都合上定めるもの
で、順位による推定結果への影響はない。

【００７３】Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ
法の処理によって算出されるカメラパラメータの更新量
Δａは図１１中の式３で示される。式３で用いる偏微分
値は式４に示すように画像の濃度勾配とカメラパラメー
タによる投影座標の偏微分値との積として求める。画像
の濃度勾配は画像データから得られる。カメラパラメー
タによる投影座標の偏微分値は式１をカメラパラメータ
で微分することで得ることができる。λは収束度合に応
じて変化する安定化パラメータであり、評価値Ｅが前回
の評価に比べ小さくなった場合にはλを小さくし、カメ
ラパラメータを更新する。評価値が前回の評価値よりも
大きくなった場合にはλを大きくし、カメラパラメータ
は前回のカメラパラメータのままとする。本実施例で
は、λの初期値を１００．０とし、評価値が前回よりも
小さくなった場合にはλを１／３倍し、大きくなった場
合には３倍にしている。

【００７４】非線形自乗法は評価値を極小にするパラメ
ータの算出を行う。したがって、カメラパラメータ補正
部１３において補正されたカメラパラメータは極小値で
あっても最小値ではない可能性がある。また、入力され
る画像データによって非線形最小自乗法が収束しない場
合もある。これらの２つの場合には、カメラパラメータ
の補正が正しく行われない。

【００７５】そこで、本発明に係るカメラパラメータ演
算装置では、図５のステップＳ２１で設定した第２の許
容誤差を用いてカメラパラメータの補正の良否判定を行
う。補正後のカメラパラメータが第２の許容誤差を越え
る場合には、本発明におけるカメラパラメータの補正は
失敗したと判定し、図５のステップＳ２２においてユー
ザによる特徴点の投影座標と３次元座標との対応付けを
要求する。この処理によりカメラパラメータの推定が途
切れたり、誤ったカメラパラメータをもとに次のフレー
ムのカメラパラメータを推定しないようにしている。

【００７６】

【発明の効果】以上説明したようにこの発明によれば、
動画像データの最初のフレームに対して、ユーザの介在
を経てカメラパラメータの設定を行えば、以降のフレー
ムにおけるカメラパラメータを推定することができる。
この発明では、既知形状物体の表面の色が隣接フレーム
でほとんど変化しないという性質を用いているので、画
像データを撮影した際のカメラパラメータとずれのない
カメラパラメータを推定することが可能である。

【００７７】このようにして、本発明を用いれば、従来
行われていたようなカメラパラメータの測定・記録が可
能であるカメラを用いずに、しかも、カメラパラメータ
推定に係る人手を極力押さえた形で、動画像データと３
次元ＣＧ画像とを違和感なく合成することが可能であ
る。

【００７８】さらに、本発明ではユーザが、カメラパラ
メータの補正終了を判定するためのしきい値（第１の許
容誤差、最小更新量、第２の許容誤差、並びに、最大反
復回数）を設定することにより、ユーザが希望する推定
精度に達していないカメラパラメータが推定された場合
にそれを検出し、その時点でユーザがカメラパラメータ
を修正することができる。

【図面の簡単な説明】

【図１】この発明に係る画像合成装置の全体構成図であ
る。

【図２】描画・合成装置のブロック構成図である。

【図３】描画・合成装置の動作を示すフローチャートで
ある。

【図４】カメラパラメータ演算装置のブロック構成図で
ある。

【図５】カメラパラメータ演算装置の全体動作を示すフ
ローチャートである。

【図６】カメラパラメータ補正部の動作を示すフローチ
ャートである。

【図７】中心投影による座標変換の変換式を示す説明図
である。

【図８】カメラモデルを示す説明図である。

【図９】既知形状物体表面色決定部の動作を示す説明図
である。

【図１０】カメラパラメータ評価部の動作を示す説明図
である。

【図１１】非線形最小自乗法を用いてカメラパラメータ
を更新する処理を示す説明図である。

【図１２】撮像画像と３次元ＣＧ画像との合成例を示す
説明図である。

【図１３】カメラパラメータの不一致による合成画像の
違和感を示す説明図である。

【図１４】ＶＩＥＷ ＣＯＲＲＥＬＡＴＩＯＮ法で用い
る画像の特徴点の一例を示す説明図である。

【図１５】動画像を撮影した際のカメラパラメータをＶ
ＩＥＷ ＣＯＲＲＥＬＡＴＩＯＮ法を応用して推定する
方法のフローチャートである。

【符号の説明】

１ 画像合成装置、２ 再生装置、３ 記録装置、４
描画・合成装置、５キーボード、６ ポインティングデ
バイス、７ 画像表示装置、１０ カメラパラメータ演
算装置、１１ カメラパラメータ設定部、１２ カメラ
パラメータ予測部、１３ カメラパラメータ補正部、１
４ カメラパラメータ評価部、１５カメラパラメータ更
新量算出部、１６ カメラパラメータ更新部、１７ カ
メラパラメータ補正終了判定部、１８ 形状既知物体色
決定部、１９ 補正失敗判断部、２０ ３次元ＣＧ生成
部、３０ 画像合成部

Claims (19)

【特許請求の範囲】
1. 【請求項１】 ビデオカメラで撮影された画像の画像デ
   ータからその画像が撮影されたときのカメラパラメータ
   を求めるカメラパラメータ演算装置において、 予測されるカメラパラメータを入力するカメラパラメー
   タ入力部と、 画像データ内に写し込まれている既知形状物体の表面色
   を用いて前記カメラパラメータ入力部から入力されたカ
   メラパラメータを補正するカメラパラメータ補正部とを
   備えたことを特徴とするカメラパラメータ演算装置。
2. 【請求項２】 前記カメラパラメータ補正部は、 画像データ内に撮影された既知形状物体の表面色を用い
   てカメラパラメータを評価するカメラパラメータ評価部
   と、 前記カメラパラメータ評価部における評価を改善するた
   めに非線形最小自乗法を用いてカメラパラメータの更新
   量を算出するカメラパラメータ更新量算出部と、 前記カメラパラメータ更新量算出部で算出されたカメラ
   パラメータ更新量によりカメラパラメータを更新するカ
   メラパラメータ更新部と、 前記カメラパラメータ評価部、カメラパラメータ更新量
   算出部、カメラパラメータ更新部の３つの処理部による
   反復処理の終了を判定するカメラパラメータ補正終了判
   定部とを備えたことを特徴とする請求項１記載のカメラ
   パラメータ演算装置。
3. 【請求項３】 前記カメラパラメータ評価部は、 画像データ内に写っている既知形状をもつ物体の表面の
   ワールド座標とカメラパラメータから、画像データ内で
   の既知形状をもつ物体の位置を算出し、画像データ内の
   算出された位置の色を既知形状の物体の色として判断す
   る既知形状物体色決定部を備えたことを特徴とする請求
   項２記載のカメラパラメータ演算装置。
4. 【請求項４】 前記カメラパラメータ評価部は、 画像データ内に写っている既知形状をもつ物体の表面の
   色が既知の場合に、評価対象のカメラパラメータと画像
   を撮影した時のカメラパラメータとのずれを表す評価値
   として、既知である色と前記既知形状物体色決定部によ
   って判断した色との差の自乗又は自乗和の平均を用いる
   ことを特徴とする請求項３記載のカメラパラメータ演算
   装置。
5. 【請求項５】 前記カメラパラメータ補正終了判定部
   は、 前記カメラパラメータ評価部で算出したカメラパラメー
   タの評価値とユーザが設定した第１の許容誤差とを比較
   し、評価値が第１の許容誤差よりも小さい場合にカメラ
   パラメータの補正を終了すると判定することを特徴とす
   る請求項２記載のカメラパラメータ演算装置。
6. 【請求項６】 前記カメラパラメータ補正終了判定部
   は、 前記カメラパラメータ更新量算出部で算出したカメラパ
   ラメータの更新量とユーザが設定した最小更新量とを比
   較し、更新量が最小更新量よりも小さい場合にカメラパ
   ラメータの補正を終了すると判定することを特徴とする
   請求項２記載のカメラパラメータ演算装置。
7. 【請求項７】 前記カメラパラメータ補正終了判定部
   は、 前記カメラパラメータ評価部、カメラパラメータ更新量
   算出部、カメラパラメータ更新部の３つの処理部による
   反復処理回数とユーザが設定した最大反復回数とを比較
   し、反復処理回数が最大反復回数を越えた場合にカメラ
   パラメータの補正を終了すると判定することを特徴とす
   る請求項２記載のカメラパラメータ演算装置。
8. 【請求項８】 前記カメラパラメータ補正終了判定部
   は、 カメラパラメータの補正を終了すると判定した際に、前
   記カメラパラメータ評価部で算出したカメラパラメータ
   の評価値がユーザが設定した第２の許容誤差を越えてい
   る場合は、カメラパラメータの補正が失敗したと判定す
   るカメラパラメータ補正失敗判定部を備えたことを特徴
   とする請求項２記載のカメラパラメータ演算装置。
9. 【請求項９】 前記カメラパラメータ補正終了判定部
   は、 カメラパラメータの補正が失敗したと判定された場合
   に、補正が失敗したカメラパラメータの修正をユーザを
   要求するためのパラメータ修正要求を発生することを特
   徴とする請求項２記載のカメラパラメータ演算装置。
10. 【請求項１０】 ビデオカメラで撮影された複数のフレ
    ームからなる動画像の画像データから各フレームの画像
    が撮影されたときの各カメラパラメータを求めるカメラ
    パラメータ演算装置において、 特定のフレームの画像に対してその特定のフレームの画
    像が撮影されたときのカメラパラメータを設定するカメ
    ラパラメータ設定部と、 カメラパラメータが設定されているフレームに隣接する
    フレームのカメラパラメータを予測するにあたり、カメ
    ラパラメータが設定されているフレームで既知形状物体
    の特徴点の画像データ内の位置を特徴点のワールド座標
    とカメラパラメータから算出し、算出した特徴点の画像
    データ内の位置がカメラパラメータを予測するフレーム
    の画像中ではどこに移動するかを追跡し、カメラパラメ
    ータを予測するフレームで画追跡の結果得られた位置と
    特徴点のワールド座標からカメラパラメータを予測する
    カメラパラメータ予測部と、 前記カメラパラメータ予測部で予測されたカメラパラメ
    ータを画像データ内に写し込まれた既知形状物体の表面
    色を用いて補正するカメラパラメータ補正部とを備え、 １つのフレームにおけるカメラパラメータ設定後、前記
    カメラパラメータ予測部とカメラパラメータ補正部との
    処理を繰り返し行うことで、動画像データの全てのフレ
    ームに亘って各フレーム毎にカメラパラメータを設定す
    ることを特徴とするカメラパラメータ演算装置。
11. 【請求項１１】 前記カメラパラメータ補正部は、 画像データ内に撮影された既知形状物体の表面色を用い
    てカメラパラメータを評価するカメラパラメータ評価部
    と、 前記カメラパラメータ評価部における評価を改善するた
    めに非線形最小自乗法を用いてカメラパラメータの更新
    量を算出するカメラパラメータ更新量算出部と、 前記カメラパラメータ更新量算出部で算出されたカメラ
    パラメータ更新量によりカメラパラメータを更新するカ
    メラパラメータ更新部と、 前記カメラパラメータ評価部、カメラパラメータ更新量
    算出部、カメラパラメータ更新部の３つの処理部による
    反復処理の終了を判定するカメラパラメータ補正終了判
    定部とを備えたことを特徴とする請求項１０記載のカメ
    ラパラメータ演算装置。
12. 【請求項１２】 前記カメラパラメータ評価部は、 画像データ内に写っている既知形状をもつ物体の表面の
    ワールド座標とカメラパラメータから、画像データ内で
    の既知形状をもつ物体の位置を算出し、画像データ内の
    算出された位置の色を既知形状の物体の色として判断す
    る既知形状物体色決定部を備えたことを特徴とする請求
    項１１記載のカメラパラメータ演算装置。
13. 【請求項１３】 前記カメラパラメータ評価部は、 画像データ内に写っている既知形状をもつ物体の表面の
    色が既知の場合に、評価対象のカメラパラメータと画像
    を撮影した時のカメラパラメータとのずれを表す評価値
    として、既知である色と前記既知形状物体色決定部によ
    って判断した色との差の自乗和又は自乗和の平均を用い
    ることを特徴とする請求項１１記載のカメラパラメータ
    演算装置。
14. 【請求項１４】 前記カメラパラメータ補正終了判定部
    は、 前記カメラパラメータ評価部で算出したカメラパラメー
    タの評価値とユーザが設定した第１の許容誤差とを比較
    し、評価値が第１の許容誤差よりも小さい場合にカメラ
    パラメータの補正を終了すると判定することを特徴とす
    る請求項１１記載のカメラパラメータ演算装置。
15. 【請求項１５】 前記カメラパラメータ補正終了判定部
    は、 前記カメラパラメータ更新量算出部で算出したカメラパ
    ラメータの更新量とユーザが設定した最小更新量とを比
    較し、更新量が最小更新量よりも小さい場合にカメラパ
    ラメータの補正を終了すると判定することを特徴とする
    請求項１１記載のカメラパラメータ演算装置。
16. 【請求項１６】 前記カメラパラメータ補正終了判定部
    は、 前記カメラパラメータ評価部、カメラパラメータ更新量
    算出部、カメラパラメータ更新部の３つの処理部による
    反復処理回数とユーザが設定した最大反復回数とを比較
    し、反復処理回数が最大反復回数を越えた場合にカメラ
    パラメータの補正を終了すると判定することを特徴とす
    る請求項１１記載のカメラパラメータ演算装置。
17. 【請求項１７】 前記カメラパラメータ補正終了判定部
    は、 カメラパラメータの補正を終了すると判定した際に、前
    記カメラパラメータ評価部で算出したカメラパラメータ
    の評価値がユーザが設定した第２の許容誤差を越えてい
    る場合は、カメラパラメータの補正が失敗したと判定す
    るカメラパラメータ補正失敗判定部を備えたことを特徴
    とする請求項１１記載のカメラパラメータ演算装置。
18. 【請求項１８】 前記カメラパラメータ補正終了判定部
    は、 カメラパラメータの補正が失敗したと判定された場合
    に、補正が失敗したカメラパラメータの修正をユーザを
    要求するためのパラメータ修正要求を発生することを特
    徴とする請求項１１記載のカメラパラメータ演算装置。
19. 【請求項１９】 特定のフレームの画像に対してその特
    定のフレームの画像が撮影されたときのカメラパラメー
    タを設定するカメラパラメータ設定部と、カメラパラメ
    ータが設定されているフレームに隣接するフレームのカ
    メラパラメータを予測するにあたり、カメラパラメータ
    が設定されているフレームで既知形状物体の特徴点の画
    像データ内の位置を特徴点のワールド座標とカメラパラ
    メータから算出し、算出した特徴点の画像データ内の位
    置がカメラパラメータを予測するフレームの画像中では
    どこに移動するかを追跡し、カメラパラメータを予測す
    るフレームで画追跡の結果得られた位置と特徴点のワー
    ルド座標からカメラパラメータを予測するカメラパラメ
    ータ予測部と、前記カメラパラメータ予測部で予測され
    たカメラパラメータを画像データ内に写し込まれた既知
    形状物体の表面色を用いて補正するカメラパラメータ補
    正部とを備え、１つのフレームにおけるカメラパラメー
    タ設定後、前記カメラパラメータ予測部とカメラパラメ
    ータ補正部との処理を繰り返し行うことで、動画像デー
    タの全てのフレームに亘って各フレーム毎にカメラパラ
    メータを設定するカメラパラメータ演算装置と、 前記カメラパラメータ演算装置によって設定された各フ
    レーム毎のカメラパラメータに基づいて３次元ＣＧ画像
    を生成する３次元ＣＧ生成部と、 前記３次元ＣＧ生成部で生成された３次元ＣＧ画像と動
    画像とを合成する画像合成部とを備えたことを特徴とす
    る画像合成装置。