JPH10116359A - カメラパラメータ演算装置及び画像合成装置 - Google Patents
カメラパラメータ演算装置及び画像合成装置Info
- Publication number
- JPH10116359A JPH10116359A JP8268985A JP26898596A JPH10116359A JP H10116359 A JPH10116359 A JP H10116359A JP 8268985 A JP8268985 A JP 8268985A JP 26898596 A JP26898596 A JP 26898596A JP H10116359 A JPH10116359 A JP H10116359A
- Authority
- JP
- Japan
- Prior art keywords
- camera parameter
- camera
- unit
- correction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 ビデオカメラで撮影した動画像データからカ
メラパラメータを自動的にかつ精度良く推定し、推定し
たカメラパラメータに基づいて3次元CG画像を生成し
て動画像との合成を行う。 【解決手段】 カメラパラメータ設定部11で、動画像
の最初のフレームに対してそのフレームの画像が撮影さ
れたときのカメラパラメータを設定する。カメラパラメ
ータ予測部12は、次のフレームの画像データ内に撮影
されている既知形状物体の特徴点のワールド座標と既知
形状物体の特徴点の画像データ内の位置から次のフレー
ムのカメラパラメータを予測する。カメラパラメータ補
正部13は、カメラパラメータ予測部12で予測された
カメラパラメータを画像データ内に写し込まれた既知形
状物体の表面色を用いて補正する。
メラパラメータを自動的にかつ精度良く推定し、推定し
たカメラパラメータに基づいて3次元CG画像を生成し
て動画像との合成を行う。 【解決手段】 カメラパラメータ設定部11で、動画像
の最初のフレームに対してそのフレームの画像が撮影さ
れたときのカメラパラメータを設定する。カメラパラメ
ータ予測部12は、次のフレームの画像データ内に撮影
されている既知形状物体の特徴点のワールド座標と既知
形状物体の特徴点の画像データ内の位置から次のフレー
ムのカメラパラメータを予測する。カメラパラメータ補
正部13は、カメラパラメータ予測部12で予測された
カメラパラメータを画像データ内に写し込まれた既知形
状物体の表面色を用いて補正する。
Description
【0001】
【発明の属する技術分野】この発明は、ビデオカメラ等
で撮影した画像と3次元CG(コンピュータグラフィッ
クス)で生成した画像とを合成する技術に関するもの
で、詳しくは、ビデオカメラ等で撮影された画像のデー
タから撮影時のカメラパラメータを求めるカメラパラメ
ータ演算装置、並びに、撮影された画像のデータから求
めたカメラパラメータを用いて3次元CG画像を生成し
て、撮影画像と3次元CG画像を合成する画像合成装置
に関するものである。
で撮影した画像と3次元CG(コンピュータグラフィッ
クス)で生成した画像とを合成する技術に関するもの
で、詳しくは、ビデオカメラ等で撮影された画像のデー
タから撮影時のカメラパラメータを求めるカメラパラメ
ータ演算装置、並びに、撮影された画像のデータから求
めたカメラパラメータを用いて3次元CG画像を生成し
て、撮影画像と3次元CG画像を合成する画像合成装置
に関するものである。
【0002】
【従来の技術】ビデオカメラ等で撮影した静止画や動画
像(以下、撮影画像と記す)と3次元CGで生成した画
像(以下、3次元CG画像と記す)との合成は、映画や
コマーシャルフィルム等での特殊効果を始めとして、映
像製作の現場で幅広く利用されている。特に、動画像の
動きに合せて3次元CG画像を動かすことは、実在しな
いものに現実味と迫力を与えるときなどに良く使われ
る。
像(以下、撮影画像と記す)と3次元CGで生成した画
像(以下、3次元CG画像と記す)との合成は、映画や
コマーシャルフィルム等での特殊効果を始めとして、映
像製作の現場で幅広く利用されている。特に、動画像の
動きに合せて3次元CG画像を動かすことは、実在しな
いものに現実味と迫力を与えるときなどに良く使われ
る。
【0003】図12は撮像画像と3次元CG画像との合
成例を示す説明図である。図12では、実際に撮影され
たビルの画像に、現実には存在しないロボット(例えば
ビルよりも大きいロボット)を3次元CGで生成して合
成する例を示している。こうした画像合成では、3次元
CG画像を作成する際に用いるカメラパラメータと、撮
影画像を撮影した際のカメラパラメータとを一致させ
て、奥行き感や動きを調和させる必要がある。ここで、
カメラパラメータとは、カメラの位置、向き、焦点距
離、アスペクト比、カメラ位置から投影スクリーンに垂
線を下ろした点の投影座標である。
成例を示す説明図である。図12では、実際に撮影され
たビルの画像に、現実には存在しないロボット(例えば
ビルよりも大きいロボット)を3次元CGで生成して合
成する例を示している。こうした画像合成では、3次元
CG画像を作成する際に用いるカメラパラメータと、撮
影画像を撮影した際のカメラパラメータとを一致させ
て、奥行き感や動きを調和させる必要がある。ここで、
カメラパラメータとは、カメラの位置、向き、焦点距
離、アスペクト比、カメラ位置から投影スクリーンに垂
線を下ろした点の投影座標である。
【0004】図13はカメラパラメータの不一致による
合成画像の違和感を示す説明図である。図13では、実
在のビルに並べて3次元CGで生成したビルを合成した
例を示している。実在のビルを撮影した際のカメラパラ
メータと3次元CG画像を生成する際のカメラパラメー
タとが一致しない場合、合成画像には違和感が生ずる。
合成画像の違和感を示す説明図である。図13では、実
在のビルに並べて3次元CGで生成したビルを合成した
例を示している。実在のビルを撮影した際のカメラパラ
メータと3次元CG画像を生成する際のカメラパラメー
タとが一致しない場合、合成画像には違和感が生ずる。
【0005】このように、動画像(撮影画像)と3次元
CG画像とを遠近感や動きに違和感をもたせることなく
合成するには、動画像を撮影する際のカメラパラメータ
と3次元CGを作成する際のカメラパラメータとを一致
させる必要がある。
CG画像とを遠近感や動きに違和感をもたせることなく
合成するには、動画像を撮影する際のカメラパラメータ
と3次元CGを作成する際のカメラパラメータとを一致
させる必要がある。
【0006】そこで、カメラパラメータを測定・記録で
きるカメラを用いて動画像を撮影し、撮影された動画像
の各フレーム毎に記録されたカメラパラメータに基づい
て3次元CGを作成して、動画像(撮影画像)と3次元
CG画像とを合成している。又は、3次元CG画像を生
成する際のカメラパラメータに合せて、動画像を撮影す
るようにしている。
きるカメラを用いて動画像を撮影し、撮影された動画像
の各フレーム毎に記録されたカメラパラメータに基づい
て3次元CGを作成して、動画像(撮影画像)と3次元
CG画像とを合成している。又は、3次元CG画像を生
成する際のカメラパラメータに合せて、動画像を撮影す
るようにしている。
【0007】このような撮影画像と3次元CG画像との
合成に関する技術として、以下に示す技術が知られてい
る。
合成に関する技術として、以下に示す技術が知られてい
る。
【0008】特開昭61−267182号公報には、角
度、拡大率を変化させながらビデオカメラで撮像した風
景等の映像と、ビデオカメラで撮像した状態に基づいて
コンピュータグラフィックスで作成した3次元モデルを
変化させて得たコンピュータグラフィックス映像とを合
成する映像合成方式が記載されている。
度、拡大率を変化させながらビデオカメラで撮像した風
景等の映像と、ビデオカメラで撮像した状態に基づいて
コンピュータグラフィックスで作成した3次元モデルを
変化させて得たコンピュータグラフィックス映像とを合
成する映像合成方式が記載されている。
【0009】特開平5−181952号公報には、3次
元の動きが自在に行える基台にビデオカメラを搭載する
と共に、このビデオカメラの3次元の位置、方向及び画
角を検出する位置検出装置を基台に取り付け、この位置
検出装置によるビデオカメラの位置データに基づきコン
ピュータ内に3次元のコンピュータグラフィックスの映
像を生成し、このコンピュータグラフィックスによる映
像にビデオカメラで撮影した被写体の映像を合成するよ
うにした実時間合成装置が記載されている。
元の動きが自在に行える基台にビデオカメラを搭載する
と共に、このビデオカメラの3次元の位置、方向及び画
角を検出する位置検出装置を基台に取り付け、この位置
検出装置によるビデオカメラの位置データに基づきコン
ピュータ内に3次元のコンピュータグラフィックスの映
像を生成し、このコンピュータグラフィックスによる映
像にビデオカメラで撮影した被写体の映像を合成するよ
うにした実時間合成装置が記載されている。
【0010】特開平5−183808号公報には、撮影
対象物をモデル化して仮想空間に配置し、撮影時のカメ
ラの位置、方向等のパラメータの検出結果に基づき、モ
デル化した仮想対象物までの奥行きを、そのカメラの撮
影画像の画素毎に演算して、画像中の前後関係を正しく
保ちながら画像を合成するようにした画像合成装置が記
載されている。
対象物をモデル化して仮想空間に配置し、撮影時のカメ
ラの位置、方向等のパラメータの検出結果に基づき、モ
デル化した仮想対象物までの奥行きを、そのカメラの撮
影画像の画素毎に演算して、画像中の前後関係を正しく
保ちながら画像を合成するようにした画像合成装置が記
載されている。
【0011】特開平7−146501号公報には、広範
な範囲のカメラ移動を扱えるようにするため、操作する
人間が物理的に入力できる範囲を自在に拡大、縮小でき
るスケール機能を持つと共に、撮影対象内の任意の位置
の目標に3次元座標原点を設定する機能を持ち、この原
点に対してスケールを機能させることで、1回の連続し
た操作で、目標の周りの広い空間内の移動経路を一挙に
入力でき、同時に、カメラワークに関する全てのデータ
を、映像が撮影される映像同期毎に収集蓄積することに
より、映像同期毎に描画を行うCGなどにおけるカメラ
ワーク入力地区性装置として使うことを可能にしたカメ
ラワーク入力装置が記載されている。
な範囲のカメラ移動を扱えるようにするため、操作する
人間が物理的に入力できる範囲を自在に拡大、縮小でき
るスケール機能を持つと共に、撮影対象内の任意の位置
の目標に3次元座標原点を設定する機能を持ち、この原
点に対してスケールを機能させることで、1回の連続し
た操作で、目標の周りの広い空間内の移動経路を一挙に
入力でき、同時に、カメラワークに関する全てのデータ
を、映像が撮影される映像同期毎に収集蓄積することに
より、映像同期毎に描画を行うCGなどにおけるカメラ
ワーク入力地区性装置として使うことを可能にしたカメ
ラワーク入力装置が記載されている。
【0012】また、静止画像からその静止画像を撮影し
た際のカメラパラメータを推定する方法として、Rod
G.BogartのVIEW CORRELATIO
N法(GRAPHICS GEMS 2,ACADEM
IC PRESS pp181−190)が知られてい
る。このVIEW CORRELATION法は、人間
が画像データ中の特徴点にワールド座標における3次元
座標を対応させ、3次元座標が画像中のどの位置に投影
されるかを5点以上の特徴点について与えることで、カ
メラパラメータを推定するものである。画像データ中の
特徴点としては、図14に示すように、物体の角等の形
状変化点や物体表面上の色が変化する色変化点を用い
る。
た際のカメラパラメータを推定する方法として、Rod
G.BogartのVIEW CORRELATIO
N法(GRAPHICS GEMS 2,ACADEM
IC PRESS pp181−190)が知られてい
る。このVIEW CORRELATION法は、人間
が画像データ中の特徴点にワールド座標における3次元
座標を対応させ、3次元座標が画像中のどの位置に投影
されるかを5点以上の特徴点について与えることで、カ
メラパラメータを推定するものである。画像データ中の
特徴点としては、図14に示すように、物体の角等の形
状変化点や物体表面上の色が変化する色変化点を用い
る。
【0013】このVIEW CORRELATION法
を応用して動画像のカメラパラメータを推定することが
考えられる。動画像データを構成する各フレームの画像
データ一枚一枚に対して、VIEW CORRELAT
ION法を用いてカメラパラメータを推定し、各フレー
ム毎に推定されたカメラパラメータに基づいて各フレー
ムに合成する3次元CG画像を生成すれば、動画像と3
次元CG画像とを違和感を与えることなく合成できる。
しかしながら、多数の画像データからなる動画像データ
に対して特徴点のワールド座標を対応させる作業が極め
て膨大となり、効率の点で問題である。
を応用して動画像のカメラパラメータを推定することが
考えられる。動画像データを構成する各フレームの画像
データ一枚一枚に対して、VIEW CORRELAT
ION法を用いてカメラパラメータを推定し、各フレー
ム毎に推定されたカメラパラメータに基づいて各フレー
ムに合成する3次元CG画像を生成すれば、動画像と3
次元CG画像とを違和感を与えることなく合成できる。
しかしながら、多数の画像データからなる動画像データ
に対して特徴点のワールド座標を対応させる作業が極め
て膨大となり、効率の点で問題である。
【0014】そこで、作業量を減らす方法として、動画
像データの最初のフレームに対して人間が特徴点の画像
データ内での位置とワールド座標との対応付けを行い、
後続のフレームについては自動的にカメラパラメータの
推定させることが考えられる。この方法では、最初のフ
レームにおける特徴点が後続のフレームでどのように移
動するかを追跡する。この追跡処理の結果、すべてのフ
レームで特徴点の位置がわかれば、VIEW CORR
ELATION法を適用して全てのフレームのカメラパ
ラメータを推定することができる。
像データの最初のフレームに対して人間が特徴点の画像
データ内での位置とワールド座標との対応付けを行い、
後続のフレームについては自動的にカメラパラメータの
推定させることが考えられる。この方法では、最初のフ
レームにおける特徴点が後続のフレームでどのように移
動するかを追跡する。この追跡処理の結果、すべてのフ
レームで特徴点の位置がわかれば、VIEW CORR
ELATION法を適用して全てのフレームのカメラパ
ラメータを推定することができる。
【0015】図15は動画像を撮影した際のカメラパラ
メータをVIEW CORRELATION法を応用し
て推定する方法のフローチャートである。ステップS1
では、人間(ユーザ)が動画像データの最初のフレーム
の画像データに対して、特徴点の画像データ中での位置
とワールド座標との対応付けを行う。ステップS2で
は、この対応関係を用いてVIEW CORRELAT
ION法を適用し、最初のフレームの画像データに対す
るカメラパラメータを算出する。
メータをVIEW CORRELATION法を応用し
て推定する方法のフローチャートである。ステップS1
では、人間(ユーザ)が動画像データの最初のフレーム
の画像データに対して、特徴点の画像データ中での位置
とワールド座標との対応付けを行う。ステップS2で
は、この対応関係を用いてVIEW CORRELAT
ION法を適用し、最初のフレームの画像データに対す
るカメラパラメータを算出する。
【0016】ステップS3では、最初のフレームの画像
データから第2フレームの画像データに変わった際に、
特徴点がどこに移動したかを追跡する。この特徴点の追
跡方法には、残差逐次検定法(画像処理ハンドブック,
東京大学出版会,pp708)を用いる。残差逐次検定
法は一般的なパターン照合法であり、現フレームの画像
データにおける特徴点とその隣接ピクセルを参照パター
ンとして、次フレームの画像データ中からこの参照パタ
ーンを探索することにより、特徴点の追跡を行うことが
できる。
データから第2フレームの画像データに変わった際に、
特徴点がどこに移動したかを追跡する。この特徴点の追
跡方法には、残差逐次検定法(画像処理ハンドブック,
東京大学出版会,pp708)を用いる。残差逐次検定
法は一般的なパターン照合法であり、現フレームの画像
データにおける特徴点とその隣接ピクセルを参照パター
ンとして、次フレームの画像データ中からこの参照パタ
ーンを探索することにより、特徴点の追跡を行うことが
できる。
【0017】ステップS4では、ステップS3の特徴点
の追跡により得られた第2フレームでの特徴点の画像内
での位置と、この特徴点に対してステップS1で対応付
けられたワールド座標を用いてVIEW CORREL
ATION法を適用し、第2フレームのカメラパラメー
タを算出する。以降、ステップS3とステップS4とを
繰り返し行い、動画像データの全てのフレームの画像デ
ータに対するカメラパラメータを算出する。
の追跡により得られた第2フレームでの特徴点の画像内
での位置と、この特徴点に対してステップS1で対応付
けられたワールド座標を用いてVIEW CORREL
ATION法を適用し、第2フレームのカメラパラメー
タを算出する。以降、ステップS3とステップS4とを
繰り返し行い、動画像データの全てのフレームの画像デ
ータに対するカメラパラメータを算出する。
【0018】図15に示した方法によって算出したカメ
ラパラメータに基づいて3次元CG画像を生成して、生
成した3次元CG画像と動画像(撮影画像)とを合成す
ることが原理的には可能である。しかしながら、ステッ
プS3で特徴点の追跡を行っても、追跡結果の特徴点の
位置と実際の特徴点の位置とにずれが生じてしまう。こ
のため、ステップS4でのカメラパラメータの算出結果
に誤差が生じ、動画像(撮影画像)に合ったカメラパラ
メータを推定することができない。よって、図15に示
したカメラパラメータの推定方法を用いて、動画像と3
次元CG画像とを合成することは実用上行われていな
い。
ラパラメータに基づいて3次元CG画像を生成して、生
成した3次元CG画像と動画像(撮影画像)とを合成す
ることが原理的には可能である。しかしながら、ステッ
プS3で特徴点の追跡を行っても、追跡結果の特徴点の
位置と実際の特徴点の位置とにずれが生じてしまう。こ
のため、ステップS4でのカメラパラメータの算出結果
に誤差が生じ、動画像(撮影画像)に合ったカメラパラ
メータを推定することができない。よって、図15に示
したカメラパラメータの推定方法を用いて、動画像と3
次元CG画像とを合成することは実用上行われていな
い。
【0019】上述したように、従来の技術では、カメラ
パラメータを測定・記録することのできる特殊な機構を
備えていない一般のカメラで撮影した動画像データに対
して、カメラパラメータの合った3次元CG画像を生成
して合成することはできなかった。
パラメータを測定・記録することのできる特殊な機構を
備えていない一般のカメラで撮影した動画像データに対
して、カメラパラメータの合った3次元CG画像を生成
して合成することはできなかった。
【0020】
【発明が解決しようとする課題】従来、撮影時のカメラ
パラメータ(カメラの位置、向き、焦点距離、アスペク
ト比、カメラの位置から投影スクリーンに垂線を下ろし
た点の投影座標)と3次元CG画像を生成する際のカメ
ラパラメータとを一致させて、動画像(撮影画像)と3
次元CG画像を合成する場合には、動画像データの撮影
時にカメラパラメータを測定・記録し記録されたカメラ
パラメータに基づいて3次元CG画像を生成するか、3
次元CG画像生成時のカメラパラメータを記録し記録し
たカメラパラメータに基づいて動画像の撮影を行うかの
2通りの方法が用いられていた。
パラメータ(カメラの位置、向き、焦点距離、アスペク
ト比、カメラの位置から投影スクリーンに垂線を下ろし
た点の投影座標)と3次元CG画像を生成する際のカメ
ラパラメータとを一致させて、動画像(撮影画像)と3
次元CG画像を合成する場合には、動画像データの撮影
時にカメラパラメータを測定・記録し記録されたカメラ
パラメータに基づいて3次元CG画像を生成するか、3
次元CG画像生成時のカメラパラメータを記録し記録し
たカメラパラメータに基づいて動画像の撮影を行うかの
2通りの方法が用いられていた。
【0021】このため、動画像データを撮影する撮影器
材には、カメラパラメータを測定・記録するための機
構、又は、カメラパラメータに基づいてカメラの動き
(姿勢)を制御する機構が必要であった。カメラパラメ
ータには、焦点距離やアスペクト比、光軸のスクリーン
座標といったカメラ内部のパラメータが含まれるため、
カメラ自体にもカメラパラメータがわかる機構が必要で
ある。
材には、カメラパラメータを測定・記録するための機
構、又は、カメラパラメータに基づいてカメラの動き
(姿勢)を制御する機構が必要であった。カメラパラメ
ータには、焦点距離やアスペクト比、光軸のスクリーン
座標といったカメラ内部のパラメータが含まれるため、
カメラ自体にもカメラパラメータがわかる機構が必要で
ある。
【0022】したがって、上記2通りの方法では、特殊
な撮影器材の設営が必要である。市販されているビデオ
カメラで撮影された動画像データや過去に撮影された動
画像データに、3次元CG画像を合成することは不可能
である。
な撮影器材の設営が必要である。市販されているビデオ
カメラで撮影された動画像データや過去に撮影された動
画像データに、3次元CG画像を合成することは不可能
である。
【0023】一方、上記2通りの方法とは別に、カメラ
パラメータを静止画像データから推定する方法(VIE
W CORRELATION法)を用いて、動画像デー
タの各フレームにおけるカメラパラメータを推定し、推
定したカメラパラメータを用いて3次元CG画像を生成
し合成する方法が考えられる。
パラメータを静止画像データから推定する方法(VIE
W CORRELATION法)を用いて、動画像デー
タの各フレームにおけるカメラパラメータを推定し、推
定したカメラパラメータを用いて3次元CG画像を生成
し合成する方法が考えられる。
【0024】VIEW CORRELATION法で
は、画像データ中の特徴点(物体の角や物体表面上の色
が変化する点)の位置とワールド座標系における3次元
座標の対応付けが必要であるため、動画像データの各フ
レームの画像データ中の特徴点の位置が必要である。こ
の特徴点の位置を決める方法として、全てのフレームに
亘ってユーザが特徴点の位置を各フレーム毎に指定する
方法と、最初のフレームでユーザが特徴点の位置を指定
し、その後のフレームでは特徴点の追跡を自動的に行わ
せる方法が考えられる。
は、画像データ中の特徴点(物体の角や物体表面上の色
が変化する点)の位置とワールド座標系における3次元
座標の対応付けが必要であるため、動画像データの各フ
レームの画像データ中の特徴点の位置が必要である。こ
の特徴点の位置を決める方法として、全てのフレームに
亘ってユーザが特徴点の位置を各フレーム毎に指定する
方法と、最初のフレームでユーザが特徴点の位置を指定
し、その後のフレームでは特徴点の追跡を自動的に行わ
せる方法が考えられる。
【0025】これら2つの方法によれば、原理的には、
市販されているビデオカメラで撮影された動画像データ
に3次元CG画像を合成することが可能である。しか
し、第1の方法は、動画像データの各フレーム毎に人手
が介在するため効率的でない。
市販されているビデオカメラで撮影された動画像データ
に3次元CG画像を合成することが可能である。しか
し、第1の方法は、動画像データの各フレーム毎に人手
が介在するため効率的でない。
【0026】第2の方法では、特徴点の追跡結果のずれ
がカメラパラメータのずれを引き起こし、実用できる精
度のカメラパラメータを推定することができない。
がカメラパラメータのずれを引き起こし、実用できる精
度のカメラパラメータを推定することができない。
【0027】この発明はこのような課題を解決するため
なされたもので、特殊な機構を備えていないカメラで撮
影した動画像データからカメラパラメータを精度良く推
定する技術、並びに、推定したカメラパラメータに基づ
いて3次元CG画像を生成し合成する画像合成技術を提
供することを目的とする。
なされたもので、特殊な機構を備えていないカメラで撮
影した動画像データからカメラパラメータを精度良く推
定する技術、並びに、推定したカメラパラメータに基づ
いて3次元CG画像を生成し合成する画像合成技術を提
供することを目的とする。
【0028】
【課題を解決するための手段】前記課題を解決するため
この発明に係るカメラパラメータ演算装置は、入力され
たカメラパラメータ(暫定カメラパラメータ)を画像デ
ータ内に撮影された既知形状物体の表面色を用いて評価
するカメラパラメータ評価部と、このカメラパラメータ
評価部における評価を改善するために非線形最小自乗法
を用いてカメラパラメータを更新する量を算出するカメ
ラパラメータ更新量算出部と、カメラ更新量算出部で算
出されたカメラパラメータ更新量によりカメラパラメー
タを更新するカメラパラメータ更新部と、カメラパラメ
ータ評価部,カメラパラメータ更新量算出部,カメラパ
ラメータ更新部の3つの処理部による反復処理を終了さ
せるカメラパラメータ補正終了判定部とを有することを
特徴とする。
この発明に係るカメラパラメータ演算装置は、入力され
たカメラパラメータ(暫定カメラパラメータ)を画像デ
ータ内に撮影された既知形状物体の表面色を用いて評価
するカメラパラメータ評価部と、このカメラパラメータ
評価部における評価を改善するために非線形最小自乗法
を用いてカメラパラメータを更新する量を算出するカメ
ラパラメータ更新量算出部と、カメラ更新量算出部で算
出されたカメラパラメータ更新量によりカメラパラメー
タを更新するカメラパラメータ更新部と、カメラパラメ
ータ評価部,カメラパラメータ更新量算出部,カメラパ
ラメータ更新部の3つの処理部による反復処理を終了さ
せるカメラパラメータ補正終了判定部とを有することを
特徴とする。
【0029】この発明に係るカメラパラメータ演算装置
は、入力されたカメラパラメータの初期値と画像データ
を撮影したときのカメラパラメータとの間の誤差をカメ
ラパラメータ補正部における処理により減少させる。
は、入力されたカメラパラメータの初期値と画像データ
を撮影したときのカメラパラメータとの間の誤差をカメ
ラパラメータ補正部における処理により減少させる。
【0030】カメラパラメータ補正部に入力されたカメ
ラパラメータは、カメラパラメータ評価部において、既
知形状をもつ物体上の色と現フレームに写されたときの
色の差から評価値を算出する。
ラパラメータは、カメラパラメータ評価部において、既
知形状をもつ物体上の色と現フレームに写されたときの
色の差から評価値を算出する。
【0031】次にこの評価値を改善するようにカメラパ
ラメータを更新する量をカメラパラメータ更新量算出部
において算出する。
ラメータを更新する量をカメラパラメータ更新量算出部
において算出する。
【0032】カメラパラメータ補正終了判定部は、評価
値と更新量並びにカメラパラメータ補正のためにカメラ
パラメータ補正部内で反復処理を行った回数を用いてカ
メラパラメータの補正を終了するかを判定する。終了し
ない場合には、カメラパラメータ更新部で先に得られた
カメラパラメータ更新量を用いてカメラパラメータを更
新し、再度カメラパラメータ評価部へカメラパラメータ
を入力する。
値と更新量並びにカメラパラメータ補正のためにカメラ
パラメータ補正部内で反復処理を行った回数を用いてカ
メラパラメータの補正を終了するかを判定する。終了し
ない場合には、カメラパラメータ更新部で先に得られた
カメラパラメータ更新量を用いてカメラパラメータを更
新し、再度カメラパラメータ評価部へカメラパラメータ
を入力する。
【0033】一方、終了する場合には、最終的に得られ
ているカメラパラメータの評価値とユーザが予め設定し
たしきい値とを用いて、カメラパラメータの補正が成功
したか失敗したかを判定する。
ているカメラパラメータの評価値とユーザが予め設定し
たしきい値とを用いて、カメラパラメータの補正が成功
したか失敗したかを判定する。
【0034】
【発明の実施の形態】以下、この発明の実施の形態を添
付図面に基づいて説明する。図1はこの発明に係る画像
合成装置の全体構成図である。画像合成装置1は、再生
装置2と、記録装置3と、描画・合成装置4と、キーボ
ード5と、ポインティングデバイス6と、画像表示装置
7とからなる。
付図面に基づいて説明する。図1はこの発明に係る画像
合成装置の全体構成図である。画像合成装置1は、再生
装置2と、記録装置3と、描画・合成装置4と、キーボ
ード5と、ポインティングデバイス6と、画像表示装置
7とからなる。
【0035】再生装置2は、ビデオカメラ等で事前に撮
影された動画像データを描画・合成装置4へ供給すると
共に、CG画像を生成するためのCG画像データを描画
・合成装置4へ供給するためのものであり、VTR装
置,メモリ装置,ハードディスク装置,CD−ROM再
生装置等を用いて構成される。動画像データは、離散時
間でサンプリングされた連続画像データである。連続画
像データの一枚一枚をフレームと呼ぶ。再生装置2は、
1フレームずつ再生できる構成としている。
影された動画像データを描画・合成装置4へ供給すると
共に、CG画像を生成するためのCG画像データを描画
・合成装置4へ供給するためのものであり、VTR装
置,メモリ装置,ハードディスク装置,CD−ROM再
生装置等を用いて構成される。動画像データは、離散時
間でサンプリングされた連続画像データである。連続画
像データの一枚一枚をフレームと呼ぶ。再生装置2は、
1フレームずつ再生できる構成としている。
【0036】記録装置3は、描画・合成装置4から出力
される合成画像(動画像とCG画像との合成画像)を記
録するためのものであり、VTR装置,メモリ装置,ハ
ードディスク装置等を用いて構成される。
される合成画像(動画像とCG画像との合成画像)を記
録するためのものであり、VTR装置,メモリ装置,ハ
ードディスク装置等を用いて構成される。
【0037】キーボード5は、暫定カメラパラメータ入
力部並びにカメラパラメータ設定部を構成するものであ
る。このキーボード5は、静止画像からその静止画像が
撮影された際のカメラパラメータを求める際に暫定カメ
ラパラメータを入力するため、並びに、動画像からその
動画像が撮影された際のカメラパラメータを求める際の
特定のフレームの画像が撮影されたときのカメラパラメ
ータを入力するためのものである。ポインティングデバ
イス6は、画像表示装置7の画面上に表示された撮影画
像に対してその撮影画像の特徴点を指定するためにもの
である。
力部並びにカメラパラメータ設定部を構成するものであ
る。このキーボード5は、静止画像からその静止画像が
撮影された際のカメラパラメータを求める際に暫定カメ
ラパラメータを入力するため、並びに、動画像からその
動画像が撮影された際のカメラパラメータを求める際の
特定のフレームの画像が撮影されたときのカメラパラメ
ータを入力するためのものである。ポインティングデバ
イス6は、画像表示装置7の画面上に表示された撮影画
像に対してその撮影画像の特徴点を指定するためにもの
である。
【0038】図2は描画・合成装置のブロック構成図で
ある。描画・合成装置4は、カメラパラメータ演算装置
10と、3次元CG生成部20と、画像合成部30とを
備える。カメラパラメータ演算装置10は、動画像の各
フレームに対してそのフレームの画像が撮影されたとき
のカメラパラメータを求める。求めたカメラパラメータ
は、3次元CG生成部20へ供給される。3次元CG生
成部20は、各フレーム毎に求められたカメラパラメー
タに基づいて3次元CG画像を生成する。生成された3
次元CG画像は、画像合成部30へ供給される。画像合
成部30は、動画像と3次元CG画像とを合成して合成
画像を出力する。
ある。描画・合成装置4は、カメラパラメータ演算装置
10と、3次元CG生成部20と、画像合成部30とを
備える。カメラパラメータ演算装置10は、動画像の各
フレームに対してそのフレームの画像が撮影されたとき
のカメラパラメータを求める。求めたカメラパラメータ
は、3次元CG生成部20へ供給される。3次元CG生
成部20は、各フレーム毎に求められたカメラパラメー
タに基づいて3次元CG画像を生成する。生成された3
次元CG画像は、画像合成部30へ供給される。画像合
成部30は、動画像と3次元CG画像とを合成して合成
画像を出力する。
【0039】図3は描画・合成装置の動作を示すフロー
チャートである。ステップS11でカメラパラメータ演
算装置10は、ビデオカメラ等で撮影された動画像の画
像データを1フレームずつ読み込むと、ステップS12
でそのフレームが撮影されたときのカメラパラメータを
求める。ステップS13で、3次元CG生成部20は求
めたカメラパラメータに基づいてそのフレームに合成す
る3次元CG画像を生成する。ステップS14で、画像
合成部30は動画像と3次元CG画像とを合成する。描
画・合成装置4は、動画像の各フレーム毎にカメラパラ
メータと求め、求めたパラメータに基づいて3次元CG
画像を生成して、動画像と3次元CG画像とを合成する
ので、合成された位置や遠近感に違和感のない合成画像
を得ることができる。
チャートである。ステップS11でカメラパラメータ演
算装置10は、ビデオカメラ等で撮影された動画像の画
像データを1フレームずつ読み込むと、ステップS12
でそのフレームが撮影されたときのカメラパラメータを
求める。ステップS13で、3次元CG生成部20は求
めたカメラパラメータに基づいてそのフレームに合成す
る3次元CG画像を生成する。ステップS14で、画像
合成部30は動画像と3次元CG画像とを合成する。描
画・合成装置4は、動画像の各フレーム毎にカメラパラ
メータと求め、求めたパラメータに基づいて3次元CG
画像を生成して、動画像と3次元CG画像とを合成する
ので、合成された位置や遠近感に違和感のない合成画像
を得ることができる。
【0040】図4はカメラパラメータ演算装置のブロッ
ク構成図である。カメラパラメータ演算装置10は、カ
メラパラメータ設定部11と、カメラパラメータ予測部
12と、カメラパラメータ補正部13とからなる。カメ
ラパラメータ補正部13は、カメラパラメータ評価部1
4と、カメラパラメータ更新量算出部15と、カメラパ
ラメータ更新部16と、カメラパラメータ補正終了判定
部17とを備える。
ク構成図である。カメラパラメータ演算装置10は、カ
メラパラメータ設定部11と、カメラパラメータ予測部
12と、カメラパラメータ補正部13とからなる。カメ
ラパラメータ補正部13は、カメラパラメータ評価部1
4と、カメラパラメータ更新量算出部15と、カメラパ
ラメータ更新部16と、カメラパラメータ補正終了判定
部17とを備える。
【0041】カメラパラメータ設定部11は、動画像の
フレームデータを図示しない画像表示制御装置へ供給し
て、評価対象となるフレームの画像を図1に示した画像
表示装置の画面上に表示させる機能を備えている。
フレームデータを図示しない画像表示制御装置へ供給し
て、評価対象となるフレームの画像を図1に示した画像
表示装置の画面上に表示させる機能を備えている。
【0042】カメラパラメータ設定部11には、ユーザ
が特徴点のワールド座標を設定するとともに特定フレー
ムの画像内の特徴点の位置又は特定フレームに対するカ
メラパラメータを設定する。なお、特徴点の位置が指定
された場合には、そのフレームのカメラパラメータを特
徴点のワールド座標と画像内での位置から推定する。そ
して、カメラパラメータ設定部11は、特徴点のワール
ド座標と特定フレームのかメラパラメータを出力する。
が特徴点のワールド座標を設定するとともに特定フレー
ムの画像内の特徴点の位置又は特定フレームに対するカ
メラパラメータを設定する。なお、特徴点の位置が指定
された場合には、そのフレームのカメラパラメータを特
徴点のワールド座標と画像内での位置から推定する。そ
して、カメラパラメータ設定部11は、特徴点のワール
ド座標と特定フレームのかメラパラメータを出力する。
【0043】なお、特徴点のワールド座標とカメラパラ
メータは、図1に示したキーボード5を操作することに
より入力される。また、特定フレームの画像内の特徴点
の位置は、図1に示したポインティングデバイス6によ
って入力される。
メータは、図1に示したキーボード5を操作することに
より入力される。また、特定フレームの画像内の特徴点
の位置は、図1に示したポインティングデバイス6によ
って入力される。
【0044】このカメラパラメータ演算装置10は、複
数のフレームからなる動画像の中で特定のフレームに対
してカメラパラメータを設定すると、他のフレームのカ
メラパラメータを求めることができる。
数のフレームからなる動画像の中で特定のフレームに対
してカメラパラメータを設定すると、他のフレームのカ
メラパラメータを求めることができる。
【0045】そして、 カメラパラメータ予測部12
は、動画像データ、特徴点のワールド座標及び隣接フレ
ームのカメラパラメータを入力として、カメラパラメー
タと特徴点のワールド座標から特徴点の画像内での位置
を算出し、隣接フレームから現フレームへの特徴点位置
の追跡を残差逐次検定法などで行い、現フレームの特徴
点のワールド座標と特徴点位置からカメラパラメータを
View Corelation法などにより予測し、予測したカメラ
パラメータをカメラパラメータ補正部13へ供給する。
は、動画像データ、特徴点のワールド座標及び隣接フレ
ームのカメラパラメータを入力として、カメラパラメー
タと特徴点のワールド座標から特徴点の画像内での位置
を算出し、隣接フレームから現フレームへの特徴点位置
の追跡を残差逐次検定法などで行い、現フレームの特徴
点のワールド座標と特徴点位置からカメラパラメータを
View Corelation法などにより予測し、予測したカメラ
パラメータをカメラパラメータ補正部13へ供給する。
【0046】カメラパラメータ補正部13は、予測され
たカメラパラメータを画像データ内の写し込まれた既知
形状物体の表面色を用いて補正する。カメラパラメータ
補正部13で補正されたカメラパラメータはカメラパラ
メータ設定部11へ供給される。カメラパラメータ設定
部11は、補正されたカメラパラメータをフレームを一
時記憶すると共に、さらに次なるフレームのカメラパラ
メータを予測する際のカメラパラメータの初期値として
カメラパラメータ予測部12へ供給する。このようにし
て、次なるフレームのカメラパラメータを順次求める。
たカメラパラメータを画像データ内の写し込まれた既知
形状物体の表面色を用いて補正する。カメラパラメータ
補正部13で補正されたカメラパラメータはカメラパラ
メータ設定部11へ供給される。カメラパラメータ設定
部11は、補正されたカメラパラメータをフレームを一
時記憶すると共に、さらに次なるフレームのカメラパラ
メータを予測する際のカメラパラメータの初期値として
カメラパラメータ予測部12へ供給する。このようにし
て、次なるフレームのカメラパラメータを順次求める。
【0047】カメラパラメータ評価部14は、画像デー
タ内に撮影された既知形状物体の色を用いてカメラパラ
メータを評価する。このカメラパラメータ評価部14
は、画像データ内の写っている既知形状をもつ物体の表
面のワールド座標とカメラパラメータから、画像データ
内での既知形状をもつ物体の位置を算出し、画像データ
内の算出された位置の色を既知形状物体の色として判断
する既知形状物体色決定部18を備える。カメラパラメ
ータ評価部14は、画像データ内の写っている既知形状
をもつ物体の色が既知の場合に、評価対象のカメラパラ
メータと画像を撮影したときのカメラパラメータとのず
れを表す量として、既知である色と既知形状物体決定部
18によって判断した色との差の自乗和又は自乗和の平
均を用いる。
タ内に撮影された既知形状物体の色を用いてカメラパラ
メータを評価する。このカメラパラメータ評価部14
は、画像データ内の写っている既知形状をもつ物体の表
面のワールド座標とカメラパラメータから、画像データ
内での既知形状をもつ物体の位置を算出し、画像データ
内の算出された位置の色を既知形状物体の色として判断
する既知形状物体色決定部18を備える。カメラパラメ
ータ評価部14は、画像データ内の写っている既知形状
をもつ物体の色が既知の場合に、評価対象のカメラパラ
メータと画像を撮影したときのカメラパラメータとのず
れを表す量として、既知である色と既知形状物体決定部
18によって判断した色との差の自乗和又は自乗和の平
均を用いる。
【0048】カメラパラメータ更新量算出部15は、カ
メラパラメータ評価部14における評価を改善するため
に非線形自乗法を用いてカメラパラメータを更新する量
を算出する。
メラパラメータ評価部14における評価を改善するため
に非線形自乗法を用いてカメラパラメータを更新する量
を算出する。
【0049】カメラパラメータ更新部16は、カメラパ
ラメータ更新量算出部15で算出されたカメラパラメー
タ更新量によりカメラパラメータを更新する。
ラメータ更新量算出部15で算出されたカメラパラメー
タ更新量によりカメラパラメータを更新する。
【0050】カメラパラメータ補正終了判定部17は、
カメラパラメータ評価部14で算出したカメラパラメー
タの評価値とユーザが設定した第1の許容誤差とを比較
し、評価値が第1の許容誤差よりも小さい場合にカメラ
パラメータの補正を終了する。また、カメラパラメータ
補正終了判定部17は、カメラパラメータ更新量算出部
15で算出したカメラパラメータの更新量とユーザが設
定した最小更新量とを比較し、更新量が最新更新量より
も小さい場合にカメラパラメータの補正を終了すると判
断する。
カメラパラメータ評価部14で算出したカメラパラメー
タの評価値とユーザが設定した第1の許容誤差とを比較
し、評価値が第1の許容誤差よりも小さい場合にカメラ
パラメータの補正を終了する。また、カメラパラメータ
補正終了判定部17は、カメラパラメータ更新量算出部
15で算出したカメラパラメータの更新量とユーザが設
定した最小更新量とを比較し、更新量が最新更新量より
も小さい場合にカメラパラメータの補正を終了すると判
断する。
【0051】さらに、このカメラパラメータ補正終了判
定部17は、カメラパラメータの補正を終了すると判定
した際に、カメラパラメータ評価部14で算出したカメ
ラパラメータの評価値がユーザが設定した第2の許容誤
差を越えている場合は、カメラパラメータの補正に失敗
したと判定するカメラパラメータ補正失敗判定部19を
備えている。そして、このカメラパラメータ補正終了判
定部17は、カメラパラメータの補正が失敗したと判定
された場合には、補正が失敗したカメラパラメータの修
正をユーザへ要求するためのパラメータ修正要求を発生
するよう構成している。
定部17は、カメラパラメータの補正を終了すると判定
した際に、カメラパラメータ評価部14で算出したカメ
ラパラメータの評価値がユーザが設定した第2の許容誤
差を越えている場合は、カメラパラメータの補正に失敗
したと判定するカメラパラメータ補正失敗判定部19を
備えている。そして、このカメラパラメータ補正終了判
定部17は、カメラパラメータの補正が失敗したと判定
された場合には、補正が失敗したカメラパラメータの修
正をユーザへ要求するためのパラメータ修正要求を発生
するよう構成している。
【0052】図5はカメラパラメータ演算装置の全体動
作を示すフローチャートである。ステップS21では、
カメラパラメータ補正部13でカメラパラメータの補正
終了を判断する際の用いる第1の許容誤差、最小更新
量、第2の許容誤差、並びに、最大反復回数の入力がユ
ーザによってなされる。
作を示すフローチャートである。ステップS21では、
カメラパラメータ補正部13でカメラパラメータの補正
終了を判断する際の用いる第1の許容誤差、最小更新
量、第2の許容誤差、並びに、最大反復回数の入力がユ
ーザによってなされる。
【0053】ステップS22では、ユーザが動画像デー
タの最初の画像データにおいて、既知形状物体上の特徴
点(図14に示す物体の角などの形状変化による特徴点
や物体表面上の色が変化する点)について、画像データ
中での位置とワールド座標系における3次元座標との対
応付けを行う。ステップS23では、VIEW COR
RELATION法を用いて、特徴点の位置とそのワー
ルド座標からカメラパラメータを算出する。ステップS
24では、特徴点のワールド座標を前フレームのカメラ
パラメータで変換し、前フレームの画像内の特徴点の位
置を修正する。ステップS25では、修正された前フレ
ームの画像内の特徴点に対応する現フレームの画像内の
特徴点の位置を求める。ステップS26では、ステップ
S25の処理の結果得られた現フレームの画像における
特徴点の位置とその特徴点にステップS22で対応付け
られたワールド座標からカメラパラメータを算出する。
タの最初の画像データにおいて、既知形状物体上の特徴
点(図14に示す物体の角などの形状変化による特徴点
や物体表面上の色が変化する点)について、画像データ
中での位置とワールド座標系における3次元座標との対
応付けを行う。ステップS23では、VIEW COR
RELATION法を用いて、特徴点の位置とそのワー
ルド座標からカメラパラメータを算出する。ステップS
24では、特徴点のワールド座標を前フレームのカメラ
パラメータで変換し、前フレームの画像内の特徴点の位
置を修正する。ステップS25では、修正された前フレ
ームの画像内の特徴点に対応する現フレームの画像内の
特徴点の位置を求める。ステップS26では、ステップ
S25の処理の結果得られた現フレームの画像における
特徴点の位置とその特徴点にステップS22で対応付け
られたワールド座標からカメラパラメータを算出する。
【0054】ステップS27では、ステップS26で算
出されたカメラパラメータの補正を行う。ステップS2
4〜ステップS27の各処理は、動画像データの各フレ
ームに対して実行される。
出されたカメラパラメータの補正を行う。ステップS2
4〜ステップS27の各処理は、動画像データの各フレ
ームに対して実行される。
【0055】図5に示したこの発明に係るカメラパラメ
ータ演算装置の処理と図15に示した従来技術の組合せ
によるカメラパラメータの推定方法との違いは、ステッ
プS21とステップS26の有無である。特に、本発明
ではステップS26に示したカメラパラメータ補正部に
よる処理によって、カメラパラメータ推定の精度を向上
させることができる。
ータ演算装置の処理と図15に示した従来技術の組合せ
によるカメラパラメータの推定方法との違いは、ステッ
プS21とステップS26の有無である。特に、本発明
ではステップS26に示したカメラパラメータ補正部に
よる処理によって、カメラパラメータ推定の精度を向上
させることができる。
【0056】図6はカメラパラメータ補正部の動作を示
すフローチャートである。カメラパラメータ補正部13
は、ステップS31〜ステップS34の処理を反復する
ことで、カメラパラメータの補正を行う。まず、ステッ
プS31では、カメラパラメータの評価値を算出する。
ステップS32では、ステップS31で求めたカメラパ
ラメータの評価値が最小になるようにカメラパラメータ
を更新する量を算出する。ステップS33では、図5の
ステップS21で既に設定済みの第1の許容誤差、最小
更新量、第2の許容誤差、並びに、最大反復回数を用い
て、カメラパラメータの補正が終了したかどうかを判定
する。
すフローチャートである。カメラパラメータ補正部13
は、ステップS31〜ステップS34の処理を反復する
ことで、カメラパラメータの補正を行う。まず、ステッ
プS31では、カメラパラメータの評価値を算出する。
ステップS32では、ステップS31で求めたカメラパ
ラメータの評価値が最小になるようにカメラパラメータ
を更新する量を算出する。ステップS33では、図5の
ステップS21で既に設定済みの第1の許容誤差、最小
更新量、第2の許容誤差、並びに、最大反復回数を用い
て、カメラパラメータの補正が終了したかどうかを判定
する。
【0057】第1の許容誤差及び最小更新量は、カメラ
パラメータの補正が十分に行われたかを判定するために
用いられる。最大反復回数は、カメラパラメータ補正部
13におけるステップS31〜ステップS34の反復処
理回数の最大値であり、これ以上の反復は行わない。第
2の許容誤差は、カメラパラメータの補正が終了した際
にカメラパラメータ補正が正しく行われたかを判定する
ために用いられる。
パラメータの補正が十分に行われたかを判定するために
用いられる。最大反復回数は、カメラパラメータ補正部
13におけるステップS31〜ステップS34の反復処
理回数の最大値であり、これ以上の反復は行わない。第
2の許容誤差は、カメラパラメータの補正が終了した際
にカメラパラメータ補正が正しく行われたかを判定する
ために用いられる。
【0058】ステップS33では、以上の4つの値(第
1の許容誤差、最小更新量、第2の許容誤差、並びに、
最大反復回数)を用いて、カメラパラメータの終了判定
を行う。カメラパラメータの補正が終了したと判定する
のは、 (1)カメラパラメータの評価値が第1の許容誤差より
も小さい場合 (2)カメラパラメータの更新量が最小更新量よりも小
さい場合 (3)カメラパラメータ補正部13において、ステップ
S31〜ステップS34の反復処理回数が最大反復回数
を越えた場合 の3通りである。
1の許容誤差、最小更新量、第2の許容誤差、並びに、
最大反復回数)を用いて、カメラパラメータの終了判定
を行う。カメラパラメータの補正が終了したと判定する
のは、 (1)カメラパラメータの評価値が第1の許容誤差より
も小さい場合 (2)カメラパラメータの更新量が最小更新量よりも小
さい場合 (3)カメラパラメータ補正部13において、ステップ
S31〜ステップS34の反復処理回数が最大反復回数
を越えた場合 の3通りである。
【0059】ただし、(1)の終了条件以外でカメラパ
ラメータの補正を終了する場合には、カメラパラメータ
の補正が失敗していることがある。この理由については
後述するが、ステップS33では第2の許容誤差を用い
て補正が失敗したことを検知する。カメラパラメータの
評価値が第2の許容誤差よりも大きい場合には、カメラ
パラメータの補正が失敗したと判定し、図5のステップ
S22及びステップS23の処理を通して、補正に失敗
したカメラパラメータの修正をユーザに要求する。
ラメータの補正を終了する場合には、カメラパラメータ
の補正が失敗していることがある。この理由については
後述するが、ステップS33では第2の許容誤差を用い
て補正が失敗したことを検知する。カメラパラメータの
評価値が第2の許容誤差よりも大きい場合には、カメラ
パラメータの補正が失敗したと判定し、図5のステップ
S22及びステップS23の処理を通して、補正に失敗
したカメラパラメータの修正をユーザに要求する。
【0060】一方、前記3通りの終了条件のうち、どの
条件も満たさない場合には、カメラパラメータの補正は
終了しない。この場合にはステップS34で、ステップ
S32で算出したカメラパラメータの更新量によるカメ
ラパラメータの更新を行い、ステップS31へ戻ってカ
メラパラメータの補正を続行する。
条件も満たさない場合には、カメラパラメータの補正は
終了しない。この場合にはステップS34で、ステップ
S32で算出したカメラパラメータの更新量によるカメ
ラパラメータの更新を行い、ステップS31へ戻ってカ
メラパラメータの補正を続行する。
【0061】次に、カメラパラメータの評価について説
明する。この発明におけるカメラパラメータの評価方法
は、動画像データに撮影された物体の色が撮影中に急激
に変化しないと仮定している。この仮定から物体の表面
上で対応する点、つまり、ワールド座標の同じ点の色
は、動画像データ中の隣接するフレームにおいてほぼ一
致することになる。ネオンなど発光体が明滅する場合や
鏡など特殊な物体を除けば、この仮定はほぼ成立する。
明する。この発明におけるカメラパラメータの評価方法
は、動画像データに撮影された物体の色が撮影中に急激
に変化しないと仮定している。この仮定から物体の表面
上で対応する点、つまり、ワールド座標の同じ点の色
は、動画像データ中の隣接するフレームにおいてほぼ一
致することになる。ネオンなど発光体が明滅する場合や
鏡など特殊な物体を除けば、この仮定はほぼ成立する。
【0062】図7は中心投影による座標変換の変換式を
示す説明図、図8はカメラモデルを示す説明図である。
既知形状物体の表面上の点は、そのワールド空間におけ
る3次元座標とカメラパラメータとから画像データ上の
どの位置に投影されるかが算出できる。この算出式は、
図7に示す式1である。式1は、図8に示すカメラモデ
ルから導かれる。
示す説明図、図8はカメラモデルを示す説明図である。
既知形状物体の表面上の点は、そのワールド空間におけ
る3次元座標とカメラパラメータとから画像データ上の
どの位置に投影されるかが算出できる。この算出式は、
図7に示す式1である。式1は、図8に示すカメラモデ
ルから導かれる。
【0063】カメラモデルはカメラの中心とスクリーン
とからなり、物体上の点P=(x,y,z)は、点Pと
カメラの中心とを結んだ直線とスクリーンの交点に投影
される。カメラパラメータは、カメラの中心の位置P
c、物体の3次元座標を与える座標系のx,y平面をス
クリーンと平行に回転する回転行列R、カメラの中心か
らスクリーンに垂線を下ろした点の投影座標(Xc,Y
c)、及び、スクリーンにおける投影座標の座標軸方向
での拡大率Xz,Yzからなる。このカメラモデルによ
り、物体上の点P=(x,y,z)は、投影座標(X,
Y)に投影される。この(X,Y)が画像データにおけ
る位置である。
とからなり、物体上の点P=(x,y,z)は、点Pと
カメラの中心とを結んだ直線とスクリーンの交点に投影
される。カメラパラメータは、カメラの中心の位置P
c、物体の3次元座標を与える座標系のx,y平面をス
クリーンと平行に回転する回転行列R、カメラの中心か
らスクリーンに垂線を下ろした点の投影座標(Xc,Y
c)、及び、スクリーンにおける投影座標の座標軸方向
での拡大率Xz,Yzからなる。このカメラモデルによ
り、物体上の点P=(x,y,z)は、投影座標(X,
Y)に投影される。この(X,Y)が画像データにおけ
る位置である。
【0064】図9は既知形状物体表面色決定部の動作を
示す説明図である。図9に示すように、既知形状物体の
モデルをワールド座標上に作成し、式1を用いれば、物
体表面上の点Pのワールド座標とカメラパラメータとか
ら画像データ内での位置P’を計算できる。式1に用い
たカメラパラメータが画像データを撮影したときのカメ
ラパラメータと一致していれば、画像データ内での点
P’の色は、既知形状物体の表面色となる。
示す説明図である。図9に示すように、既知形状物体の
モデルをワールド座標上に作成し、式1を用いれば、物
体表面上の点Pのワールド座標とカメラパラメータとか
ら画像データ内での位置P’を計算できる。式1に用い
たカメラパラメータが画像データを撮影したときのカメ
ラパラメータと一致していれば、画像データ内での点
P’の色は、既知形状物体の表面色となる。
【0065】カメラパラメータの補正を行う際には、必
ず隣接するフレームのうちどちらか一方のカメラパラメ
ータが既知なので、式1を用いて得られる既知形状物体
の表面色を求めることができる。もう一方のフレームに
おいても、仮のカメラパラメータを用いて既知形状物体
の表面色を求め、得られた2つの表面色の間に大きな差
があれば、仮のカメラパラメータは画像データに合って
いないことがわかる。
ず隣接するフレームのうちどちらか一方のカメラパラメ
ータが既知なので、式1を用いて得られる既知形状物体
の表面色を求めることができる。もう一方のフレームに
おいても、仮のカメラパラメータを用いて既知形状物体
の表面色を求め、得られた2つの表面色の間に大きな差
があれば、仮のカメラパラメータは画像データに合って
いないことがわかる。
【0066】本発明では、既知形状物体の表面上の多数
の点について、隣接フレームから得た表面色の差の自乗
平均(又は自乗和)をカメラパラメータの評価値として
求め、この評価値がどのくらい小さいかによってカメラ
パラメータの評価を行う。
の点について、隣接フレームから得た表面色の差の自乗
平均(又は自乗和)をカメラパラメータの評価値として
求め、この評価値がどのくらい小さいかによってカメラ
パラメータの評価を行う。
【0067】図10はカメラパラメータ評価部の動作を
示す説明図である。カメラパラメータ評価部14は、既
知形状物体の3次元モデルとカメラパラメータ予測部1
2から供給されるカメラパラメータとに基づいて既知形
状物体の投影画像を生成し、生成した既知形状物体の投
影画像の各画素の投影座標点(Xi,Yi)の色データ
(Ri,Gi,Bi)と、実際のビデオカメラ等を用い
て撮影されたフレーム画像における同じ座標点の画素の
色データR((Xi,Yi),G(Xi,Yi),B
(Xi,Yi))との差を求め、各画素毎に差の自乗値
を演算すると共に、各画素の差の自乗平均(又は自乗
和)を演算する。
示す説明図である。カメラパラメータ評価部14は、既
知形状物体の3次元モデルとカメラパラメータ予測部1
2から供給されるカメラパラメータとに基づいて既知形
状物体の投影画像を生成し、生成した既知形状物体の投
影画像の各画素の投影座標点(Xi,Yi)の色データ
(Ri,Gi,Bi)と、実際のビデオカメラ等を用い
て撮影されたフレーム画像における同じ座標点の画素の
色データR((Xi,Yi),G(Xi,Yi),B
(Xi,Yi))との差を求め、各画素毎に差の自乗値
を演算すると共に、各画素の差の自乗平均(又は自乗
和)を演算する。
【0068】なお、既知形状物体は、予めその3次元形
状モデルとワールド座標系での存在位置が定義されてい
る。
状モデルとワールド座標系での存在位置が定義されてい
る。
【0069】また、図10では色をRGB空間のデータ
として表現したが、CMY空間、HSL空間、HSV空
間、XYZ空間、Luv空間、YUV空間、YIQ空
間、YCbCr空間における色としてもよい。
として表現したが、CMY空間、HSL空間、HSV空
間、XYZ空間、Luv空間、YUV空間、YIQ空
間、YCbCr空間における色としてもよい。
【0070】カメラパラメータの評価値は、カメラパラ
メータに対して非線形な値であり、評価値が既知形状物
体上の各点における色の差の自乗平均(又は自乗和)で
あるので、非線形最小自乗法によってカメラパラメータ
の評価値を極小とするカメラパラメータを求める。
メータに対して非線形な値であり、評価値が既知形状物
体上の各点における色の差の自乗平均(又は自乗和)で
あるので、非線形最小自乗法によってカメラパラメータ
の評価値を極小とするカメラパラメータを求める。
【0071】本実施例では、非線形最小自乗法問題を解
く方法として、Levenberg−Marquard
t法(W.H.Press et al.Numeri
cal Recipes in C:The Art
of ScientificComputing,2n
d edition,Cambridge Univ.
Press)を用いている。もちろん、非線形最小自乗
法の解法はこの方法に限定されるものではない。非線形
最小自乗法をパラメータの更新と評価値の算出を交互に
行い、パラメータの更新量が小さくなるか、評価値が0
に十分近づいた場合に終了する。カメラパラメータの更
新量は、非線形最小自乗法に基づいて算出される。
く方法として、Levenberg−Marquard
t法(W.H.Press et al.Numeri
cal Recipes in C:The Art
of ScientificComputing,2n
d edition,Cambridge Univ.
Press)を用いている。もちろん、非線形最小自乗
法の解法はこの方法に限定されるものではない。非線形
最小自乗法をパラメータの更新と評価値の算出を交互に
行い、パラメータの更新量が小さくなるか、評価値が0
に十分近づいた場合に終了する。カメラパラメータの更
新量は、非線形最小自乗法に基づいて算出される。
【0072】図11は非線形最小自乗法を用いてカメラ
パラメータを更新する処理を示す説明図である。カメラ
パラメータの評価値を隣接フレームから得た表面色の差
の自乗和とすると、評価値Eは図11中の式2で示され
る。(自乗平均の場合には物体表面でサンプルした点数
Nで、式2に示した評価値Eを除算すれば良い。)ただ
し、Nは物体表面でサンプルされた点数であり、(Rp
i,Gpi,Bpi)はカメラパラメータを推定する画
像において仮のカメラパラメータを用いて得られて既知
形状物体のモデル上の点Piの色である。また、(R
i,Gi,Bi)は、既にカメラパラメータがわかって
いる画像において、既知のカメラパラメータを用いて得
られた既知形状物体のモデル上の点Piの色である。ま
た、akはk番目のカメラパラメータである。akにお
けるカメラパラメータの順番は計算の都合上定めるもの
で、順位による推定結果への影響はない。
パラメータを更新する処理を示す説明図である。カメラ
パラメータの評価値を隣接フレームから得た表面色の差
の自乗和とすると、評価値Eは図11中の式2で示され
る。(自乗平均の場合には物体表面でサンプルした点数
Nで、式2に示した評価値Eを除算すれば良い。)ただ
し、Nは物体表面でサンプルされた点数であり、(Rp
i,Gpi,Bpi)はカメラパラメータを推定する画
像において仮のカメラパラメータを用いて得られて既知
形状物体のモデル上の点Piの色である。また、(R
i,Gi,Bi)は、既にカメラパラメータがわかって
いる画像において、既知のカメラパラメータを用いて得
られた既知形状物体のモデル上の点Piの色である。ま
た、akはk番目のカメラパラメータである。akにお
けるカメラパラメータの順番は計算の都合上定めるもの
で、順位による推定結果への影響はない。
【0073】Levenberg−Marquardt
法の処理によって算出されるカメラパラメータの更新量
Δaは図11中の式3で示される。式3で用いる偏微分
値は式4に示すように画像の濃度勾配とカメラパラメー
タによる投影座標の偏微分値との積として求める。画像
の濃度勾配は画像データから得られる。カメラパラメー
タによる投影座標の偏微分値は式1をカメラパラメータ
で微分することで得ることができる。λは収束度合に応
じて変化する安定化パラメータであり、評価値Eが前回
の評価に比べ小さくなった場合にはλを小さくし、カメ
ラパラメータを更新する。評価値が前回の評価値よりも
大きくなった場合にはλを大きくし、カメラパラメータ
は前回のカメラパラメータのままとする。本実施例で
は、λの初期値を100.0とし、評価値が前回よりも
小さくなった場合にはλを1/3倍し、大きくなった場
合には3倍にしている。
法の処理によって算出されるカメラパラメータの更新量
Δaは図11中の式3で示される。式3で用いる偏微分
値は式4に示すように画像の濃度勾配とカメラパラメー
タによる投影座標の偏微分値との積として求める。画像
の濃度勾配は画像データから得られる。カメラパラメー
タによる投影座標の偏微分値は式1をカメラパラメータ
で微分することで得ることができる。λは収束度合に応
じて変化する安定化パラメータであり、評価値Eが前回
の評価に比べ小さくなった場合にはλを小さくし、カメ
ラパラメータを更新する。評価値が前回の評価値よりも
大きくなった場合にはλを大きくし、カメラパラメータ
は前回のカメラパラメータのままとする。本実施例で
は、λの初期値を100.0とし、評価値が前回よりも
小さくなった場合にはλを1/3倍し、大きくなった場
合には3倍にしている。
【0074】非線形自乗法は評価値を極小にするパラメ
ータの算出を行う。したがって、カメラパラメータ補正
部13において補正されたカメラパラメータは極小値で
あっても最小値ではない可能性がある。また、入力され
る画像データによって非線形最小自乗法が収束しない場
合もある。これらの2つの場合には、カメラパラメータ
の補正が正しく行われない。
ータの算出を行う。したがって、カメラパラメータ補正
部13において補正されたカメラパラメータは極小値で
あっても最小値ではない可能性がある。また、入力され
る画像データによって非線形最小自乗法が収束しない場
合もある。これらの2つの場合には、カメラパラメータ
の補正が正しく行われない。
【0075】そこで、本発明に係るカメラパラメータ演
算装置では、図5のステップS21で設定した第2の許
容誤差を用いてカメラパラメータの補正の良否判定を行
う。補正後のカメラパラメータが第2の許容誤差を越え
る場合には、本発明におけるカメラパラメータの補正は
失敗したと判定し、図5のステップS22においてユー
ザによる特徴点の投影座標と3次元座標との対応付けを
要求する。この処理によりカメラパラメータの推定が途
切れたり、誤ったカメラパラメータをもとに次のフレー
ムのカメラパラメータを推定しないようにしている。
算装置では、図5のステップS21で設定した第2の許
容誤差を用いてカメラパラメータの補正の良否判定を行
う。補正後のカメラパラメータが第2の許容誤差を越え
る場合には、本発明におけるカメラパラメータの補正は
失敗したと判定し、図5のステップS22においてユー
ザによる特徴点の投影座標と3次元座標との対応付けを
要求する。この処理によりカメラパラメータの推定が途
切れたり、誤ったカメラパラメータをもとに次のフレー
ムのカメラパラメータを推定しないようにしている。
【0076】
【発明の効果】以上説明したようにこの発明によれば、
動画像データの最初のフレームに対して、ユーザの介在
を経てカメラパラメータの設定を行えば、以降のフレー
ムにおけるカメラパラメータを推定することができる。
この発明では、既知形状物体の表面の色が隣接フレーム
でほとんど変化しないという性質を用いているので、画
像データを撮影した際のカメラパラメータとずれのない
カメラパラメータを推定することが可能である。
動画像データの最初のフレームに対して、ユーザの介在
を経てカメラパラメータの設定を行えば、以降のフレー
ムにおけるカメラパラメータを推定することができる。
この発明では、既知形状物体の表面の色が隣接フレーム
でほとんど変化しないという性質を用いているので、画
像データを撮影した際のカメラパラメータとずれのない
カメラパラメータを推定することが可能である。
【0077】このようにして、本発明を用いれば、従来
行われていたようなカメラパラメータの測定・記録が可
能であるカメラを用いずに、しかも、カメラパラメータ
推定に係る人手を極力押さえた形で、動画像データと3
次元CG画像とを違和感なく合成することが可能であ
る。
行われていたようなカメラパラメータの測定・記録が可
能であるカメラを用いずに、しかも、カメラパラメータ
推定に係る人手を極力押さえた形で、動画像データと3
次元CG画像とを違和感なく合成することが可能であ
る。
【0078】さらに、本発明ではユーザが、カメラパラ
メータの補正終了を判定するためのしきい値(第1の許
容誤差、最小更新量、第2の許容誤差、並びに、最大反
復回数)を設定することにより、ユーザが希望する推定
精度に達していないカメラパラメータが推定された場合
にそれを検出し、その時点でユーザがカメラパラメータ
を修正することができる。
メータの補正終了を判定するためのしきい値(第1の許
容誤差、最小更新量、第2の許容誤差、並びに、最大反
復回数)を設定することにより、ユーザが希望する推定
精度に達していないカメラパラメータが推定された場合
にそれを検出し、その時点でユーザがカメラパラメータ
を修正することができる。
【図1】この発明に係る画像合成装置の全体構成図であ
る。
る。
【図2】描画・合成装置のブロック構成図である。
【図3】描画・合成装置の動作を示すフローチャートで
ある。
ある。
【図4】カメラパラメータ演算装置のブロック構成図で
ある。
ある。
【図5】カメラパラメータ演算装置の全体動作を示すフ
ローチャートである。
ローチャートである。
【図6】カメラパラメータ補正部の動作を示すフローチ
ャートである。
ャートである。
【図7】中心投影による座標変換の変換式を示す説明図
である。
である。
【図8】カメラモデルを示す説明図である。
【図9】既知形状物体表面色決定部の動作を示す説明図
である。
である。
【図10】カメラパラメータ評価部の動作を示す説明図
である。
である。
【図11】非線形最小自乗法を用いてカメラパラメータ
を更新する処理を示す説明図である。
を更新する処理を示す説明図である。
【図12】撮像画像と3次元CG画像との合成例を示す
説明図である。
説明図である。
【図13】カメラパラメータの不一致による合成画像の
違和感を示す説明図である。
違和感を示す説明図である。
【図14】VIEW CORRELATION法で用い
る画像の特徴点の一例を示す説明図である。
る画像の特徴点の一例を示す説明図である。
【図15】動画像を撮影した際のカメラパラメータをV
IEW CORRELATION法を応用して推定する
方法のフローチャートである。
IEW CORRELATION法を応用して推定する
方法のフローチャートである。
1 画像合成装置、2 再生装置、3 記録装置、4
描画・合成装置、5キーボード、6 ポインティングデ
バイス、7 画像表示装置、10 カメラパラメータ演
算装置、11 カメラパラメータ設定部、12 カメラ
パラメータ予測部、13 カメラパラメータ補正部、1
4 カメラパラメータ評価部、15カメラパラメータ更
新量算出部、16 カメラパラメータ更新部、17 カ
メラパラメータ補正終了判定部、18 形状既知物体色
決定部、19 補正失敗判断部、20 3次元CG生成
部、30 画像合成部
描画・合成装置、5キーボード、6 ポインティングデ
バイス、7 画像表示装置、10 カメラパラメータ演
算装置、11 カメラパラメータ設定部、12 カメラ
パラメータ予測部、13 カメラパラメータ補正部、1
4 カメラパラメータ評価部、15カメラパラメータ更
新量算出部、16 カメラパラメータ更新部、17 カ
メラパラメータ補正終了判定部、18 形状既知物体色
決定部、19 補正失敗判断部、20 3次元CG生成
部、30 画像合成部
Claims (19)
- 【請求項1】 ビデオカメラで撮影された画像の画像デ
ータからその画像が撮影されたときのカメラパラメータ
を求めるカメラパラメータ演算装置において、 予測されるカメラパラメータを入力するカメラパラメー
タ入力部と、 画像データ内に写し込まれている既知形状物体の表面色
を用いて前記カメラパラメータ入力部から入力されたカ
メラパラメータを補正するカメラパラメータ補正部とを
備えたことを特徴とするカメラパラメータ演算装置。 - 【請求項2】 前記カメラパラメータ補正部は、 画像データ内に撮影された既知形状物体の表面色を用い
てカメラパラメータを評価するカメラパラメータ評価部
と、 前記カメラパラメータ評価部における評価を改善するた
めに非線形最小自乗法を用いてカメラパラメータの更新
量を算出するカメラパラメータ更新量算出部と、 前記カメラパラメータ更新量算出部で算出されたカメラ
パラメータ更新量によりカメラパラメータを更新するカ
メラパラメータ更新部と、 前記カメラパラメータ評価部、カメラパラメータ更新量
算出部、カメラパラメータ更新部の3つの処理部による
反復処理の終了を判定するカメラパラメータ補正終了判
定部とを備えたことを特徴とする請求項1記載のカメラ
パラメータ演算装置。 - 【請求項3】 前記カメラパラメータ評価部は、 画像データ内に写っている既知形状をもつ物体の表面の
ワールド座標とカメラパラメータから、画像データ内で
の既知形状をもつ物体の位置を算出し、画像データ内の
算出された位置の色を既知形状の物体の色として判断す
る既知形状物体色決定部を備えたことを特徴とする請求
項2記載のカメラパラメータ演算装置。 - 【請求項4】 前記カメラパラメータ評価部は、 画像データ内に写っている既知形状をもつ物体の表面の
色が既知の場合に、評価対象のカメラパラメータと画像
を撮影した時のカメラパラメータとのずれを表す評価値
として、既知である色と前記既知形状物体色決定部によ
って判断した色との差の自乗又は自乗和の平均を用いる
ことを特徴とする請求項3記載のカメラパラメータ演算
装置。 - 【請求項5】 前記カメラパラメータ補正終了判定部
は、 前記カメラパラメータ評価部で算出したカメラパラメー
タの評価値とユーザが設定した第1の許容誤差とを比較
し、評価値が第1の許容誤差よりも小さい場合にカメラ
パラメータの補正を終了すると判定することを特徴とす
る請求項2記載のカメラパラメータ演算装置。 - 【請求項6】 前記カメラパラメータ補正終了判定部
は、 前記カメラパラメータ更新量算出部で算出したカメラパ
ラメータの更新量とユーザが設定した最小更新量とを比
較し、更新量が最小更新量よりも小さい場合にカメラパ
ラメータの補正を終了すると判定することを特徴とする
請求項2記載のカメラパラメータ演算装置。 - 【請求項7】 前記カメラパラメータ補正終了判定部
は、 前記カメラパラメータ評価部、カメラパラメータ更新量
算出部、カメラパラメータ更新部の3つの処理部による
反復処理回数とユーザが設定した最大反復回数とを比較
し、反復処理回数が最大反復回数を越えた場合にカメラ
パラメータの補正を終了すると判定することを特徴とす
る請求項2記載のカメラパラメータ演算装置。 - 【請求項8】 前記カメラパラメータ補正終了判定部
は、 カメラパラメータの補正を終了すると判定した際に、前
記カメラパラメータ評価部で算出したカメラパラメータ
の評価値がユーザが設定した第2の許容誤差を越えてい
る場合は、カメラパラメータの補正が失敗したと判定す
るカメラパラメータ補正失敗判定部を備えたことを特徴
とする請求項2記載のカメラパラメータ演算装置。 - 【請求項9】 前記カメラパラメータ補正終了判定部
は、 カメラパラメータの補正が失敗したと判定された場合
に、補正が失敗したカメラパラメータの修正をユーザを
要求するためのパラメータ修正要求を発生することを特
徴とする請求項2記載のカメラパラメータ演算装置。 - 【請求項10】 ビデオカメラで撮影された複数のフレ
ームからなる動画像の画像データから各フレームの画像
が撮影されたときの各カメラパラメータを求めるカメラ
パラメータ演算装置において、 特定のフレームの画像に対してその特定のフレームの画
像が撮影されたときのカメラパラメータを設定するカメ
ラパラメータ設定部と、 カメラパラメータが設定されているフレームに隣接する
フレームのカメラパラメータを予測するにあたり、カメ
ラパラメータが設定されているフレームで既知形状物体
の特徴点の画像データ内の位置を特徴点のワールド座標
とカメラパラメータから算出し、算出した特徴点の画像
データ内の位置がカメラパラメータを予測するフレーム
の画像中ではどこに移動するかを追跡し、カメラパラメ
ータを予測するフレームで画追跡の結果得られた位置と
特徴点のワールド座標からカメラパラメータを予測する
カメラパラメータ予測部と、 前記カメラパラメータ予測部で予測されたカメラパラメ
ータを画像データ内に写し込まれた既知形状物体の表面
色を用いて補正するカメラパラメータ補正部とを備え、 1つのフレームにおけるカメラパラメータ設定後、前記
カメラパラメータ予測部とカメラパラメータ補正部との
処理を繰り返し行うことで、動画像データの全てのフレ
ームに亘って各フレーム毎にカメラパラメータを設定す
ることを特徴とするカメラパラメータ演算装置。 - 【請求項11】 前記カメラパラメータ補正部は、 画像データ内に撮影された既知形状物体の表面色を用い
てカメラパラメータを評価するカメラパラメータ評価部
と、 前記カメラパラメータ評価部における評価を改善するた
めに非線形最小自乗法を用いてカメラパラメータの更新
量を算出するカメラパラメータ更新量算出部と、 前記カメラパラメータ更新量算出部で算出されたカメラ
パラメータ更新量によりカメラパラメータを更新するカ
メラパラメータ更新部と、 前記カメラパラメータ評価部、カメラパラメータ更新量
算出部、カメラパラメータ更新部の3つの処理部による
反復処理の終了を判定するカメラパラメータ補正終了判
定部とを備えたことを特徴とする請求項10記載のカメ
ラパラメータ演算装置。 - 【請求項12】 前記カメラパラメータ評価部は、 画像データ内に写っている既知形状をもつ物体の表面の
ワールド座標とカメラパラメータから、画像データ内で
の既知形状をもつ物体の位置を算出し、画像データ内の
算出された位置の色を既知形状の物体の色として判断す
る既知形状物体色決定部を備えたことを特徴とする請求
項11記載のカメラパラメータ演算装置。 - 【請求項13】 前記カメラパラメータ評価部は、 画像データ内に写っている既知形状をもつ物体の表面の
色が既知の場合に、評価対象のカメラパラメータと画像
を撮影した時のカメラパラメータとのずれを表す評価値
として、既知である色と前記既知形状物体色決定部によ
って判断した色との差の自乗和又は自乗和の平均を用い
ることを特徴とする請求項11記載のカメラパラメータ
演算装置。 - 【請求項14】 前記カメラパラメータ補正終了判定部
は、 前記カメラパラメータ評価部で算出したカメラパラメー
タの評価値とユーザが設定した第1の許容誤差とを比較
し、評価値が第1の許容誤差よりも小さい場合にカメラ
パラメータの補正を終了すると判定することを特徴とす
る請求項11記載のカメラパラメータ演算装置。 - 【請求項15】 前記カメラパラメータ補正終了判定部
は、 前記カメラパラメータ更新量算出部で算出したカメラパ
ラメータの更新量とユーザが設定した最小更新量とを比
較し、更新量が最小更新量よりも小さい場合にカメラパ
ラメータの補正を終了すると判定することを特徴とする
請求項11記載のカメラパラメータ演算装置。 - 【請求項16】 前記カメラパラメータ補正終了判定部
は、 前記カメラパラメータ評価部、カメラパラメータ更新量
算出部、カメラパラメータ更新部の3つの処理部による
反復処理回数とユーザが設定した最大反復回数とを比較
し、反復処理回数が最大反復回数を越えた場合にカメラ
パラメータの補正を終了すると判定することを特徴とす
る請求項11記載のカメラパラメータ演算装置。 - 【請求項17】 前記カメラパラメータ補正終了判定部
は、 カメラパラメータの補正を終了すると判定した際に、前
記カメラパラメータ評価部で算出したカメラパラメータ
の評価値がユーザが設定した第2の許容誤差を越えてい
る場合は、カメラパラメータの補正が失敗したと判定す
るカメラパラメータ補正失敗判定部を備えたことを特徴
とする請求項11記載のカメラパラメータ演算装置。 - 【請求項18】 前記カメラパラメータ補正終了判定部
は、 カメラパラメータの補正が失敗したと判定された場合
に、補正が失敗したカメラパラメータの修正をユーザを
要求するためのパラメータ修正要求を発生することを特
徴とする請求項11記載のカメラパラメータ演算装置。 - 【請求項19】 特定のフレームの画像に対してその特
定のフレームの画像が撮影されたときのカメラパラメー
タを設定するカメラパラメータ設定部と、カメラパラメ
ータが設定されているフレームに隣接するフレームのカ
メラパラメータを予測するにあたり、カメラパラメータ
が設定されているフレームで既知形状物体の特徴点の画
像データ内の位置を特徴点のワールド座標とカメラパラ
メータから算出し、算出した特徴点の画像データ内の位
置がカメラパラメータを予測するフレームの画像中では
どこに移動するかを追跡し、カメラパラメータを予測す
るフレームで画追跡の結果得られた位置と特徴点のワー
ルド座標からカメラパラメータを予測するカメラパラメ
ータ予測部と、前記カメラパラメータ予測部で予測され
たカメラパラメータを画像データ内に写し込まれた既知
形状物体の表面色を用いて補正するカメラパラメータ補
正部とを備え、1つのフレームにおけるカメラパラメー
タ設定後、前記カメラパラメータ予測部とカメラパラメ
ータ補正部との処理を繰り返し行うことで、動画像デー
タの全てのフレームに亘って各フレーム毎にカメラパラ
メータを設定するカメラパラメータ演算装置と、 前記カメラパラメータ演算装置によって設定された各フ
レーム毎のカメラパラメータに基づいて3次元CG画像
を生成する3次元CG生成部と、 前記3次元CG生成部で生成された3次元CG画像と動
画像とを合成する画像合成部とを備えたことを特徴とす
る画像合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8268985A JPH10116359A (ja) | 1996-10-09 | 1996-10-09 | カメラパラメータ演算装置及び画像合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8268985A JPH10116359A (ja) | 1996-10-09 | 1996-10-09 | カメラパラメータ演算装置及び画像合成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10116359A true JPH10116359A (ja) | 1998-05-06 |
Family
ID=17466062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8268985A Withdrawn JPH10116359A (ja) | 1996-10-09 | 1996-10-09 | カメラパラメータ演算装置及び画像合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10116359A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001034750A (ja) * | 1999-06-22 | 2001-02-09 | Eastman Kodak Co | 画像処理チェーンにおける非画像データの修正方法 |
JP2002324234A (ja) * | 2001-02-23 | 2002-11-08 | Sharp Corp | 立体画像を偏歪修正する方法および装置 |
JP2008005478A (ja) * | 2006-05-24 | 2008-01-10 | Kazuo Iwane | 湧きだし点基準cv領域画像前置装置 |
JP2009031295A (ja) * | 2008-08-05 | 2009-02-12 | Olympus Corp | 移動体姿勢検出装置 |
KR100908084B1 (ko) | 2007-11-14 | 2009-07-16 | 주식회사 영구아트 | 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체 |
JP2010532465A (ja) * | 2007-05-22 | 2010-10-07 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 拡張リアリティイメージのためのカメラポーズ推定装置および方法 |
JP2010261785A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | カメラ校正装置およびカメラ校正プログラム |
JP2012070238A (ja) * | 2010-09-24 | 2012-04-05 | Hitachi Plant Technologies Ltd | 現場情報通信システム、現場情報通信方法 |
US9020261B2 (en) | 2001-03-23 | 2015-04-28 | Avigilon Fortress Corporation | Video segmentation using statistical pixel modeling |
US9378632B2 (en) | 2000-10-24 | 2016-06-28 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US10645350B2 (en) | 2000-10-24 | 2020-05-05 | Avigilon Fortress Corporation | Video analytic rule detection system and method |
-
1996
- 1996-10-09 JP JP8268985A patent/JPH10116359A/ja not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001034750A (ja) * | 1999-06-22 | 2001-02-09 | Eastman Kodak Co | 画像処理チェーンにおける非画像データの修正方法 |
US10026285B2 (en) | 2000-10-24 | 2018-07-17 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US10645350B2 (en) | 2000-10-24 | 2020-05-05 | Avigilon Fortress Corporation | Video analytic rule detection system and method |
US10347101B2 (en) | 2000-10-24 | 2019-07-09 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US9378632B2 (en) | 2000-10-24 | 2016-06-28 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
JP2002324234A (ja) * | 2001-02-23 | 2002-11-08 | Sharp Corp | 立体画像を偏歪修正する方法および装置 |
US9020261B2 (en) | 2001-03-23 | 2015-04-28 | Avigilon Fortress Corporation | Video segmentation using statistical pixel modeling |
US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
JP2008005478A (ja) * | 2006-05-24 | 2008-01-10 | Kazuo Iwane | 湧きだし点基準cv領域画像前置装置 |
JP2010532465A (ja) * | 2007-05-22 | 2010-10-07 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 拡張リアリティイメージのためのカメラポーズ推定装置および方法 |
JP2013178252A (ja) * | 2007-05-22 | 2013-09-09 | Metaio Gmbh | 拡張リアリティイメージのためのカメラポーズ推定装置および方法 |
KR100908084B1 (ko) | 2007-11-14 | 2009-07-16 | 주식회사 영구아트 | 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체 |
JP2009031295A (ja) * | 2008-08-05 | 2009-02-12 | Olympus Corp | 移動体姿勢検出装置 |
JP2010261785A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | カメラ校正装置およびカメラ校正プログラム |
JP2012070238A (ja) * | 2010-09-24 | 2012-04-05 | Hitachi Plant Technologies Ltd | 現場情報通信システム、現場情報通信方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3207461B2 (ja) | 3次元対象物のトラッキング方法及び装置 | |
US7471292B2 (en) | Virtual view specification and synthesis in free viewpoint | |
US6868191B2 (en) | System and method for median fusion of depth maps | |
CN101563709B (zh) | 校准照相机*** | |
US6396491B2 (en) | Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene | |
JP6775969B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR20040012714A (ko) | 영상정보 압축 방법 | |
JPH11175733A (ja) | 運動からの外観をベースとする拘束された構造体を用いて三次元モデルを抽出する方法 | |
JPH11509064A (ja) | 画像を表現し組み合わせる方法とシステム | |
JPH10116359A (ja) | カメラパラメータ演算装置及び画像合成装置 | |
JPH07168943A (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
US7016527B2 (en) | Method for processing image data and modeling device | |
JP4887376B2 (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
WO2020218024A1 (ja) | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム | |
US20050052460A1 (en) | Tangent balancing | |
WO2016030304A1 (en) | Method and device for editing a facial image | |
CN113469886B (zh) | 一种基于三维重构的图像拼接方法 | |
WO2021161878A1 (ja) | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム | |
US20050088531A1 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
KR20030054360A (ko) | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 | |
JP2005063041A (ja) | 3次元モデリング装置、方法、及びプログラム | |
JPH11203483A (ja) | 画像処理装置および方法、並びに提供媒体 | |
JP2002525764A (ja) | グラフィックスおよび画像処理システム | |
JP4568050B2 (ja) | カメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラム | |
Conze et al. | Multi-reference combinatorial strategy towards longer long-term dense motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040106 |