JP2000268179A - 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 専用の特殊な装置を用いず、予めキャリブレ
ーションが行われていないカメラで撮影した物体の動画
像から、その物体の高精度の三次元形状情報を容易に取
得できる方法、及び、任意の視点からの物体の二次元画
像を取得できる方法を提供する。 【解決手段】 予めキャリブレーションされていないカ
メラで物体を撮影してその動画像を取得し（Ａ）、その
動画像に基づいてカメラの光学的パラメータ及びカメラ
の撮影時の移動軌跡を求め（Ｂ）、求めた光学的パラメ
ータ及び移動軌跡と動画像のデータとを用いてステレオ
法に従って物体の三次元形状情報を取得する（Ｃ）。求
めた光学的パラメータ及び移動軌跡と動画像のデータと
取得した三次元形状情報とを用いて、指定された任意の
視点からの物体の二次元画像を取得する（Ｄ）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の三次元形状
の情報を取得する方法及び装置、任意の視点からの物体
の二次元画像を取得する方法及び装置、並びに、それら
の方法を実施するためのプログラムを記録した記録媒体
に関する。

【０００２】

【従来の技術】ＣＡＤ，ＣＧ技術の発展に伴って、物体
の三次元形状の情報を取得してその三次元形状情報をコ
ンピュータシステムに入力することが必要となってきて
いる。物体の三次元形状の情報を取得する手法として、
従来からステレオ視（多眼視）を利用したステレオ法
が、比較的精度が良く、アルゴリズムも安定しており、
除々に実システムへ導入され始めている。このステレオ
法は、能動的ステレオ法と受動的ステレオ法とに大別さ
れる。

【０００３】能動的ステレオ法とは、ステレオ法の基本
である多眼視間での対応点決定のために、レーザスリッ
ト光などを積極的に対象の物体に照射する方法であり、
高速，高精度のシステムを構築できる。しかしながら、
専用のハードウェアが必要であるので、高価であるとい
う問題がある。また、スリット光が外乱によって阻害さ
れないような環境が通常必要であり、システムの利用適
合性が低いという問題もある。よって、環境を制限で
き、しかも高い情報精度が要求される応用分野以外での
普及は進んでいない。

【０００４】これに対して、受動的ステレオ法では、複
数のカメラを固定配置し、それらのカメラで得られた画
像のみを使って物体の三次元形状の情報を取得する。よ
って、一般的なビデオカメラ，スチルカメラ以外に特殊
なハードウェアを必要とせず、また環境も制限を受けな
いという利点があって、広く普及し始めており、具体的
な提案も多数なされている。

【０００５】これらの中で、IEEE TRANSACTIONS ON PAT
TERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.15, N
O.4, APRIL 1993，pp353-363 に提案されたmuitiple-ba
seline stereo( マルチプルベースラインステレオ）法
は、多視点の画像を用いることにより受動的ステレオ法
で問題とされてきた対応点決定処理での不安定さを簡単
なアルゴリズムによって解消しており、良好な距離画像
を得ることができる。また、金出武雄，C.Lawrence Zit
nickらが開発した、volumetric iterative approach to
stereo matching and occlusion detection法では、オ
クルージョン領域を検出し、ボクセルデータ形式のより
質が高い三次元形状情報を得ることが可能である。

【０００６】以上のような撮影画像から物体の三次元形
状情報を得る手法とは別に、ユーザが指定した任意の視
点（任意の位置，姿勢を有する仮想カメラ）からの物体
の二次元画像を、複数の撮影画像から合成して取得する
手法（イメージベースドレンダリング：Image Based Re
ndering(以下、ＩＢＲと適宜略記する））が知られてい
る。この二次元画像取得手法は、三次元形状情報取得手
法が三次元形状情報から物体の形状モデルを構築するこ
とに主眼を置いているのに対して、物体の形状モデルを
構築することなくコンピュータ内で物体の二次元画像を
生成してユーザに呈示することを主な目的としている。
特に、仮想現実を利用したシステム，訓練シミュレーシ
ョン等にあっては、物体の形状モデルを正確に構築でき
ることよりも、任意の視点からの物体の正確な二次元画
像を呈示できることの方が重要である。

【０００７】このようなＩＢＲの一例として、Steven
M.Seitzらが開発した手法（Steven M.Seitz,"Toward In
teractive Scene Walkthroughs from Images"）があ
る。この手法は、対象となる物体を含むボクセル空間
（Voxel Space)をボクセル（Voxel)と呼ばれる微小な直
方体の集まりとして考え、特定のボクセルを各カメラの
撮像面に投影した場合を考える。物体の表面を構成する
ボクセルにあっては、全てのカメラへの投影像は同じ色
になる。よって、全てのカメラへの投影像が同じ色であ
る場合には、そのボクセルにその投影像の色を割り当
て、そうでない場合には物体の表面でないそのボクセル
に色を割り当てない。そして、このようにして割り当て
られた各ボクセルの色に基づき、任意に指定された位
置，姿勢を有する仮想カメラの撮像面にこれらを投影す
ることにより、仮想カメラから見た二次元画像を合成す
る。

【０００８】取得した物体の三次元形状情報を用いてそ
の物体の形状モデルを構築した後、その形状モデルを仮
想カメラの撮像面に投影して、任意の視点からの物体の
二次元画像を得る手法が考えられる。しかしながらこの
手法では、取得した三次元形状情報に基づいて三角パッ
チなどの位相情報を与える必要があって、実際の物体と
の不整合が発生する虞がある。これに対して、ＩＢＲで
は色が割り当てられたボクセル空間という非常に簡単な
データ構造を用いているので、実際の物体との不整合が
発生し難い。

【０００９】

【発明が解決しようとする課題】ところで、前述した２
つの手法を含めて多数の受動的ステレオ法では、高い精
度の結果は得られるが、カメラの内部パラメータ（焦点
距離など）及び外部パラメータ（位置，姿勢など）を予
めキャリブレーションしておく必要がある。これは、一
度キャリブレーションされた複数のカメラを動かすこと
ができないということを意味し、実際の情報取得処理に
おいて大きな制約となっている。また、カメラを固定し
ておくための設備が必要であり、実質的に特殊で大きな
ハードウェアを使用しなければならないという問題があ
る。

【００１０】一方、撮影した物体の動画像からカメラの
各種のパラメータをキャリブレーションしてその三次元
形状の情報を取得する方法（Marc Pollefeys, Reinhard
Koch and Luc Van Gool, "Self-Calibration and Metr
ic Reconstruction in spiteof Varying and Unknown I
nternal Camera Parameters")も提案されている。しか
しながら、この方法では、ユーザが画像上の特徴点を手
動で指示しなければならない。また、特徴点の追跡のみ
で物体の三次元形状の情報を得ているので、その形状情
報の精度が低く、複雑な形状の物体についてはその正確
な三次元形状を復元できないという問題がある。

【００１１】また、ＩＢＲを行う場合にあっても、受動
的ステレオ法と同様に、撮影画像を取得する各カメラの
内部パラメータ及び外部パラメータを予めキャリブレー
ションしておく必要がある。従って、上述したような受
動的ステレオ法と同様の問題がある。

【００１２】本発明は斯かる事情に鑑みてなされたもの
であり、予めキャリブレーションを必要とせず、また大
きなハードウェアを使用することもなく、極めて容易
に、物体の三次元形状の情報を高精度に取得することが
できる三次元形状情報取得方法及び装置、任意の視点か
らの物体の二次元画像を高精度に取得することができる
二次元画像取得方法及び装置、並びに、それらの取得方
法を実施するためのプログラムを記録した記録媒体を提
供することを目的とする。

【００１３】

【課題を解決するための手段】請求項１に係る三次元形
状情報取得方法は、物体に対して相対的に移動するカメ
ラで撮影した前記物体の画像から前記物体の三次元形状
の情報を得る方法において、撮影した撮影画像に基づい
て前記カメラの内部パラメータ及び前記カメラの撮影時
の前記物体に対する相対的な移動軌跡を求める第１ステ
ップと、求めた内部パラメータ及び移動軌跡と前記撮影
画像とを用いてステレオ法に従って前記物体の三次元形
状の情報を得る第２ステップとを有することを特徴とす
る。

【００１４】請求項２に係る三次元形状情報取得方法
は、請求項１において、静止している物体を移動してい
るカメラで撮影して前記物体の撮影画像を得ることを特
徴とする。

【００１５】請求項３に係る三次元形状情報取得方法
は、請求項１において、移動している物体を静止してい
るカメラで撮影して前記物体の撮影画像を得ることを特
徴とする。

【００１６】請求項４に係る三次元形状情報取得方法
は、請求項１〜３の何れかにおいて、前記第１ステップ
は、前記撮影画像内の任意の１フレームにおける特徴点
を抽出するステップと、その抽出した特徴点を前記撮影
画像内の複数フレームにわたって追跡するステップと、
その追跡結果に基づいて前記内部パラメータ及び移動軌
跡を求めるステップとを含むことを特徴とする。

【００１７】請求項５に係る三次元形状情報取得方法
は、請求項４において、一旦求めた移動軌跡を用いて前
記特徴点の移動方向を予測し、その予測結果と前記特徴
点の追跡結果とを比較し、その比較結果に基づいて前記
特徴点の追跡結果を修正し、その修正後の追跡結果に基
づいて前記内部パラメータ及び移動軌跡を再び求めるこ
とを特徴とする。

【００１８】請求項６に係る三次元形状情報取得方法
は、請求項１〜５の何れかにおいて、前記特徴点の追跡
結果に基づいて前記カメラの移動軌跡を求める際に、因
子分解法を利用することを特徴とする。

【００１９】請求項７に係る三次元形状情報取得方法
は、請求項１〜６の何れかにおいて、前記ステレオ法と
して、マルチプルベースラインステレオ法を用いること
を特徴とする。

【００２０】請求項８に係る三次元形状情報取得装置
は、物体に対して相対的に移動するカメラで撮影した前
記物体の画像から前記物体の三次元形状の情報を得る装
置において、撮影した撮影画像に基づいて前記カメラの
内部パラメータ及び前記カメラの撮影時の前記物体に対
する相対的な移動軌跡を求める手段と、求めた内部パラ
メータ及び移動軌跡と前記撮影画像とを用いてステレオ
法に従って前記物体の三次元形状の情報を得る手段とを
備えることを特徴とする。

【００２１】請求項９に係る三次元形状情報取得装置
は、請求項８において、前記物体に対して相対的に移動
する前記カメラを更に備えることを特徴とする。

【００２２】請求項10に係る二次元画像取得方法は、請
求項１〜７の何れかに記載の三次元形状情報取得方法に
よって得られる情報を用いて、任意の視点からの前記物
体の二次元画像を取得する方法であって、前記第１ステ
ップで求めた内部パラメータ及び移動軌跡と前記撮影画
像と前記第２ステップで得た三次元形状の情報とを用い
て、任意に指定された視点からの前記物体の二次元画像
を取得することを特徴とする。

【００２３】請求項11に係る二次元画像取得方法は、物
体に対して相対的に移動するカメラで撮影した前記物体
の画像に基づいて任意の視点からの前記物体の二次元画
像を取得する方法において、撮影した撮影画像に基づい
て前記カメラの内部パラメータ及び前記カメラの撮影時
の前記物体に対する相対的な移動軌跡を求める第１ステ
ップと、求めた内部パラメータ及び移動軌跡と前記撮影
画像とを用いて前記物体の三次元形状情報を求める第２
ステップと、求めた内部パラメータ及び移動軌跡と前記
撮影画像と求めた三次元形状情報とを用いて、任意に指
定された視点からの前記物体の二次元画像を取得する第
３ステップとを有することを特徴とする。

【００２４】請求項12に係る二次元画像取得方法は、請
求項10または11の何れかにおいて、前記物体の二次元画
像を取得する際に、イメージベースドレンダリングを利
用することを特徴とする。

【００２５】請求項13に係る二次元画像取得装置は、物
体に対して相対的に移動するカメラで撮影した前記物体
の画像に基づいて任意の視点からの前記物体の二次元画
像を取得する装置において、撮影した撮影画像に基づい
て前記カメラの内部パラメータ及び前記カメラの撮影時
の前記物体に対する相対的な移動軌跡を求める手段と、
求めた内部パラメータ及び移動軌跡と前記撮影画像とを
用いて前記物体の三次元形状情報を求める手段と、求め
た内部パラメータ及び移動軌跡と前記撮影画像と求めた
三次元形状情報とを用いて、任意に指定された視点から
の前記物体の二次元画像を取得する手段とを備えること
を特徴とする。

【００２６】請求項14に係る記録媒体は、物体に対して
相対的に移動するカメラで撮影した前記物体の画像から
前記物体の三次元形状の情報を得るためのプログラムを
記録してあるコンピュータでの読み取り可能な記録媒体
において、撮影した撮影画像に基づいて前記カメラの内
部パラメータ及び前記カメラの撮影時の前記物体に対す
る相対的な移動軌跡を求めることを前記コンピュータに
実行させるプログラムコード手段と、求めた内部パラメ
ータ及び移動軌跡と前記撮影画像とを用いてステレオ法
に従って前記物体の三次元形状の情報を得ることを前記
コンピュータに実行させるプログラムコード手段とを有
することを特徴とする。

【００２７】請求項15に係る記録媒体は、物体に対して
相対的に移動するカメラで撮影した前記物体の画像に基
づいて任意の視点からの前記物体の二次元画像を取得す
るためのプログラムを記録してあるコンピュータでの読
み取り可能な記録媒体において、撮影した撮影画像に基
づいて前記カメラの内部パラメータ及び前記カメラの撮
影時の前記物体に対する相対的な移動軌跡を求めること
を前記コンピュータに実行させるプログラムコード手段
と、求めた内部パラメータ及び移動軌跡と前記撮影画像
とを用いて前記物体の三次元形状情報を得ることを前記
コンピュータに実行させるプログラムコード手段と、求
めた内部パラメータ及び移動軌跡と前記撮影画像と求め
た三次元形状情報とを用いて、任意に指定された視点か
らの前記物体の二次元画像を取得することを前記コンピ
ュータに実行させるプログラムコード手段とを有するこ
とを特徴とする。

【００２８】図１は、本発明による三次元形状情報取得
方法の概念を示す図である。本発明では、予めキャリブ
レーションされていないカメラで対象となる物体を撮影
してその動画像を得る（Ａ）。そして、その動画像から
カメラの内部パラメータ（焦点距離など）とカメラの移
動軌跡（撮影時のカメラの位置，姿勢など）とを求める
（Ｂ）。その求めた情報と動画像とを用いてステレオ法
に従って物体の三次元形状の情報を取得する（Ｃ）。

【００２９】本発明では、カメラのキャリブレーション
を必要とせず、任意の環境で自由に撮影した動画像から
三次元形状の情報を取得でき、撮影タイミングの自由度
が高く、環境の制約が全くない。また、カメラを固定す
る設備も不要であり、低コストで処理を行える。更に、
ステレオ法に従って三次元形状情報を得るので、物体の
高精度の三次元形状情報を得ることができる。

【００３０】また、本発明では、カメラの内部パラメー
タ及び移動軌跡を求める際に、次のような処理を行う。
まず、動画像内の任意の１フレームにおける特徴点を抽
出し、その抽出した特徴点を動画像内の複数フレームに
わたって追跡し、特徴点追跡結果を得る。そして、その
特徴点追跡結果に基づいて、カメラの内部パラメータを
決定する（Ｂ１）。その決定した内部パラメータ及び特
徴点追跡結果に基づいて因子分解法を利用してカメラの
移動軌跡を求める（Ｂ２）。そして、求めた移動軌跡と
特徴点追跡結果とを整合させ、整合しない追跡結果デー
タは除外して、内部パラメータを決定し直した後（Ｂ
１）、その再決定した内部パラメータと整合しない追跡
結果データを除外した特徴点追跡結果とに基づいて、因
子分解法を利用してカメラの移動軌跡を再び求める（Ｂ
２）。このような較正プロセスを複数回繰り返して、最
終的なカメラの内部パラメータ及び移動軌跡を得る。よ
って、ステレオ法による処理で要求されるカメラの各種
の正確なパラメータを求めることが可能となる。

【００３１】本発明では、ステレオ法として、マルチプ
ルベースラインステレオ法を用いる。このマルチプルベ
ースラインステレオ法のアルゴリズムでは、視点が異な
った画像のフレーム数が多いほど得られる三次元形状情
報の精度は向上する。本発明では、カメラで撮影した動
画像を用いるので、マルチプルベースラインステレオ法
のアルゴリズムに対して、非常に多くの多視点画像を提
供でき、データ密度が高くなって、三次元形状情報の精
度向上が期待できる。

【００３２】図２は、本発明による二次元画像取得方法
の概念を示す図である。図２において、図１と同一の処
理部分には同一符号を付して、それらの説明を省略す
る。（Ｂ）で求めたカメラの内部パラメータ及び移動軌
跡と、撮影された動画像と、（Ｃ）で取得された物体の
三次元形状情報とを用いて、任意の視点からの物体の二
次元画像を取得する（Ｄ）。

【００３３】本発明では、カメラのキャリブレーション
を必要とせず、任意の環境で自由に撮影した動画像か
ら、任意の視点からの物体の二次元画像を取得でき、撮
影タイミングの自由度が高く、環境の制約が全くない。
また、カメラを固定する設備も不要であり、低コストで
処理を行える。

【００３４】本発明では、二次元画像の取得に、ＩＢＲ
を用いる。このＩＢＲでは、撮影画像と、任意の視点か
らの二次元画像との視差が小さい程、より正確な二次元
画像を合成できる。本発明では、物体に対して相対的に
移動するカメラにて多数の撮影画像が得られるようにな
っており、任意の視点からの二次元画像との視差が小さ
い撮影画像に基づいて、高品質の二次元画像を常に取得
することができる。

【００３５】

【発明の実施の形態】以下、本発明をその実施の形態を
示す図面を参照して具体的に説明する。図３は、本発明
の三次元形状情報取得装置及び二次元画像取得装置の構
成を示すブロック図である。図３において主制御部１は
具体的にはＣＰＵで構成されており、バス２を介して以
下に説明するハードウェア各部と接続されていて、それ
らの動作を制御すると共に、後述するような演算処理を
含む種々のソフトウェア的機能を実行する。

【００３６】読出部３は、外部のビデオテープに記録さ
れている対象の物体のアナログの動画像データを読み出
してディジタルの動画像データに変換する。画像メモリ
４は、そのディジタルの動画像データを格納する。ＲＯ
Ｍ５は、本発明の三次元形状情報取得処理及び二次元画
像取得処理に必要な種々のソフトウェアのプログラムを
予め格納している。ＲＡＭ６は、ＳＲＡＭまたはフラッ
シュメモリなどで構成され、ソフトウェアの実行時に発
生する一時的なデータを記憶する。表示部７は最終的に
復元された物体の三次元形状モデル，指定された視点か
らの物体の二次元画像，三次元形状情報取得処理及び二
次元画像取得処理における中途の情報などを表示する。

【００３７】次に、動作について説明する。図４，図５
は本発明の三次元形状情報取得方法の処理手順を示すフ
ローチャートである。なお、以下の例では、カメラの各
種のパラメータを求める手法として、因子分解法を利用
したカメラ移動軌跡復元技術を用い、三次元形状情報を
得るためのステレオ法として、マルチプルベースライン
ステレオ法を用いる。

【００３８】（ステップＳ１：ビデオカメラによる撮
影）三次元形状情報の取得対象の物体をビデオカメラに
より撮影する。この際、視差情報を与えるために、ビデ
オカメラを積極的に動かして撮影を行うことが好まし
く、急激なカメラ移動のために１フレーム内の画像に大
きなぶれが生じなければどのようにビデオカメラを動か
しても良い。但し、カメラ光軸と瞬間的なカメラの移動
方向とが同一であるような画像では後の処理を行えな
い。なお、隣接する位置で撮影された画像であまり大き
な視差がなければ、デジタルカメラ，通常のフィルムを
使用するスチルカメラで撮影した連続写真でも良い。

【００３９】（ステップＳ２：動画像の取込み）ビデオ
カメラで撮影した物体のアナログの動画像データをその
ビデオテープなどの画像媒体から読出部３にて読み出
し、そのアナログの動画像データをディジタル化してデ
ィジタルの動画像データを得る。なお、画像媒体から動
画像データを読み出すのではなく、リアルタイムでビデ
オカメラから直接動画像データを取り込むようにしても
良い。得たディジタルの動画像データを一旦画像メモリ
４に格納する。

【００４０】（ステップＳ３：動画像の前処理）後述す
る特徴点抽出処理，特徴点追跡処理を円滑に行うため
に、ディジタルの動画像にいくつかの前処理を施す。

【００４１】〔画像補間処理〕日本，アメリカなどで使
用されるビデオ映像信号規格ＮＴＳＣでは飛び越し走査
を行うので、１フィールド分の画像は櫛の歯状になって
いる。動きが激しい動画像では、奇数フィールド，偶数
フィールドでの走査時間差のために画像が水平方向に大
きく異なってしまうことがある。画像面内輝度の微分量
を用いる特徴点抽出，特徴点追跡にとって、この現象は
大きな誤差の原因となる。よって、本例では、奇数フィ
ールドまたは偶数フィールドの何れか一方のみを使用
し、他方のフィールド画像は垂直方向の補間処理によっ
て作成する。

【００４２】〔ピラミッド画像及びオプティカルフロー
計算〕各フレームで検出される点特徴を時間的に前後の
フレーム上の同一点と考えられる特徴点と結びつけるた
めにオプティカルフローを予め計算しておく。動画像
は、時間的に連続して撮影した画像であるので、時間に
関して微分可能である。三次元空間の同一の点の輝度Ｉ
が隣合うフレーム間で変化しないとすると、動画像内の
連続する２フレーム間では、以下の式（１）のような時
空間微分方程式が成り立つ。式（１）においてＩx ，Ｉ
y ，Ｉt はそれぞれ画像の水平方向，垂直方向，時間方
向についての偏微分であり、下記式（２）で示されるも
のは、水平方向と垂直方向との運動ベクトルであって、
オプティカルフローと呼ばれる。

【００４３】

【数１】

【００４４】時空間微分方程式を解くために、本例で
は、relaxation法を用いる。この手法は基本的に繰り返
し漸近法であるため、初期値がある程度解に近くなけれ
ばならない。そこで、本例では、画像を１／２，１／４
などのサイズに縮小して対応点の距離を縮めておいてこ
の手法を適用する。その後、小さな画像のオプティカル
フローを初期値として次の段階の大きな画像のオプティ
カルフローを計算する。このオプティカルフローは、特
徴点追跡データを作成するフレーム全てにわたって計算
される。

【００４５】（ステップＳ４：特徴点抽出）各フレーム
において特徴点を抽出する。三次元空間内の物体の頂点
などの特徴点は、画像内輝度の微分値がその方向に関係
なく大きく変化している位置として検出される。

【００４６】（ステップＳ５：特徴点追跡）ステップＳ
３で計算しておいたオプティカルフローを用いて、各フ
レームにおいて抽出した特徴点を連結する。オプティカ
ルフローから任意のフレーム上のある画素が次のフレー
ムでどの位置に移動するかを予測し、両フレーム間の特
徴点を三次元空間上の同一の点として連結する。この
際、ステップＳ４で述べた考えも利用する。

【００４７】（ステップＳ６：カメラ内部パラメータ自
己較正）ステップＳ５までで得られた特徴点追跡データ
から、撮影に使用したカメラの内部パラメータを較正す
る。カメラの内部パラメータには、レンズ焦点距離，画
像中心座標，画素アスペクトレシオなどがある。これら
の中で、レンズ焦点距離以外は通常のレンズでは既知で
あるので、実質的にはレンズ焦点距離のみの較正を行う
ことが一般的である。但し、画像中心座標，画素アスペ
クトレシオの較正が必要な場合もある。このステップＳ
６で具体的に示すアルゴリズムは、これらの全ての内部
パラメータを決定することができる。

【００４８】動画像内の任意の初期フレームのプロジェ
クションマトリクスをＰ₁ ＝〔Ｉ｜０〕と表せることが
知られている。これ以外のフレームでのプロジェクショ
ンマトリクスは、初期フレームとこのフレームとのファ
ンダメンタルマトリクスを用いて表すことが可能であ
る。注目するフレームのプロジェクションマトリクス
Ｐ′は下記式（３）で表せる。但し、マトリクスＭは下
記式（４）で示され、マトリクスｅ及びＦはそれぞれそ
のフレームのエピ極及びファンダメンタルマトリクスと
なる。また、行列〔 〕x は任意の３×１ベクトルに対
して下記式（５）のように定義する。

【００４９】

【数２】

【００５０】このようにして得られたプロジェクション
マトリクス及び無限遠にある平面上の絶対円錐曲線Ωと
その射影である撮像面上の円錐曲線ωとには、以下の式
（６）のような関係があることが分かっている。また、
このマトリクスΩ，ωはそれぞれ式（７），式（８）の
ような対称行列であることが知られている。

【００５１】

【数３】

【００５２】この結果から、ω₁₁＝ω₂₂，ω₁₂＝ω₁₃＝
ω₂₃＝０などの方程式が導き出されるが、マトリクスΩ
の各成分は各フレームのプロジェクションマトリクスを
用いて条件付きの線形最小二乗法を適用することにより
得ることができる。この場合、マトリクスΩのランクは
３であることが分かっているので、一度特異値分解し、
最小の固有値を０にしてマトリクスを再構成する。これ
により、第１フレームの焦点距離が得られ、得られたマ
トリクスΩを式（６）に代入することにより、その他の
フレームの焦点距離が得られる。

【００５３】（ステップＳ７：弱中心射影モデルによる
因子分解法を用いたカメラ移動軌跡の復元）カメラの内
部パラメータ及び特徴点追跡データから、カメラ移動軌
跡を復元する。ここでは、米国カーネギーメロン大学の
金出武雄教授らが開発した因子分解法を使用する。因子
分解法の特徴は、カメラ移動，物体形状に移動の滑らか
さなどの拘束条件を必要としないことであり、また、数
値計算的に安定した特異値分解を使用するために結果が
安定している。フレームｊ（ｊ＝１，…，ｍ）の画像上
の点ｉ（ｉ＝１，…，ｎ）の座標（ｘ_ij，ｙ_ij）を特徴
点の重心を原点とした座標系の座標値とする。弱中心射
影モデルでは、画像上の特徴点座標（ｘ_ij，ｙ _ij）と三
次元空間上の特徴点座標（Ｘ_i ，Ｙ_i ）には以下の式
（９）のような関係がある。

【００５４】

【数４】

【００５５】ここで、ｓ_j は物体のスケールに相対する
ｊ番目のフレームの画像スケール、ベクトルｒ_1j，ｒ_2j
はそれぞれ物体座標系に相対するｊ番目のフレームのカ
メラ座標系の回転行列の１番目，２番目の行ベクトルで
ある。物体のスケールは１番目のフレームの画像と同じ
スケール（ｓ₁ ＝１）とし、また、物体の座標系の姿勢
も１番目のフレームのカメラ座標系と同じにする（ｒ₁₁
＝〔１，０，０〕^T ，ｒ₂₁＝〔０，１，０〕^T ）。

【００５６】全てのフレームの全ての特徴点を１つの計
測行列に配置すると、下記式（10）が得られる。

【００５７】

【数５】

【００５８】カメラ移動軌跡を示すマトリクスＭ及び形
状を示すマトリクスＳは何れもランク３であるので、マ
トリクスＤのランクは３でなければならない。しかし特
徴点追跡の失敗，量子化誤差によって、４番目以降の特
異値は０にならない。そこで、特異値分解すると、下記
式（11）となり、Σ４番目以降の特異値を０にし、同時
に対応する特異ベクトルも削除する。これらをそれぞれ
マトリクスＶ′，Σ′，Ｕ′とすると、式（12）とし
て、マトリクスＤを再構成したマトリクスＤ′を得る。

【００５９】

【数６】

【００６０】このマトリクスＤ′は、下記（13）を最小
にするランク３の行列である。マトリクスＤ′からマト
リクスＭ，Ｓを求めたいが、マトリクスＭ，Ｓの組合せ
は唯一ではない。なぜなら、任意の３×３の正則マトリ
クスＣが下記式（14）を満たすからである。

【００６１】

【数７】

【００６２】そこで、下記式（15）の関係を満たすマト
リクスＣを求める。弱中心投影の拘束条件から以下の式
（16）のようになることが知られている。

【００６３】

【数８】

【００６４】この式（16）から、下記式（17）を満たす
マトリクスＢを考えると、マトリクスＢの６個の成分に
関する（２ｍ＋１）個の線形方程式が得られる。これら
の方程式から最小二乗法によりマトリクスＢの成分を決
定し、更に、ｒ_1j＝〔１，０，０〕^T ，ｒ_2j＝〔０，
１，０〕^T の条件を加えて、マトリクスＣを得ることが
できる。このマトリクスＣより、以下の式（18）のよう
にカメラ移動軌跡が決まる。

【００６５】

【数９】

【００６６】なお、ここで、以下の式（19）から形状を
求めることは可能であるが、この形状は特徴点の追跡結
果のみから求められたものであって、その精度は低いの
で、本例では採用しない。

【００６７】

【数１０】

【００６８】（ステップＳ８，Ｓ９：特徴点追跡の評
価）ステップＳ５で得られた特徴点追跡結果を、復元さ
れたカメラ移動軌跡で誤差評価し、追跡が失敗している
と考えられる追跡データを除去する。

【００６９】ステップＳ６で得られたカメラの内部パラ
メータ及びステップＳ７で得られたカメラ移動軌跡を用
いて、各フレーム画像間のファンダメンタルマトリクス
を求める。このファンダメンタルマトリクスＦは、具体
的には下記式（20）で求められる。ここで、マトリクス
Ａはカメラの内部パラメータを表し、具体的には下記式
（21）で表される。但し、画素中心を（０，０）、アス
ペクトレシオは１：１としている。またマトリクスＥ
は、エッセンシャルマトリクスと呼ばれ、具体的には下
記式（22）で示される。なお、マトリクスＲは、カメラ
移動の中の回転を表す。

【００７０】

【数１１】

【００７１】このようにして得られたファンダメンタル
マトリクスから、特徴点に対応する隣合うフレーム上の
エピ極線を得ることができる。いま注目している特徴点
は、隣合うフレームではこのエピ極線にのっているはず
である。そこで、隣合うフレームでの特徴点位置とその
特徴点がのっているはずのエピ極線との距離が、追跡精
度の評価基準として用いられる。それは、具体的には下
記式（23）で示される。

【００７２】

【数１２】

【００７３】式（23）において、ωが大きいほど精度が
良い。このωの値が所定の閾値を超えた場合に、追跡失
敗としてその特徴点のデータをカメラ移動追跡データか
ら削除する。このアルゴリズムでは、マトリクスＦ自体
の計算に追跡を失敗した特徴点のデータが含まれている
ので、ステップＳ６に戻ってより正しいマトリクスＦを
求める必要がある。このようなサイクルを複数回繰り返
すことにより、後続のマルチプルベースラインステレオ
法のアルゴリズムの適用に耐えうる精度を持つデータを
得ることができる。

【００７４】（ステップＳ10：パースペクティブモデル
による非線形最小二乗法を用いたカメラ移動軌跡の復
元）ステップＳ７で用いた弱中心投影モデルは、画像座
標と三次元座標とが線形の関数で表現されているが、実
際のカメラでは中心投影モデルが妥当であり、これは、
以下の式（24）のような非線形な関係を持つ。なお、ｆ
は焦点距離である。

【００７５】

【数１３】

【００７６】そこで、下記式（25）のような評価関数を
設定する。

【００７７】

【数１４】

【００７８】この式（25）は、三次元物体が三次元運動
を経て射影される像と、実際に得られる画像との距離誤
差の自乗和である。ステップＳ７で得られるカメラ移動
と形状の復元結果とを初期値とし、Levenberg-Marguard
t 法を用いてこの非線形最小二乗問題を解く。これによ
り、更に精度が高いカメラ移動軌跡を復元する。

【００７９】（ステップＳ11：ベース画像の決定）復元
されたカメラ移動軌跡及び特徴点の座標値に基づき、後
続するマルチプルベースラインステレオ法に用いるベー
ス画像を決定する。マルチプルベースラインステレオ法
では、距離画像を生成しようとする画像（フレーム）を
ベース画像と呼ぶ。また、その距離画像を生成するため
に参照する複数の画像（フレーム）を参照画像と呼ぶ。
ビデオカメラで撮影した場合、どの複数フレームをベー
ス画像にしても距離画像は得られるが、物体の形状によ
ってはベース画像の選択により正確な三次元モデルを期
待できない場合がある。

【００８０】図６は、この理由を説明するための図であ
る。図６（ａ）に示す例では、対象となる物体10の面と
ビデオカメラ11の光軸とのなす角αが、直角から大きく
ずれているので、データ密度，精度が何れも悪くなる。
これに対して図６（ｂ）に示す例では、この角αが直角
に近いので、データ密度，精度が何れも良好となる。

【００８１】そこで、ステップＳ４で抽出した特徴点に
対しドロネーメッシュ生成を行う。ステップＳ10で求め
た特徴点の三次元空間での座標値をこのメッシュに対し
て与え、物体の大まかな三次元形状モデルを得る。この
三次元形状モデルとカメラ移動軌跡とから各フレームが
この物体の距離画像を生成するのにどれだけ適している
かを評価する。この際の具体的な評価値は下記式（26）
で与える。なお、ｓ_ijはｊ番目のフレームで見えるｉ番
の三角パッチが注目するフレーム中の像の面積である。
また、ベクトルｎ_ijはｊ番目のフレームで見えるｉ番の
三角パッチの代表法線ベクトルである。また、ベクトル
ｃ_j はｊ番目のフレームのカメラｚ軸を表す単位ベクト
ルである。

【００８２】

【数１５】

【００８３】式（26）で示される評価値は、注目するフ
レームでの物体面の見えやすさを表す。この評価値によ
りベース画像候補を決定するが、このままでは特定の方
向から撮影されたフレームばかりに偏る恐れがあるの
で、カメラ移動軌跡を所定距離で適当に分割し、それぞ
れのカメラ移動軌跡セグメント内で上記の処理を行っ
て、それぞれで評価値が高いフレームをベースフレーム
とする。

【００８４】（ステップＳ12：Zeta方向の範囲の決定）
後続するマルチプルベースラインステレオ処理では、Ｓ
ＳＳＤ（Sum of Sum of Squared Difference）と呼ばれ
るベース画像と参照画像との各部分の相関を評価するプ
ロファイルを作成する。ベース画像の各画素毎に奥行き
に沿ってＳＳＳＤプロファイルは作成されるが、これは
非常に計算コストが高い処理であり、計算する奥行きの
領域（カメラの中心から物体表面での距離）によって全
体の処理時間がほぼ決まる。

【００８５】ところが、物体表面がカメラの中心からど
れほど離れているかは、通常形状復元が終了しないと分
からないので、厳密にはステレオ視に用いた視差を検出
できる奥行きまでＳＳＳＤプロファイルを作成しなけれ
ばならない。しかし、それほど遠くまでの距離画像を必
要とすることは通常考えられず、また、ＳＳＳＤプロフ
ァイル作成に要する時間が莫大すぎて現実的でない。

【００８６】そこで、ステップＳ10で求めた物体の特徴
点の座標値に基づいて、このＳＳＳＤプロファイル作成
の領域を決定する。そのフレームから見て、最も近い特
徴点と最も遠い特徴点とを使い、両点の間をＳＳＳＤプ
ロファイル作成領域とする。これにより、比較的短時間
でマルチプルベースラインステレオ法による形状復元を
達成することができる。

【００８７】（ステップＳ13，Ｓ14：マルチプルベース
ラインステレオ法による形状復元）ステップＳ６で得ら
れたカメラの内部パラメータ、ステップＳ10で得られた
正確なカメラ移動軌跡、並びに、ステップＳ11で決定し
たベース画像及びその前後の複数の参照フレームに基づ
いて、マルチプルベースラインステレオ法のアルゴリズ
ムを実行して、各ベースフレームの密な距離画像を生成
する。

【００８８】ステレオ視では、ベース画像上の特定の点
とそれに対応する参照画像上の点とを検索し、これらの
２つの点から視差を求め、カメラ位置間の距離を使って
奥行きを同定する。対応点の決定と奥行きの同定とは次
のように行う。

【００８９】ベース画像及び参照画像上に10×10画素程
度の大きさのマスクを設け、これらの２つのマスク内の
画素毎の輝度の差を二乗和したものをＳＳＤ（sum of s
quared difference)と呼ぶ。予め与えられたマトリクス
Ｆからベース画像上のマスクの中心位置に対応する参照
画像上のエピ極線を求め、これに沿って参照画像上のマ
スクを移動しなからＳＳＤを計算する。よって、エピ極
線に沿ったＳＳＤプロファイルが生成されるが、エピ極
線上の位置は奥行きに対応するので、これは奥行きに対
するＳＳＤプロファイルとも言える。このＳＳＤプロフ
ァイルが最小値を示すエピ極線上の位置が対応点であ
り、奥行きであると推定できる。

【００９０】しかしながら、例えば２つのカメラ位置が
水平な位置関係をなして、垂直な棒を何本も等間隔で並
べたようなシーンを想定した場合、ＳＳＤプロファイル
はいくつもの良く似た局所的な最小値を持つことになっ
て、奥行きを同定できない。そこで、３つ以上のカメラ
位置が水平な位置関係をなすようにして、同じシーンに
ついて処理を行う。ここで、下記式（27）で定義するよ
うなＳＳＳＤを考える。図７は、式（27）における各パ
ラメータの関係を示す図である。

【００９１】

【数１６】

【００９２】但し、 ベクトルｍ：ベース画像上の注目する画素を表すＮベク
トル ベクトルｍ′：ベース画像上の注目する画素のまわりに
設定したマスクに含まれる画素 α：ベース画像上の注目する画素からの距離 Ｎ〔 〕：正規化作用素 ｄΩ：微小立体角 ｆ_i （ ）：輝度関数 マトリクスＲ_i ：ｉフレームのカメラの回転マトリクス ベクトルＢ_i ：ｉフレームのカメラの平行移動ベクトル

【００９３】式（27）は、ＳＳＤを複数の参照画像分だ
け加算したことを意味する。奥行きを横軸にとってＳＳ
Ｄをグラフ化した場合、各ＳＳＤは複数の局所的な最小
値を持つ。どの参照画像から得られたＳＳＤも本当の表
面のある奥行きで最小値を持つ。それ以外の局所的な最
小値は、カメラの位置によってずれるので、加算したＳ
ＳＳＤでは平均化されて消えてしまうが、正しい最小値
では鮮明な谷部を形成する。このようにして、唯一の明
確な最小値が安定して検出され、奥行きが同定される。
ベース画像の全画素に対してこの処理を行い、密な距離
画像を安定して得ることができる。

【００９４】ＳＳＳＤの生成は非常に計算コストが高い
ので、ステップＳ12で求めたＳＳＳＤ計算範囲内でも多
数の奥行きに関してＳＳＳＤを計算した場合には全体の
処理時間が莫大になってしまう。そこで、30程度の奥行
きに関してＳＳＳＤを計算し、これを通るスプライン曲
線を求め、補間により滑らかなＳＳＳＤプロファイルを
決定する。この決定したプロファイルから解析的に全体
的な最小値を検出して、奥行きを同定する。

【００９５】（ステップＳ15：三角パッチモデル生成）
ステップＳ11で決定されたベース画像において、ステッ
プＳ13のマルチプルベースラインステレオ処理により復
元された距離画像から、三角パッチモデルを生成する。

【００９６】距離画像は、基本的に三次元座標値を持つ
点の集まりに過ぎない。そこで、三次元空間上で隣合う
と思われる３個の点を一まとめにして微小な三角ポリゴ
ン（パッチ）を生成し、それらの集合によって複雑な物
体面を形成して、表示部７に表示する。簡易な手法とし
ては、一枚の距離画像内の画素の隣接関係は三次元空間
上の隣接関係をほぼ保持していることを利用して、例え
ば注目する画素とその左隣及び下隣の画素とを使って微
小な三角ポリゴンを生成し、同様の処理を距離画像内の
全ての画素に適用する。

【００９７】この手法は、安定して高速に三角バッチモ
デルを生成できる利点がある。しかし、複数のベース画
像（視点）で生成された距離画像内の画素同士は適切な
隣接関係を持たない。そこで、エピ極線拘束などを用い
て隣合う距離画像内の画素の対応をとるなどの手法が考
えられるが、処理が複雑になり、さまざまな場合分けを
必要とする。そこで、点の隣接関係が全く与えられてい
なくても、その座標値のみから適切な３個の点をまとめ
て三角ポリゴンを生成するマーチングキューブアルゴリ
ズムを適用する。

【００９８】まず、上記の二次元画像の隣接関係を利用
した三角バッチ生成アルゴリズムを全ての距離画像に対
して適用する。次に、全ての距離画像からデータが占め
る空間のそれぞれの座標軸方向の最小値，最大値を求め
る。これらの値に基づき、ボクセル空間を設定する。距
離画像上の三次元座標値を含むセルの中心に“１”、そ
れ以外に“０”を配置する。隣接する８個のセルの中心
を結んで立方体を作成する。これをマーチングキューブ
と呼ぶ。このマーチングキューブの８個の頂点には、
“０”または“１”が配置されているので、その配置パ
ターンは２⁸ ＝256 種類も存在する。しかし、幾何学的
に対称（回転形，反射形，“０”と“１”との反転形な
ど）であるものを同じと考えると、最終的には15種類の
配置にまで減らすことができる。この15種類のパターン
にそれぞれに生成する三角ポリゴンの形状を定義し、全
てのキューブにそのパターンをあてはめることにより、
全体として三角ポリゴンを生成することができる。

【００９９】次に、ユーザから指定された任意の視点
（指定された任意の位置，姿勢を有する仮想カメラ）か
らの物体の二次元画像を取得する動作について説明す
る。図８，図９は本発明の二次元画像取得方法の処理手
順を示すフローチャートである。なお、以下の例では、
物体の二次元画像を取得する手法として、ＩＢＲ（イメ
ージベースドレンダリング）を用いる。

【０１００】（ステップＳ１〜ステップＳ14）このステ
ップＳ１〜Ｓ14の処理は、前述した三次元形状情報取得
の処理手順と同じであるので、それらの各処理について
は同じステップ番号を付して説明を省略する。

【０１０１】（ステップＳ21，Ｓ22：物体の二次元画像
の取得）ステップＳ１〜ステップＳ14にて求められたカ
メラの各種パラメータ，撮影画像及び物体の三次元形状
情報を用いて、ＩＢＲを実行する。このＩＢＲ処理は２
つのステップに分けられる。

【０１０２】第１のステップとして、物体を含むボクセ
ル空間を構築し、そのボクセル空間の各ボクセルに色を
割り当てる。このボクセル空間は、上述のマルチプルベ
ースラインステレオ法で得られた全ての距離画像に基づ
いて決定される。

【０１０３】具体的には、全ての距離画像と、それらを
計測したカメラの位置から算出される全三次元座標の
ｘ，ｙ，ｚ値の最大値，最小値とを用いて直方体状の領
域を設定し、この領域をボクセル空間とする。次に、適
当な間隔でボクセル空間を分割して、各ボクセルを発生
させる。次に、マルチプルベースラインステレオ法で生
成された距離画像から計算される点群をこのボクセル空
間に発生させる。

【０１０４】Steven M.Seitzらが開発した手法（”Towa
rd Interactive Scene Walkthroughs from Images"）で
は、ボクセル空間内の全てのボクセルについて処理を行
って割り当てるべき色を選定するが、この手法では処理
に莫大な時間を要する。そこで、本例では、マルチプル
ベースラインステレオ法で生成した距離画像を用いて処
理時間を短縮できるようにする。

【０１０５】ある三次元の点について、この点とカメラ
中心とを結ぶ直線に垂直な平面を設定し、この点を含む
距離画像の画素の大きさをこの平面に反映させる。具体
的には、カメラ中心と矩形画素の四隅とを結ぶ直線を、
設定した平面と交差させ、平面上に矩形を発生させる。
この矩形を含むボクセルには、面が存在するとしてフラ
グを立てておく。図10は、この概念を示す図である。

【０１０６】次に、このフラグが立っているボクセルに
ついてのみ、以下の処理を行う。注目しているボクセル
と各カメラ中心とを結ぶ直線を走査して、フラグが立っ
ている他のボクセルを通過していないことを確認する。
フラグが立っている他のボクセルを通過している場合に
はオクルージョンが起こっているはずであるので、その
カメラの画像はボクセルの色を決定する処理から除外す
る。オクルージョンが起こっていない場合の撮像面の交
点となる画素の色がボクセルに割り当てる色の候補とな
る。各ボクセルには、これらの複数の画素の色候補の平
均値を割り当てる。

【０１０７】マルチプルベースラインステレオ法で処理
を失敗している距離画像の画素の存在が考えられる。こ
の場合には、色候補の標準偏差を用いた下記式（28）で
定義する評価関数Ｅについて、適当な閾値を設けて閾値
以下になるものに関しては色を割り当てず、またフラグ
も削除する。式（28）において、ｓは色候補の標準偏
差、σはカメラ撮像デバイスの輝度値の標準偏差、ｍ−
１は自由度を表し、これらの色候補及び輝度値はχ² 分
布に従うとする。

【０１０８】

【数１７】

【０１０９】第２ステップでは、上述したように各ボク
セル毎に色が割り当てられたボクセル空間を用いて、任
意の位置，姿勢の仮想カメラで得られる二次元画像を生
成する。この際、色が割り当てられたボクセル空間を仮
想カメラ撮像面に単純な透視変換する手法を採用する。
即ち、下記式（29）に従って、仮想カメラ撮像面での位
置を算出する。式（29）において、ｘ，ｙは撮像面での
二次元座標値、ｆは焦点距離、Ｘ，Ｙ，Ｚはボクセル中
心の三次元座標値、マトリクスＴr は世界座標系をカメ
ラ座標系に変換する４×４のマトリクスである。

【０１１０】

【数１８】

【０１１１】なお、オクルージョンの場合を除外しても
撮像面上の１つの画素に２つ以上のボクセルが対応付け
られることもあり得る。このようなときには、それらの
平均値を用いる。

【０１１２】次に、本発明の具体例について説明する。
図11は、対象となる物体10のビデオカメラ11による撮影
状態を示す模式図であり、本例の物体10は、立方体の一
面に球の一部をくっつけた形状をなしている。ビデオカ
メラ11を移動，回転させながら、静止しているこのよう
な物体10を種々の角度から撮影して、動画像を得る。

【０１１３】図12は、前述のステップＳ４に従って抽出
した特徴点（□）を示す図である。特徴点は、物体10の
頂点の位置に出やすいが、滑らかな曲面では表面の模様
などに応じてランダムに出る。

【０１１４】また、図13は、前述のステップＳ５に従っ
た特徴点追跡を模式的に示したものであり、２つのフレ
ーム間における特徴点の移動（□から○）を追跡した結
果を示している。

【０１１５】図14は、前述のステップＳ13に従ってマル
チプルベースラインステレオ法により復元した距離画像
に基づいて、前述のステップＳ15に従って生成した物体
10の三角パッチモデルを示す図である。また、図15は、
本発明の比較例である、特徴点の追跡結果のみを用いた
因子分解法により復元した三次元モデルを示す図であ
る。この比較例では、立方体の部分は正確に復元されて
いるが、球の部分は粗い多面体として復元されていて復
元精度が低い。これに対して、本発明の例では、細かな
三角パッチで物体10を表現しているので、立方体の部分
は勿論のこと、球の部分も正確に復元できている。この
ような三次元モデルの構築処理の手法は、物体の三次元
形状そのものを計測する場合に適した手法である。

【０１１６】また、本発明では、前述のステップＳ21に
従って、カメラのパラメータ, 撮影画像，物体の三次元
形状情報を用いて、任意の視点からの二次元画像を得る
ことができる。このような二次元画像の取得処理の手法
は、ディスプレイなどでの物体の表示機能を主目的とし
た仮想現実システム，訓練シミュレーション等に好適な
手法である。

【０１１７】図16は、本発明の三次元形状情報取得装
置，二次元画像取得装置及び記録媒体の構成例を示す図
である。ここに例示するプログラムは、図４，図５に示
すステップＳ２〜Ｓ15または図８，図９に示すステップ
Ｓ２〜Ｓ14，Ｓ21，Ｓ22を含んでおり、以下に説明する
記録媒体に記録されている。

【０１１８】図16において、コンピュータ20とオンライ
ン接続する記録媒体21は、コンピュータ20の設置場所か
ら隔たって設置される例えばＷＷＷ(World Wide Web)の
サーバコンピュータを用いてなり、記録媒体21には前述
の如きプログラム21a が記録されている。三次元形状情
報取得装置及び二次元画像取得装置として機能するコン
ピュータ20が、記録媒体21から読み出されたプログラム
21a の制御により、物体の三次元形状の情報を取得した
り、指定された任意の視点からの物体の二次元画像を取
得したりする。

【０１１９】コンピュータ20の内部に設けられた記録媒
体22は、内蔵設置される例えばハードディスクドライブ
またはＲＯＭなどを用いてなり、記録媒体22には前述の
如きプログラム22a が記録されている。三次元形状情報
取得装置及び二次元画像取得装置として機能するコンピ
ュータ20が、記録媒体22から読み出されたプログラム22
a の制御により、物体の三次元形状の情報を取得した
り、指定された任意の視点からの物体の二次元画像を取
得したりする。この記録媒体22の例は、図３のＲＯＭ５
に該当する。

【０１２０】コンピュータ20に設けられたディスクドラ
イブ20a に装填して使用される記録媒体23は、運搬可能
な例えば光磁気ディスク，ＣＤ−ＲＯＭまたはフレキシ
ブルディスクなどを用いてなり、記録媒体23には前述の
如きプログラム23a が記録されている。三次元形状情報
取得装置及び二次元画像取得装置として機能するコンピ
ュータ20が、記録媒体23から読み出されたプログラム23
a の制御により、物体の三次元形状の情報を取得した
り、指定された任意の視点からの物体の二次元画像を取
得したりする。

【０１２１】なお、上記例では、静止している物体を移
動しているカメラで撮影して物体の動画像を得るように
したが、これとは逆に、移動している物体を静止してい
るカメラで撮影して物体の動画像を得るようにしても良
い。また、物体及びカメラの何れもが移動している状況
で、物体の動画像を得るようにしても良い。

【０１２２】図17は、移動する物体を静止しているカメ
ラで撮影するようにした本発明の他の実施の形態を示す
図である。図17に示すように、標準的なビデオカメラ11
を三脚12に固定させ、対象となる物体10をターンテーブ
ル13上に載せてターンテーブル13を回転させる。なお、
物体10が移動しても背景の画像が一定となるように、例
えば白布14を物体10の後方に設けておく。そして、回転
する物体10を固定したビデオカメラ11で撮影した動画像
から、上述した同様の方法に従って、物体10の三次元形
状を復元する。このようなシステムでは、ビデオカメラ
11の内部パラメータ，外部パラメータ、ターンテーブル
13の回転角度などの情報を必要としない。ターンテーブ
ル13の回転が、物体10に対する相対的なビデオカメラ11
の移動軌跡として計算される。

【０１２３】なお、上記例では、物体の三次元形状モデ
ルを求める際に、マルチプルベースラインステレオ法を
利用したが、volumetric iterative approach to stere
o matching and occlusion detection法などの他の手法
を利用しても良いことは勿論である。

【０１２４】

【発明の効果】以上のように本発明では、予めキャリブ
レーションされていないカメラで物体を撮影した動画像
からカメラの各種のパラメータ（内部パラメータ及び移
動軌跡）を求め、その求めたパラメータと動画像とを用
いてステレオ法に従って物体の三次元形状の情報を取得
するようにしたので、カメラのキャリブレーションが不
要であってカメラを固定するための装置も不要であり、
非常に容易に物体の三次元形状情報を得ることができ、
しかも物体の復元形状の精度が極めて高い三次元形状情
報を得ることができる。

【０１２５】また本発明では、予めキャリブレーション
されていないカメラで物体を撮影した動画像からカメラ
の各種のパラメータ（内部パラメータ及び移動軌跡）を
求めると共に物体の三次元形状情報を求め、その求めた
パラメータ及び三次元形状情報と動画像とを用いて任意
の視点からの物体の二次元画像を取得するようにしたの
で、カメラのキャリブレーションが不要であってカメラ
を固定するための装置も不要であり、任意の視点からの
物体の高品質の二次元画像を非常に容易に呈示すること
ができる。

【図面の簡単な説明】

【図１】本発明による三次元形状情報取得方法の概念を
示す図である。

【図２】本発明による二次元画像取得方法の概念を示す
図である。

【図３】本発明の三次元形状情報取得装置及び二次元画
像取得装置の構成を示すブロック図である。

【図４】本発明の三次元形状情報取得方法の処理手順を
示すフローチャートである。

【図５】本発明の三次元形状情報取得方法の処理手順を
示すフローチャートである。

【図６】対象となる物体とカメラの光軸との位置関係を
示す図である。

【図７】ＳＳＳＤの計算式における各種パラメータを示
す図である。

【図８】本発明の二次元画像取得方法の処理手順を示す
フローチャートである。

【図９】本発明の二次元画像取得方法の処理手順を示す
フローチャートである。

【図１０】ＩＢＲにおける距離画像とボクセル空間との
関係を示す図である。

【図１１】対象となる物体のビデオカメラによる撮影状
態を示す模式図である。

【図１２】抽出した特徴点のパターン例を示す図であ
る。

【図１３】特徴点追跡のパターン例を示す図である。

【図１４】本発明により復元した物体の三次元モデルを
示す図である。

【図１５】比較例により復元した物体の三次元モデルを
示す図である。

【図１６】三次元形状情報取得装置，二次元画像取得装
置及び記録媒体の構成例を示す図である。

【図１７】本発明の他の実施の形態を示す図である。

【符号の説明】

１ 主制御部（ＣＰＵ） ４ 画像メモリ ５ ＲＯＭ ６ ＲＡＭ 10 物体 11 ビデオカメラ 20 コンピュータ 21，22，23 記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者 安田 勝也 大阪府大阪市東住吉区公園南矢田４−25− ９−208

Claims (15)

【特許請求の範囲】
1. 【請求項１】 物体に対して相対的に移動するカメラで
   撮影した前記物体の画像から前記物体の三次元形状の情
   報を得る方法において、撮影した撮影画像に基づいて前
   記カメラの内部パラメータ及び前記カメラの撮影時の前
   記物体に対する相対的な移動軌跡を求める第１ステップ
   と、求めた内部パラメータ及び移動軌跡と前記撮影画像
   とを用いてステレオ法に従って前記物体の三次元形状の
   情報を得る第２ステップとを有することを特徴とする三
   次元形状情報取得方法。
2. 【請求項２】 静止している物体を移動しているカメラ
   で撮影して前記物体の撮影画像を得る請求項１記載の三
   次元形状情報取得方法。
3. 【請求項３】 移動している物体を静止しているカメラ
   で撮影して前記物体の撮影画像を得る請求項１記載の三
   次元形状情報取得方法。
4. 【請求項４】 前記第１ステップは、前記撮影画像内の
   任意の１フレームにおける特徴点を抽出するステップ
   と、その抽出した特徴点を前記撮影画像内の複数フレー
   ムにわたって追跡するステップと、その追跡結果に基づ
   いて前記内部パラメータ及び移動軌跡を求めるステップ
   とを含む請求項１〜３の何れかに記載の三次元形状情報
   取得方法。
5. 【請求項５】 一旦求めた移動軌跡を用いて前記特徴点
   の移動方向を予測し、その予測結果と前記特徴点の追跡
   結果とを比較し、その比較結果に基づいて前記特徴点の
   追跡結果を修正し、その修正後の追跡結果に基づいて前
   記内部パラメータ及び移動軌跡を再び求める請求項４記
   載の三次元形状情報取得方法。
6. 【請求項６】 前記特徴点の追跡結果に基づいて前記カ
   メラの移動軌跡を求める際に、因子分解法を利用する請
   求項１〜５の何れかに記載の三次元形状情報取得方法。
7. 【請求項７】 前記ステレオ法として、マルチプルベー
   スラインステレオ法を用いる請求項１〜６の何れかに記
   載の三次元形状情報取得方法。
8. 【請求項８】 物体に対して相対的に移動するカメラで
   撮影した前記物体の画像から前記物体の三次元形状の情
   報を得る装置において、撮影した撮影画像に基づいて前
   記カメラの内部パラメータ及び前記カメラの撮影時の前
   記物体に対する相対的な移動軌跡を求める手段と、求め
   た内部パラメータ及び移動軌跡と前記撮影画像とを用い
   てステレオ法に従って前記物体の三次元形状の情報を得
   る手段とを備えることを特徴とする三次元形状情報取得
   装置。
9. 【請求項９】 前記物体に対して相対的に移動する前記
   カメラを更に備える請求項８記載の三次元形状情報取得
   装置。
10. 【請求項１０】 請求項１〜７の何れかに記載の三次元
    形状情報取得方法によって得られる情報を用いて、任意
    の視点からの前記物体の二次元画像を取得する方法であ
    って、前記第１ステップで求めた内部パラメータ及び移
    動軌跡と前記撮影画像と前記第２ステップで得た三次元
    形状の情報とを用いて、任意に指定された視点からの前
    記物体の二次元画像を取得することを特徴とする二次元
    画像取得方法。
11. 【請求項１１】 物体に対して相対的に移動するカメラ
    で撮影した前記物体の画像に基づいて任意の視点からの
    前記物体の二次元画像を取得する方法において、撮影し
    た撮影画像に基づいて前記カメラの内部パラメータ及び
    前記カメラの撮影時の前記物体に対する相対的な移動軌
    跡を求める第１ステップと、求めた内部パラメータ及び
    移動軌跡と前記撮影画像とを用いて前記物体の三次元形
    状情報を求める第２ステップと、求めた内部パラメータ
    及び移動軌跡と前記撮影画像と求めた三次元形状情報と
    を用いて、任意に指定された視点からの前記物体の二次
    元画像を取得する第３ステップとを有することを特徴と
    する二次元画像取得方法。
12. 【請求項１２】 前記物体の二次元画像を取得する際
    に、イメージベースドレンダリングを利用する請求項１
    ０または１１の何れかに記載の二次元画像取得方法。
13. 【請求項１３】 物体に対して相対的に移動するカメラ
    で撮影した前記物体の画像に基づいて任意の視点からの
    前記物体の二次元画像を取得する装置において、撮影し
    た撮影画像に基づいて前記カメラの内部パラメータ及び
    前記カメラの撮影時の前記物体に対する相対的な移動軌
    跡を求める手段と、求めた内部パラメータ及び移動軌跡
    と前記撮影画像とを用いて前記物体の三次元形状情報を
    求める手段と、求めた内部パラメータ及び移動軌跡と前
    記撮影画像と求めた三次元形状情報とを用いて、任意に
    指定された視点からの前記物体の二次元画像を取得する
    手段とを備えることを特徴とする二次元画像取得装置。
14. 【請求項１４】 物体に対して相対的に移動するカメラ
    で撮影した前記物体の画像から前記物体の三次元形状の
    情報を得るためのプログラムを記録してあるコンピュー
    タでの読み取り可能な記録媒体において、撮影した撮影
    画像に基づいて前記カメラの内部パラメータ及び前記カ
    メラの撮影時の前記物体に対する相対的な移動軌跡を求
    めることを前記コンピュータに実行させるプログラムコ
    ード手段と、求めた内部パラメータ及び移動軌跡と前記
    撮影画像とを用いてステレオ法に従って前記物体の三次
    元形状の情報を得ることを前記コンピュータに実行させ
    るプログラムコード手段とを有することを特徴とする記
    録媒体。
15. 【請求項１５】 物体に対して相対的に移動するカメラ
    で撮影した前記物体の画像に基づいて任意の視点からの
    前記物体の二次元画像を取得するためのプログラムを記
    録してあるコンピュータでの読み取り可能な記録媒体に
    おいて、撮影した撮影画像に基づいて前記カメラの内部
    パラメータ及び前記カメラの撮影時の前記物体に対する
    相対的な移動軌跡を求めることを前記コンピュータに実
    行させるプログラムコード手段と、求めた内部パラメー
    タ及び移動軌跡と前記撮影画像とを用いて前記物体の三
    次元形状情報を得ることを前記コンピュータに実行させ
    るプログラムコード手段と、求めた内部パラメータ及び
    移動軌跡と前記撮影画像と求めた三次元形状情報とを用
    いて、任意に指定された視点からの前記物体の二次元画
    像を取得することを前記コンピュータに実行させるプロ
    グラムコード手段とを有することを特徴とする記録媒
    体。