JPH1188910A - ３次元モデル生成装置、３次元モデル生成方法、３次元モデル生成プログラムを記録した媒体、３次元モデル再生装置、３次元モデル再生方法及び３次元モデル再生プログラムを記録した媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ３次元モデル生成装置、３次元モデル生成方
法、３次元モデル生成プログラムを記録した媒体、３次
元モデル再生装置、３次元モデル再生方法及び３次元モ
デル再生プログラムを記録した媒体。 【解決手段】 被写体を異なる視点で撮影して互いに視
野の重なる複数の被写体画像を取得し、取得した画像デ
ータのカメラパラメータを記憶し、画像データをそれぞ
れ１画面分記憶し、記憶されている画像データから視差
分布を抽出し、少なくとも１つの画像データから被写体
領域を抽出し、視差分布と、被写体領域とから、被写体
領域内の視差を用いて被写体の３次元形状モデルを近似
して、モデル形式と近似パラメータを出力し、被写体の
モデル形式及び近似パラメータと、記憶されているカメ
ラパラメータと、被写体領域とから、被写体の３次元形
状モデルを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで撮影した
画像から３次元シーンのモデルを作成する３次元モデル
生成装置、３次元モデル生成方法及び３次元モデル生成
プログラムを記録した媒体、並びに、作成した３次元シ
ーン中をウォークスルー再生可能な３次元モデル再生装
置、３次元モデル再生方法及び３次元モデル再生プログ
ラムを記録した媒体に関する。

【０００２】

【従来の技術】従来より、３次元ＣＧ等のシステムによ
り、３次元の物体または複数の３次元物体を含むシーン
のモデルを作成して、ユーザが移動、回転、等の操作を
指示することにより、ＣＧで作成した３次元空間内を仮
想的にウォークスルーできるシステムが知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、前記従
来例のシステムにおいては、ＣＧ画像を作成することは
非常に複雑な作業を必要とした。また、一般にＣＧで作
成した３次元物体の表面は単一色であり、現実の物体は
表面に様々なテクスチャを持っているため、ウォークス
ルー時の臨場感が欠けるものであった。そのためにカメ
ラで撮影した画像を３次元物体の表面にテクスチャとし
て貼り付けて、物体を構成することも可能であるが、モ
デルを作成することが、さらに複雑になる。

【０００４】本出願に係る第１の発明の目的は、前記問
題点を解決し、カメラで撮影した画像を３次元モデルに
テクスチャとして貼り付けて、３次元空間内を仮想的に
ウォークスルーできる３次元モデルを複雑な作業を行う
ことなく生成できる装置を提供することである。

【０００５】本出願に係る第２の発明の目的は、カメラ
で撮影した画像を３次元モデルにテクスチャとして貼り
付けて、複雑な作業を行うことなく３次元空間内を仮想
的にウォークスルーできる装置を提供することである。

【０００６】本出願に係る第３の発明の目的は、カメラ
で撮影した画像を３次元モデルにテクスチャとして貼り
付けて、３次元空間内を仮想的にウォークスルーできる
３次元モデルを複雑な作業を行うことなく生成できる方
法およびその方法を実行する処理プログラムを提供する
ことである。

【０００７】本出願に係る第４の発明の目的は、カメラ
で撮影した画像を３次元モデルにテクスチャとして貼り
付けて、複雑な作業を行うことなく３次元空間内を仮想
的にウォークスルーできる方法およびその方法を実行す
る処理プログラムを提供することである。

【０００８】従って、本発明の目的は、３次元モデル生
成装置、３次元モデル生成方法、３次元モデル生成プロ
グラムを記録した媒体、３次元モデル再生装置、３次元
モデル再生方法及び３次元モデル再生プログラムを記録
した媒体を提供することにある。

【０００９】

【課題を解決するための手段】本発明の３次元モデル生
成装置は、被写体を異なる視点で撮影して互いに視野の
重なる複数の被写体画像を取得してその画像データを出
力する画像データ取得手段と、画像データ取得手段で取
得した画像データのカメラパラメータを記憶するカメラ
パラメータ記憶手段と、画像データ取得手段から出力さ
れた画像データをそれぞれ１画面分記憶する第１と第２
の画像記憶手段と、第１と第２の画像記憶手段に記憶さ
れている画像データから視差分布を抽出し、出力する視
差抽出手段と、第１と第２の画像記憶手段に記憶されて
いる画像データのうち少なくとも１つの画像データから
被写体領域を抽出し、出力する被写体領域抽出手段と、
視差抽出手段の出力である視差分布と、被写体領域抽出
手段の出力である被写体領域とから、被写体領域内の視
差を用いて被写体の３次元形状モデルを近似して、モデ
ル形式と近似パラメータを出力する被写体形状モデル近
似手段と、被写体形状モデル近似手段の出力である被写
体のモデル形式及び近似パラメータと、カメラパラメー
タ記憶手段に記憶されているカメラパラメータと、被写
体領域抽出手段の出力である被写体領域とから、被写体
の３次元形状モデルを生成する被写体モデル生成手段と
を備えている。

【００１０】本発明の３次元モデル再生装置は、上述の
３次元モデル生成装置と、３次元モデル生成装置で生成
した被写体の３次元形状モデルと、複数の被写体画像の
うち少なくとも１つの画像と、画像の被写体領域とか
ら、仮想３次元空間に被写体モデルと仮想カメラとを設
定して透視投影により仮想画像を生成する仮想画像生成
手段と、仮想画像を表示する表示手段と、仮想カメラの
パラメータを操作する仮想カメラ操作手段とを備え、仮
想カメラのパラメータが変化した際に仮想画像生成手段
は仮想画像を再生成し、仮想画像を表示手段に表示す
る。

【００１１】本発明の３次元モデル生成方法は、画像デ
ータ取得手段により、被写体を異なる視点で撮影して互
いに視野の重なる複数の被写体画像を取得してその画像
データを出力する段階と、取得した画像データのカメラ
パラメータをカメラパラメータ記憶手段に記憶する段階
と、画像データ取得手段から出力された画像データを第
１と第２の画像記憶手段にそれぞれ１画面分記憶する段
階と、第１と第２の画像記憶手段に記憶されている画像
データから、視差抽出手段により視差分布を抽出し、出
力する段階と、第１と第２の画像記憶手段に記憶されて
いる画像データのうち少なくとも１つの画像データか
ら、被写体領域抽出手段により被写体領域を抽出し、出
力する段階と、視差抽出手段の出力である視差分布と、
被写体領域抽出手段の出力である被写体領域とから、被
写体形状モデル近似手段により被写体領域内の視差を用
いて被写体の３次元形状モデルを近似して、モデル形式
と近似パラメータを出力する段階と、被写体形状モデル
近似手段の出力である被写体のモデル形式及び近似パラ
メータと、カメラパラメータ記憶手段に記憶されている
カメラパラメータと、被写体領域抽出手段の出力である
被写体領域とから、被写体モデル生成手段により被写体
の３次元形状モデルを生成する段階とを含む。

【００１２】本発明の３次元モデル再生方法は、上述の
３次元モデル生成方法により、被写体の３次元形状モデ
ルを生成する段階と、３次元モデル生成方法で生成した
被写体の３次元形状モデルと、複数の被写体画像のうち
少なくとも１つの画像と、画像の被写体領域とから、仮
想画像生成手段により仮想３次元空間に被写体モデルと
仮想カメラとを設定して透視投影により仮想画像を生成
する段階と、仮想画像を表示手段により表示する段階
と、仮想カメラのパラメータを仮想カメラ操作手段によ
り操作する段階とを含み、仮想カメラのパラメータが変
化した際に仮想画像生成手段は仮想画像を再生成し、仮
想画像を表示手段に表示する。

【００１３】本発明の３次元モデル生成プログラムを記
録した媒体は、コンピュータによって被写体の３次元形
状モデルを生成するためのプログラムを記録した媒体で
あって、生成プログラムはコンピュータに、画像データ
取得手段により、被写体を異なる視点で撮影して互いに
視野の重なる複数の被写体画像を取得させてその画像デ
ータを出力させ、取得した画像データのカメラパラメー
タをカメラパラメータ記憶手段に記憶させ、画像データ
取得手段から出力された画像データを第１と第２の画像
記憶手段にそれぞれ１画面分記憶させ、第１と第２の画
像記憶手段に記憶されている画像データから、視差抽出
手段により視差分布を抽出させ、出力させ、第１と第２
の画像記憶手段に記憶されている画像データのうち少な
くとも１つの画像データから、被写体領域抽出手段によ
り被写体領域を抽出させ、出力させ、視差抽出手段の出
力である視差分布と、被写体領域抽出手段の出力である
被写体領域とから、被写体形状モデル近似手段により被
写体領域内の視差を用いて被写体の３次元形状モデルを
近似させて、モデル形式と近似パラメータを出力させ、
被写体形状モデル近似手段の出力である被写体のモデル
形式及び近似パラメータと、カメラパラメータ記憶手段
に記憶されているカメラパラメータと、被写体領域抽出
手段の出力である被写体領域とから、被写体モデル生成
手段により被写体の３次元形状モデルを生成させる。

【００１４】本発明の３次元モデル再生プログラムを記
録した媒体は、コンピュータによって仮想画像を生成又
は再生成するためのプログラムを記録した媒体であっ
て、再成プログラムはコンピュータに、上述の３次元モ
デル生成プログラムを記録した媒体により、被写体の３
次元形状モデルを生成させ、生成した被写体の３次元形
状モデルと、複数の被写体画像のうち少なくとも１つの
画像と、画像の被写体領域とから、仮想画像生成手段に
より仮想３次元空間に被写体モデルと仮想カメラとを設
定させて透視投影により仮想画像を生成させ、仮想画像
を表示手段により表示させ、仮想カメラのパラメータを
仮想カメラ操作手段により操作させ、仮想カメラのパラ
メータが変化した際に仮想画像生成手段により仮想画像
を再生成させ、仮想画像を表示手段に表示させる。

【００１５】従って本発明により、カメラで撮影した画
像を３次元モデルにテクスチャとして貼り付けて、３次
元空間内を仮想的にウォークスルーできる３次元モデル
を複雑な作業を行うことなく生成できる装置、方法及び
その方法を実行する処理プログラムを記録した媒体を提
供することができる。

【００１６】また、本発明により、カメラで撮影した画
像を３次元モデルにテクスチャとして貼り付けて、複雑
な作業を行うことなく３次元空間内を仮想的にウォーク
スルーできる装置、方法及びその方法を実行する処理プ
ログラムを記録した媒体を提供することができる。

【００１７】

【発明の実施の形態】

（本発明の第１の実施の形態）図１に、本発明の第１の
実施の形態の３次元モデル生成装置およびその再生装置
の構成を示す。２００はステレオカメラで、左右２系統
の画像データを出力する。１０１はカメラパラメータ記
憶部であり、ステレオカメラ２００で撮影した左右画像
データのカメラパラメータを記憶している。１０２、１
０３は画像メモリであり、ステレオカメラ２００で撮影
した左右２系統の画像データをそれぞれ１画面分記憶し
ておく。１１０は視差抽出部で画像メモリ１０２、１０
３に記憶されている左右画像データの視差分布を抽出
し、出力する。１２０は被写体領域抽出部であり、画像
メモリ１０２に記憶されている左画像データから、被写
体領域を抽出する。１３０は被写体モデル近似部であ
り、視差抽出部１１０の出力である視差分布と、被写体
領域抽出部１２０の出力から、被写体領域内の視差を用
いて被写体のモデル近似を行い、モデル形式とパラメー
タを出力する。１４０はモデル生成部であり、被写体モ
デル近似部１３０の出力である被写体のモデルの形式と
パラメータおよびカメラパラメータ記憶部１０１に記憶
されているカメラパラメータ、被写体領域抽出部１２０
の出力から、３次元シーンのモデルデータを生成し、出
力する。

【００１８】本発明の第１の実施の形態の３次元モデル
生成装置は以上、ステレオカメラ２００、カメラパラメ
ータ記憶部１０１、画像メモリ１０２、１０３、視差抽
出部１１０、被写体領域抽出部１２０、被写体モデル近
似部１３０、モデル生成部１４０により構成される。ま
た、１５０は仮想画像生成部であり、モデル操作部１６
０を介して指示された３次元空間上での移動・回転の操
作を表すデータに従い、画像メモリ１０２に記憶されて
いる左画像データと、被写体領域抽出部１２０の出力で
ある被写体領域と、モデル生成部１４０の出力である３
次元シーンのモデルデータとから表示すべき画像を生成
する。表示部１７０は、仮想画像生成部１５０の出力画
像データを表示装置に表示する。

【００１９】図２に、ステレオカメラ２００の構成を示
す。２０１、２０２は撮影レンズで２つの視点からのス
テレオ画像を撮影する。２０３、２０４は画像を電気信
号として取り込むＣＣＤ等のイメージセンサーである。
この２つの撮像系はそれぞれの撮像レンズの光軸がイメ
ージセンサー２０３、２０４の水平方向に対して左右平
行に配置されている。２０５、２０６はイメージセンサ
ー２０３、２０４の画像の取り込みを制御する画像取り
込み制御回路、２０７、２０８は画像信号処理部で、イ
メージセンサー２０３、２０４からの電気信号を保持し
て画像信号を形成し、その画像信号の利得を自動的に制
御し、階調補正を行って出力する。２０９、２１０はＡ
／Ｄ変換器で画像信号処理部２０７、２０８の出力信号
をアナログーデジタル変換し、デジタル画像データを出
力する。２１１、２１２は色信号処理回路であり、Ａ／
Ｄ変換器２０９、２１０の出力であるデジタル画像デー
タ（以下、画像データと称する）をＲＧＢ２４ビットを
１画素として１画面分出力する。また、撮影レンズ２０
１、２０２およびイメージセンサー２０３、２０４等の
構成要素は左右同一の特性のものから構成されている。

【００２０】以下、本実施の形態の３次元モデル生成装
置およびその再生装置の動作を説明する。撮影者が不図
示のカメラの電源スイッチを入れると、画像取り込み制
御回路２０５は撮影レンズ２０１をとおして、イメージ
センサー２０３に結像した被写体の右視点からの画像を
電気信号として取り込むよう制御し、画像信号処理部２
０７、Ａ／Ｄ変換器２０９、色信号処理回路２１１を介
して、右画像データが得られる。同様に、画像取り込み
制御回路２０６は撮影レンズ２０２をとおして、イメー
ジセンサー２０４に結像した被写体の左視点からの画像
を電気信号として取り込むよう制御し、画像信号処理部
２０８、Ａ／Ｄ変換器２１０、色信号処理回路２１２を
介して、左画像データが得られる。このとき得られた２
つの画像データは不図示の同期信号発生回路から出力さ
れる同期信号により、同じタイミングで撮影された画像
データとしてステレオカメラ２００から出力される。ス
テレオカメラ２００から出力された画像データは不図示
のシャッターボタンが押されると、左右画像データがそ
れぞれ画像メモリ１０２、１０３に記憶される。そし
て、左右画像データのうち、画像メモリ１０２に記憶さ
れた左画像データが仮想画像生成部１５０に出力され、
仮想画像生成部１５０はそのまま左画像データを表示部
１７０に出力し、表示装置には、ステレオカメラ２００
で撮影した左画像が表示される。

【００２１】表示装置にステレオカメラ２００で撮影し
た左画像が表示されると、ユーザは左画像中の被写体領
域をカーソル等のインターフェースにより指示する。図
３に左画像の一例を示す。また、図４（ａ）、（ｂ）、
（ｃ）に図３の画像に対して抽出した被写体領域を示
す。図４に示した抽出の例では４つの被写体領域Ａ、
Ｂ、Ｃ、Ｄが抽出された。このとき、被写体領域抽出部
１２０は、カーソル等のインターフェースを介しての画
像領域の獲得と出力、表示装置への表示制御を行う。

【００２２】一方、視差抽出部１１０は画像メモリ１０
２および画像メモリ１０３に記憶された左画像データお
よび右画像データから、基準となる左画像を矩形の小領
域に分割し、各領域ごとに右画像の対応する領域を画像
データの差分が最も少ない領域として探索する。そし
て、各領域における対応の抽出結果は左右画像領域の水
平ずれ量（以下、視差と称する）データとして出力す
る。

【００２３】被写体モデル近似部１３０は被写体領域抽
出部１２０で抽出したそれぞれの被写体領域に対して、
視差抽出部１１０の出力である視差分布を抽出して、３
次元モデルの近似を行う。本実施の形態では、モデル形
式として平面モデルを扱う場合について説明する。画像
中の画素座標を（ｕ，ｖ）（但し、イメージセンサーの
水平、垂直方向をそれぞれｕ、ｖ軸、イメージセンサー
と光軸との交点を原点とする）、その位置での視差をｄ
とするとき、平面モデルでは、被写体の視差分布を、 １／ｄ＝ｋ０＋ｋ１・ｕ＋ｋ２・ｖ （式１） で近似する。すなわち、被写体領域中の（ｕ，ｖ，ｄ）
の組（３組以上）から平面パラメータｋ０，ｋ１，ｋ２
を最小二乗法により近似する。（但し、ｄ＝０の時は、
１／ｄに適当な大きい値を設定する。）したがって、被
写体モデル近似部１３０はそれぞれの被写体領域Ａ、
Ｂ、Ｃ、Ｄに対して、以上の計算を行い、平面モデルで
あることを示すモデル形式とそのパラメータを出力す
る。

【００２４】次に、モデル生成部１４０は、各被写体領
域ごとに被写体モデル近似部１３０の出力である被写体
モデルの形式とパラメータ、カメラパラメータ記憶部１
０１に記憶されているカメラパラメータ、被写体領域抽
出部１２０の出力である被写体領域から被写体のモデル
データを生成する。まず、モデル生成部１４０は、被写
体領域抽出部１２０の出力から被写体領域を囲む矩形領
域を４つの頂点の画像中での座標として設定する。図４
の被写体領域Ａに対する頂点の例を図５のｐ０、ｐ１、
ｐ２、ｐ３に示す。そして、各頂点の画像中での座標
（ｕ，ｖ）と被写体モデル近似部１３０のパラメータｋ
０，ｋ１，ｋ２から（１／ｄ）を求める。そして、カメ
ラパラメータから頂点の左撮像系の視点を原点とした３
次元空間内での座標（ｘ，ｙ，ｚ）（イメージセンサー
の水平、垂直方向をそれぞれｘ、ｙ軸、光軸方向をｚ軸
とした左手系）を求める。なお、カメラパラメータは２
つの撮像系のレンズ中心（視点）間での距離ｂ（以下、
基線長と称する）と撮像系の焦点距離ｆ撮像系の光軸に
沿った視点から撮像面までの距離）、画像データの画素
間隔ｐのデータよりなり、（式２）により３次元空間内
での座標（ｘ，ｙ，ｚ）を求める。

【００２５】 ｘ＝（ｂ／ｄ）・ｕ， ｙ＝（ｂ／ｄ）・ｖ， ｚ＝（ｆ・ｂ）／（ｐ・ｄ） （式２） そして、モデル生成部１４０は被写体のモデルデータと
して、（式２）により求めた４つの頂点座標とそれぞれ
の頂点座標に対応する画像中での座標、どの被写体に対
応するかを示す被写体インデックスを各被写体領域ごと
に出力する。

【００２６】次に、仮想画像生成部１５０は、モデル生
成部１４０の出力である各被写体モデルデータおよび仮
想カメラをワールド座標系に設定し、仮想カメラの像面
に透視投影により画像の描画を行う。被写体モデルの設
定は、頂点データの組で平面を生成して、各頂点に対応
する画像中での座標を用いて、平面に各頂点に対応する
画像中での座標で指定される左画像データの一部をテク
スチャとしてマッピングを行い、さらに被写体インデッ
クスに対応した被写体領域抽出部１２０の被写体領域か
ら被写体領域外が透明になるように設定する。仮想カメ
ラの初期位置および方向はそれぞれワールド座標系の原
点、および３つの座標軸にｘｙｚ軸が一致するように合
わせる。また、仮想カメラの焦点距離をカメラパラメー
タ記憶部１０１のカメラパラメータである焦点距離に、
像面の大きさはカメラパラメータ記憶部１０１のカメラ
パラメータのうち画素間隔と画像データの大きさより求
めて、一致させる。図４のＡの被写体領域に対する被写
体モデルと仮想カメラの設定の様子を図６に示す。図中
ｘｙｚはワールド座標系の３軸であり、０はその原点で
かつ仮想カメラの視点、Ｉは像面、ｐ０、ｐ１、ｐ２、
ｐ３は図５に示した同記号の頂点、Ｔは被写体領域抽出
部１２０の被写体領域から透明になるように設定された
領域である。本実施の形態では他の被写体Ｂ、Ｃ、Ｄも
同時に設定され、像面に描画される。そして、この仮想
カメラの像面に透視投影により描画された画像データが
表示部１７０に出力され、表示装置に初期画像が表示さ
れる。

【００２７】モデル操作部１６０は、キーボード、マウ
ス等のインターフェースを介して仮想カメラの移動・回
転の指示を仮想画像生成部１５０に伝える。そして、仮
想画像生成部１５０はその指示に従い、仮想カメラの位
置の移動、方向の回転を行い、仮想カメラの像面に被写
体モデルの再描画を行う。そして、モデル操作部１６０
で指示した仮想カメラの移動・回転を反映した画像が表
示装置に表示される。

【００２８】以上の動作により、カメラで撮影した画像
から３次元シーンのモデルを生成することができ、生成
した３次元シーン中のウォークスルー再生が可能とな
る。しかも、３次元シーンのモデル生成の作業は画像中
の被写体の領域を指示するだけであり、非常に簡便であ
る。

【００２９】また、仮想画像生成部１５０における被写
体モデルの設定の際に被写体領域を用いて被写体領域外
が透明になるように設定しているので、被写体モデルの
３次元形状を精密に生成しなくても、画像再生時の被写
体の輪郭が抽出した被写体領域の輪郭を反映した精密な
ものとなる。本実施の形態のモデル生成部１４０は、被
写体モデルである平面を被写体領域を囲む４つの頂点で
定義される矩形領域として設定しているが、仮想画像生
成部１５０における再生時に被写体の輪郭を参照するよ
うにしているので、結果的に精密な被写体画像が得られ
る。したがって、再生時に被写体の輪郭を参照すること
により、被写体モデルのデータ量を小さくすることがで
き、画像の生成を高速に行うことができる。

【００３０】本実施の形態ではそれぞれの被写体領域
Ａ、Ｂ、Ｃ、Ｄに対して、別々に被写体モデルの近似を
行うようにしたが、被写体領域間で連結する部分を考慮
して拘束条件を与え、同時に複数の被写体領域のモデル
近似を行うようにしてもよい。また、一つの被写体領域
のモデル近似を行う際に被写体領域を分割して、連結モ
デルとして近似してもよい。例えば、第４図のＣ、Ｄの
領域を一つの被写体領域として扱った場合には連結モデ
ルとして近似するのが適当である。

【００３１】また、本実施の形態では、被写体の近似モ
デルとして平面モデルを扱ったが、例えば、 ｄ＝ｋ０＋ｋ１・ｕ＋ｋ２・ｖ （式３） のようなモデルで近似してもよい。また、 ｄ＝ｋ０＋ｋ１・ｕ＋ｋ２・ｖ ＋ｋ３・ｕｖ＋ｋ４・ｕ² ＋ｋ５・ｖ² （式４） のような２次形式のモデルで近似してもよい。また、被
写体の３次元モデルをスプライン曲面等で近似してもよ
い。これらの近似のモデル形式は、現実のそれぞれの被
写体に近いものが適しており、それぞれの被写体領域の
視差分布から最適なモデル形式を選択するようにしても
よい。

【００３２】また、本実施の形態では、仮想カメラの操
作として、カメラの移動・回転を扱うようにしたが、ズ
ーム操作を組み合わせてもよい。この時はズーム操作に
応じて仮想カメラの焦点距離を変化させて被写体モデル
の再描画を行う。

【００３３】また、本実施の形態では、仮想画像生成部
１５０で生成した仮想画像を通常の表示装置に表示する
ようにしたが、例えば、左右の画像を時間的に交互に表
示して、表示に同期した液晶シャッター眼鏡をかけて観
察することにより、左右画像をそれぞれ左目、右目で分
離して観察可能な三次元表示装置で立体画像を表示して
もよい。このために仮想画像生成部１５０の仮想カメラ
を基線長ｂだけ視点が離れたステレオカメラとして設定
し、２つの撮像系の像面に被写体モデルの描画を行う。
そして、２つの生成画像を表示部１７０で時間的に切り
替えて表示するようにすればよい。

【００３４】（本発明の第２の実施の形態）本発明の第
２の実施の形態の３次元モデル生成装置およびその再生
装置の構成を図７に示す。図７において図１と同じ記号
を有するものはほぼ同等の機能を有する。本実施の形態
ではステレオカメラ２００でまず背景のみの画像を撮影
し、次に、被写体を入れて撮影した画像から処理を行
う。図８にステレオカメラ２００で２回撮影した場合の
２つの左画像を示す。（ａ）は背景画像であり、（ｂ）
は（ａ）に示した背景に被写体が入った時の画像であ
る。画像メモリ１０２、１０３には２回分の左右画像デ
ータが記憶される。したがって、画像メモリ１０２、１
０３はそれぞれ２枚の画像を記憶するだけの容量を持
つ。１２２、１２３は被写体領域抽出部であり、それぞ
れ画像メモリ１０２、１０３に記憶されている２枚の画
像データから被写体領域を抽出し、被写体画像および被
写体領域を出力する。１１１は被写体視差抽出部であ
り、被写体領域抽出部１２２、１２３の出力である左右
被写体画像から被写体領域内の視差分布を抽出し、出力
する。１１２は背景視差抽出部であり、画像メモリ１０
２、１０３に記憶されている左右背景画像から背景の視
差分布を抽出し、出力する。１３１は被写体モデル近似
部であり、被写体視差抽出部１１１の出力である被写体
の視差分布から被写体のモデル近似を行い、モデル形式
とパラメータを出力する。１３２は背景モデル近似部で
あり、背景視差抽出部１１２の出力である背景の視差分
布から背景のモデル近似を行い、モデル形式とパラメー
タを出力する。

【００３５】以下、本実施の形態の３次元モデル生成装
置およびその再生装置の動作を説明する。まず、ステレ
オカメラ２００で背景画像の撮影を行うと、画像メモリ
１０２、１０３に左右背景画像データが記憶される。本
発明の第１の実施の形態と同様、これらの画像データの
うち、左画像データが表示部１７０の表示装置に表示さ
れる。同様に、被写体を入れての撮影を行い、画像メモ
リ１０２、１０３に被写体を入れた左右画像データが記
憶される。

【００３６】被写体領域抽出部１２２および１２３は、
それぞれ画像メモリ１０２、１０３に記憶されている２
枚の画像から、被写体領域の抽出を行う。まず、被写体
領域抽出部１２２、１２３はそれぞれ背景画像と被写体
を入れた画像との差画像を求め、所定の闘値より差の大
きい領域を大まかな被写体領域として抽出する。また、
被写体を入れた画像のエッジ画像を求めておく。そし
て、この被写体領域を被写体を入れた画像の色および輝
度をもとに領域の連結、穴埋めを行い、さらにエッジ画
像をもとに被写体領域の輪郭の補正を行って、被写体領
域を抽出する。そして、被写体領域および被写体のみの
被写体画像を出力する。

【００３７】次に、被写体視差抽出部１１１は、本発明
の第１の実施の形態の視差抽出部と同様の処理を行い、
被写体領域抽出部１２２、１２３の出力である左右被写
体画像から視差分布を抽出し、出力する。但し、被写体
領域内でのみ対応抽出を行う。また、背景視差抽出部１
１２は、本発明の第１の実施の形態の視差抽出部と同様
の処理を行い、画像メモリ１０２、１０３に記憶されて
いる左右背景画像から背景の視差分布を抽出し、出力す
る。

【００３８】被写体モデル近似部１３１は、被写体視差
抽出部１１１の出力である被写体領域内の視差分布のみ
から被写体のモデル近似を本発明の第１の実施の形態の
被写体モデル近似部と同様の処理を行い、モデル形式と
パラメータを出力する。また、背景モデル近似部１３２
は、背景視差抽出部１１２の出力である背景の視差分布
から背景のモデル近似を行い、モデル形式とパラメータ
を出力する。背景の３次元モデルは一般に１つの平面で
は表現が困難であるので、本発明の第１の実施の形態で
述べたような連結モデルを用いるのがよい。背景の視差
分布から被写体領域を分割して、図８（ａ）に示すよう
な背景画像の場合には平面の連結モデルとして近似す
る。また、２次形式のモデルやスプライン曲面等で近似
してもよい。

【００３９】以下、モデル生成部１４０、仮想画像生成
部１５０、モデル操作部１６０、表示部１７０の動作
は、本発明の第１の実施の形態と同様である。

【００４０】以上の動作により、カメラで撮影した画像
から３次元シーンのモデルを生成することができ、生成
した３次元シーン中のウォークスルー再生が可能とな
る。しかも、本実施の形態では３次元シーンのモデル生
成は自動的に行える。また、背景画像と背景に被写体の
入った画像を別々に撮影して処理を行っているので、被
写体の陰で背景が隠されることがない。

【００４１】以上の実施の形態では、ステレオカメラ２
００で撮影した３次元シーンのモデルを生成できるが、
これらの３次元シーンのモデルを複数生成して、３次元
シーンモデル同士を統合して、広い視野の３次元シーン
のモデルを生成することができる。例えば、全天視野の
３次元シーンの仮想空間を生成、再生することにより、
現実の３次元空間に近い擬似体験が可能となる。

【００４２】また、以上の実施の形態では仮想画像生成
部１５０で生成した画像を記録するように構成していな
いが、モデル操作部１６０で任意のカメラ位置・方向に
仮想カメラを操作して、所望のカメラ位置・方向での画
像を表示部１７０で確認し、記録媒体に記録できるよう
にしてもよい。

【００４３】また、以上の実施の形態ではステレオカメ
ラ２００から直接ステレオ画像を取得して、３次元モデ
ル生成の処理を行う構成としたが、ステレオカメラで撮
影した画像をカメラから取り外し可能な記録媒体に記録
できるようステレオカメラを構成し、記録媒体に記録さ
れたステレオ画像について、画像メモリに記憶された画
像に対するのと同様な処理を行うよう装置全体を構成し
てもよい。また、ステレオ画像はステレオカメラによっ
て撮影されたものに限定せず、通常のデジタルカメラで
視点を変えて複数撮影したものでもよい。

【００４４】また、以上の実施の形態はハードウェアで
構成することを前提に説明したが各処理部をソフトウェ
アの処理モジュールに置き換えたプログラムをコンピュ
ータで実行して処理を行ってもよい。以下、本発明の第
１の実施の形態をソフトウェアの処理モジュールに置き
換えたプログラムの１例を説明する。なお、本処理プロ
グラム例においては、被写体の３次元形状モデルを生成
するモデル生成プログラムとその再生を行うモデル再生
プログラムの２つに分けて構成した。図９にモデル生成
プログラムの処理アルゴリズムを、図１０にモデル再生
プログラムの処理アルゴリズムを示す。以下にその動作
を説明する。

【００４５】まず、モデル生成プログラムについて説明
する。

【００４６】まず、ｓ１０で画像データを取得する。こ
こで取得する画像データは例えば、本発明の第１の実施
の形態の３次元モデル生成装置におけるステレオカメラ
２００で撮影した左右画像データである。

【００４７】次に、ｓ１１でｓ１０で取得した左右画像
データのうち左画像データから被写体領域を抽出する。
この被写体領域の抽出処理は本発明の第１の実施の形態
の３次元モデル生成装置における被写体領域抽出部１２
０と同様の処理である。また、ｓ１１では抽出した被写
体領域をコンピュータの記憶装置に記録しておく。被写
体領域が複数ある場合は複数の被写体領域を記録してお
く。

【００４８】次に、ｓ１２でｓ１０で取得した左右画像
データから視差分布の抽出を行う。この視差分布の抽出
処理は本発明の第１の実施の形態の３次元モデル生成装
置における視差抽出部１１０と同様の処理である。

【００４９】次に、ｓ１３でｓ１１で抽出した被写体領
域とｓ１２で抽出した視差分布から被写体の３次元モデ
ルの近似を行い、被写体モデルの形式とパラメータを出
力する。この被写体モデル近似の処理は本発明の第１の
実施の形態の３次元モデル生成装置における被写体モデ
ル近似部１３０と同様の処理である。

【００５０】次に、ｓ１４でｓ１１で抽出した被写体領
域とｓ１３の出力である被写体モデルの形式とパラメー
タから、ｓ１０で取得した画像データのカメラパラメー
タを用いて被写体のモデルデータを生成する。この被写
体モデル生成の処理は本発明の第１の実施の形態の３次
元モデル生成装置におけるモデル生成部１４０と同様の
処理である。さらに、ｓ１４で生成した被写体のモデル
データをコンピュータの記憶装置に記録しておく。同時
に、被写体のモデルデータ生成の際に用いた画像デー
タ、被写体領域データのインデックスも記録しておく。
このインデックスは各データのファイル名を表す。

【００５１】次に、モデル再生プログラムについて説明
する。

【００５２】まず、ｓ２０でｓ１４で記録した被写体の
モデルデータを処理プログラムのメモリに読み込む。

【００５３】次に、ｓ２１でｓ１０で取得した左右画像
データのうち被写体のモデルデータと同時に取得した画
像データのインデックスから左画像データを取得する。

【００５４】次に、ｓ２２でｓ１１で抽出し、記録した
被写体のモデルデータと同時に取得した被写体領域デー
タのインデックスから被写体領域を処理プログラムのメ
モリに読み込む。

【００５５】次に、ｓ２３でｓ２０で取得した被写体の
モデルデータとｓ２１で取得した左画像データとｓ２２
で取得した被写体領域から、ｓ２１で取得した画像デー
タのカメラパラメータを用いて仮想画像を生成する。こ
の仮想画像生成の処理は本発明の第１の実施の形態の３
次元モデル生成装置における仮想画像生成部１５０と同
様の処理である。

【００５６】次に、ｓ２４でｓ２３で生成した仮想画像
をコンピュータの表示装置に表示する。

【００５７】次に、ｓ２５でユーザがキーボード、マウ
ス等のインターフェイスを介して行った仮想カメラの移
動・回転の操作のパラメータを取得する。そして、ｓ２
３に戻り再描画を行う。この時、表示終了のパラメータ
を取得した場合は、処理プログラムを終了する。

【００５８】本処理プログラム例においては、被写体の
３次元形状モデルを生成するモデル生成プログラムとそ
の再生を行うモデル再生プログラムの２つに分けて構成
したが、さらにモデル生成プログラムを被写体近似プロ
グラム（図９のｓ１０、ｓ１１、ｓ１２、ｓ１３の処理
を含む）とモデル変換プログラム（図９のｓ１４の処理
を含む）に分けて構成してもよい。そして、被写体近似
プログラムが近似パラメータをコンピュータの記憶装置
に記録し、モデル変換プログラムが近似パラメータ、画
像データ、被写体領域を読み込んで、モデルを生成し
て、そのままモデル再生プログラムのメモリに渡すよう
にすれば、コンピュータの記憶装置の記憶容量を節約で
きる。

【００５９】

【発明の効果】以上説明したように本発明は、以下の効
果がある。

【００６０】本発明により、カメラで撮影した画像を３
次元モデルにテクスチャとして貼り付けて、３次元空間
内を仮想的にウォークスルーできる３次元モデルを複雑
な作業を行うことなく生成できる装置、方法及びその方
法を実行する処理プログラムを記録した媒体を提供する
ことができる。

【００６１】また、本発明により、カメラで撮影した画
像を３次元モデルにテクスチャとして貼り付けて、複雑
な作業を行うことなく３次元空間内を仮想的にウォーク
スルーできる装置、方法及びその方法を実行する処理プ
ログラムを記録した媒体を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の３次元モデル生成
装置およびその再生装置の構成を示す図である。

【図２】本発明の第１の実施の形態のステレオカメラの
構成を示す図である。

【図３】本発明の第１の実施の形態の左画像の一例を示
す図である。

【図４】本発明の第１の実施の形態の被写体領域の抽出
を説明する図である。

【図５】本発明の第１の実施の形態の被写体モデル生成
の様子を説明する図である。

【図６】本発明の第１の実施の形態の仮想画像生成部の
処理を説明する図である。

【図７】本発明の第２の実施の形態の３次元モデル生成
装置及びその再生装置の構成を示す図である。

【図８】本発明の第２の実施の形態の３次元モデル生成
装置およびその再生装置における撮影の方法を説明する
図である。

【図９】本発明のモデル生成プログラムの処理アルゴリ
ズムを示す図である。

【図１０】本発明のモデル再生プログラムの処理アルゴ
リズムを示す図である。

【符号の説明】

１０１ カメラパラメータ記憶部 １０２、１０３ 画像メモリ １１０ 視差抽出部 １１１ 被写体視差抽出部 １１２ 背景視差抽出部 １２０、１２２、１２３ 被写体領域抽出部 １３０、１３１ 被写体モデル近似部 １３２ 背景モデル近似部 １４０ モデル生成部 １５０ 仮想画像生成部 １６０ モデル操作部 １７０ 表示部 ２００ ステレオカメラ ２０１、２０２ 撮影レンズ ２０３、２０４ イメージセンサー ２０５、２０６ 画像取り込み制御回路 ２０７、２０８ 画像信号処理部 ２０９、２１０ Ａ／Ｄ変換器 ２１１、２１２ 色信号処理回路

Claims (6)

【特許請求の範囲】
1. 【請求項１】 被写体を異なる視点で撮影して互いに視
   野の重なる複数の被写体画像を取得してその画像データ
   を出力する画像データ取得手段と、 該画像データ取得手段で取得した前記画像データのカメ
   ラパラメータを記憶するカメラパラメータ記憶手段と、 前記画像データ取得手段から出力された前記画像データ
   をそれぞれ１画面分記憶する第１と第２の画像記憶手段
   と、 該第１と第２の画像記憶手段に記憶されている画像デー
   タから視差分布を抽出し、出力する視差抽出手段と、 前記第１と第２の画像記憶手段に記憶されている画像デ
   ータのうち少なくとも１つの画像データから被写体領域
   を抽出し、出力する被写体領域抽出手段と、 前記視差抽出手段の出力である視差分布と、前記被写体
   領域抽出手段の出力である被写体領域とから、被写体領
   域内の視差を用いて被写体の３次元形状モデルを近似し
   て、モデル形式と近似パラメータを出力する被写体形状
   モデル近似手段と、 該被写体形状モデル近似手段の出力である被写体のモデ
   ル形式及び近似パラメータと、前記カメラパラメータ記
   憶手段に記憶されているカメラパラメータと、前記被写
   体領域抽出手段の出力である被写体領域とから、被写体
   の３次元形状モデルを生成する被写体モデル生成手段と
   を備えたことを特徴とする３次元モデル生成装置。
2. 【請求項２】 請求項１に記載の３次元モデル生成装置
   と、 該３次元モデル生成装置で生成した被写体の３次元形状
   モデルと、複数の被写体画像のうち少なくとも１つの画
   像と、前記画像の被写体領域とから、仮想３次元空間に
   被写体モデルと仮想カメラとを設定して透視投影により
   仮想画像を生成する仮想画像生成手段と、 前記仮想画像を表示する表示手段と、 前記仮想カメラのパラメータを操作する仮想カメラ操作
   手段とを備え、 前記仮想カメラのパラメータが変化した際に前記仮想画
   像生成手段は仮想画像を再生成し、前記仮想画像を前記
   表示手段に表示することを特徴とした３次元モデル再生
   装置。
3. 【請求項３】 画像データ取得手段により、被写体を異
   なる視点で撮影して互いに視野の重なる複数の被写体画
   像を取得してその画像データを出力する段階と、 取得した前記画像データのカメラパラメータをカメラパ
   ラメータ記憶手段に記憶する段階と、 前記画像データ取得手段から出力された前記画像データ
   を第１と第２の画像記憶手段にそれぞれ１画面分記憶す
   る段階と、 前記第１と第２の画像記憶手段に記憶されている画像デ
   ータから、視差抽出手段により視差分布を抽出し、出力
   する段階と、 前記第１と第２の画像記憶手段に記憶されている画像デ
   ータのうち少なくとも１つの画像データから、被写体領
   域抽出手段により被写体領域を抽出し、出力する段階
   と、 前記視差抽出手段の出力である視差分布と、前記被写体
   領域抽出手段の出力である被写体領域とから、被写体形
   状モデル近似手段により被写体領域内の視差を用いて被
   写体の３次元形状モデルを近似して、モデル形式と近似
   パラメータを出力する段階と、 前記被写体形状モデル近似手段の出力である被写体のモ
   デル形式及び近似パラメータと、前記カメラパラメータ
   記憶手段に記憶されているカメラパラメータと、前記被
   写体領域抽出手段の出力である被写体領域とから、被写
   体モデル生成手段により被写体の３次元形状モデルを生
   成する段階とを含むことを特徴とする３次元モデル生成
   方法。
4. 【請求項４】 請求項３に記載の３次元モデル生成方法
   により、被写体の３次元形状モデルを生成する段階と、 前記３次元モデル生成方法で生成した被写体の３次元形
   状モデルと、複数の被写体画像のうち少なくとも１つの
   画像と、前記画像の被写体領域とから、仮想画像生成手
   段により仮想３次元空間に被写体モデルと仮想カメラと
   を設定して透視投影により仮想画像を生成する段階と、 前記仮想画像を表示手段により表示する段階と、 前記仮想カメラのパラメータを仮想カメラ操作手段によ
   り操作する段階とを含み、 前記仮想カメラのパラメータが変化した際に前記仮想画
   像生成手段は仮想画像を再生成し、前記仮想画像を前記
   表示手段に表示することを特徴とした３次元モデル再生
   方法。
5. 【請求項５】 コンピュータによって被写体の３次元形
   状モデルを生成するためのプログラムを記録した媒体で
   あって、 該生成プログラムはコンピュータに、 画像データ取得手段により、被写体を異なる視点で撮影
   して互いに視野の重なる複数の被写体画像を取得させて
   その画像データを出力させ、 取得した前記画像データのカメラパラメータをカメラパ
   ラメータ記憶手段に記憶させ、 前記画像データ取得手段から出力された前記画像データ
   を第１と第２の画像記憶手段にそれぞれ１画面分記憶さ
   せ、 前記第１と第２の画像記憶手段に記憶されている画像デ
   ータから、視差抽出手段により視差分布を抽出させ、出
   力させ、 前記第１と第２の画像記憶手段に記憶されている画像デ
   ータのうち少なくとも１つの画像データから、被写体領
   域抽出手段により被写体領域を抽出させ、出力させ、 前記視差抽出手段の出力である視差分布と、前記被写体
   領域抽出手段の出力である被写体領域とから、被写体形
   状モデル近似手段により被写体領域内の視差を用いて被
   写体の３次元形状モデルを近似させて、モデル形式と近
   似パラメータを出力させ、 前記被写体形状モデル近似手段の出力である被写体のモ
   デル形式及び近似パラメータと、前記カメラパラメータ
   記憶手段に記憶されているカメラパラメータと、前記被
   写体領域抽出手段の出力である被写体領域とから、被写
   体モデル生成手段により被写体の３次元形状モデルを生
   成させることを特徴とする３次元モデル生成プログラム
   を記録した媒体。
6. 【請求項６】 コンピュータによって仮想画像を生成又
   は再生成するためのプログラムを記録した媒体であっ
   て、 該再成プログラムはコンピュータに、 請求項５に記載の３次元モデル生成プログラムを記録し
   た媒体により、被写体の３次元形状モデルを生成させ、 前記生成した被写体の３次元形状モデルと、複数の被写
   体画像のうち少なくとも１つの画像と、前記画像の被写
   体領域とから、仮想画像生成手段により仮想３次元空間
   に被写体モデルと仮想カメラとを設定させて透視投影に
   より仮想画像を生成させ、 前記仮想画像を表示手段により表示させ、 前記仮想カメラのパラメータを仮想カメラ操作手段によ
   り操作させ、 前記仮想カメラのパラメータが変化した際に前記仮想画
   像生成手段により仮想画像を再生成させ、前記仮想画像
   を前記表示手段に表示させることを特徴とする３次元モ
   デル再生プログラムを記録した媒体。