JP2003099800A - ３次元画像情報生成方法および装置、ならびに３次元画像情報生成プログラムとこのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ３次元画像情報生成において、多視点画像と
視点情報のみを入力し、概略形状を復元し、かつ視点方
向から見た色情報を再現、表示可能とする。 【解決手段】 概略形状生成部１１は多視点画像を用い
たシルエット法を用いて高速、安定に概略形状の復元を
行う。六角形画像情報生成部１２は仮想空間に配置した
バッキーボールと撮影画像の視線との交点を求め、それ
を平面展開、階層分割して六角形画像を作成し、それを
構成する六角形画素と撮影画像の対応付けを行なう。色
情報付加部１３は復元形状表面を表わす全微少領域に六
角形画像情報生成部１２の六角形画像を割当て、対応付
け結果を用いて各六角形画素に撮影画像の色付けを行な
う。無色画素色決定部１４は色情報付加部部１３で割当
てのなかった六角形画素に補間により色情報を割当て
る。二次元配列画像変換合成部１５は六角形画像を通常
の二次元配列の画像データに変換しマージする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を多視点方
向から撮影した画像情報をもとに、その被写体を３次元
仮想空間内で配置し、かつ撮影画像と同等の品質で表示
するための、３次元画像情報生成方法および装置に関す
るものである（図８）。

【０００２】

【従来の技術】被写体を多数の視点から撮影した画像を
基に、その被写体を任意視点方向から見た画像を保存、
合成し、表示する技術には、イメージベースレンダリン
グ（Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）と
呼ばれる方法がある。

【０００３】代表的な手法には、苗村らの文献１「光線
情報による３次元実空間の効率的記述へ向けた光線空間
射影法」（信学技報、ＩＥ９５−１１９，１９９６−０
２）による光線空間、Ｌｅｖｏｙらの文献２「Ｌｉｇｈ
ｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（ＳＩＧＧＲＡ
ＰＨ９６，ＰＰ．３１−４２．１９９６）によるｌｉｇ
ｈｔ ｆｉｅｌｄ、がある。

【０００４】原理的にはどちらも同じで、被写体の見え
方というのは、その被写体が存在する３次元空間を通過
する光線の分布により記述されるという考え方に基づい
ている。文献１では、１枚の平面上を通過するあらゆる
光線を空間中のある一点の座標と平面上の座標との４次
元で表わしており、文献２では、２枚の平面上を通過す
るあらゆる光線を２枚の平面上の座標による４次元で表
わしている。

【０００５】これらにおいては、被写体の幾何形状を積
極的に利用せずに、入力画像をもとに、新しい視点位置
から見た画像を保存、合成していることになる。そのた
め、これらの手法では被写体の見え方の復元はできても
３次元形状データとして、従来の幾何形状モデルをべー
スに表現されている３次元仮想空間内に配置したり、陰
影の情報を生成したりすることができなかった。

【０００６】一方、被写体を多数の視点から撮影した画
像を基に、その被写体の３次元情報を復元し、保存する
技術は、シルエット法（ｓｈａｐｅ ｆｒｏｍ ｓｉｌ
ｈｏｕｅｔｔｅ、図９）により被写体の概略形状を復元
し、その表面をポリゴンの集合として表わし、入力画像
から各ポリゴンに貼り付けるべき１枚の画像をテクスチ
ャとしてある基準に従い切り出す方法が一般的である。

【０００７】例えば、Ｍａｔｓｕｍｏｔｏらによる文献
３「Ａ Ｐｏｒｔａｂｌｅ Ｔｈｒｅｅ−ｄｉｍｅｎｓ
ｉｏｎａｌ Ｄｉｇｉｔｉｚｅｒ」では、１）同じ１枚
の入力画像からできるだけ大きなテクスチャとなる領域
を切り出す、２）隣接ポリゴンの境界ができるだけ連続
性を保つようなテクスチャを選択する、というポリシー
のもと、以下のエネルギー関数、 Ｅ＝Σ_i｛Ｐｅｎａｌｔｙ（ｉ）−ｋ・Ａｒｅａ
（ｉ）｝ が最小となるような入力画像とポリゴンとの組み合わせ
を選択し、それをもとにテクスチャの割り当てを行なっ
ている。ここで、ｉはポリゴン番号で、Ａｒｅａ（ｉ）
はｉ番目のポリゴンをある入力画像上に投影した時の面
積、Ｐｅｎａｌｔｙ（ｉ）はｉ番目のポリゴンの対応入
力画像と隣接ポリゴンの対応入力画像との撮影方向の角
度の差で、ｋが重み係数を表わしている。

【０００８】しかし、この方法では、ひとつのポリゴン
に貼り付けるテクスチャは１枚であり、ポリゴン毎に異
なる入力画像からテクスチャを切り出すことになるの
で、どうしてもポリゴン境界での模様の不連続性に加
え、撮影位置の違いによる光学的不連続性を避けること
ができなかった。また、シルエット法では被写体のシル
エット領域を撮影の視点位置から仮想空間上へ投影した
領域が交差する領域を復元形状としているため、表面の
凹部が正確に復元できないという本質的な問題があり、
本来凹部であるはずの表面に対応するポリゴンについて
は、復元結果の誤差から適切なテクスチャをひとつだけ
選択することは本質的に不可能であった。

【０００９】また、上記の不連続性や復元形状誤差の問
題を解決する方法として、物体の３次元形状を測定する
装置であるレンジファインダにより復元した被写体の精
確な形状表面に、各撮影画像を視点方向に応じて貼り付
け、保存する表面光線空間（ｓｕｒｆａｃｅ ｌｉｇｈ
ｔ ｆｉｅｌｄ：ＳＬＦ）と呼ばれる方法が提案されて
いる。

【００１０】このうち、西野らの文献４「Ｅｉｇｅｎ−
Ｔｅｘｔｕｒｅ法：複合現実化のための３次元モデルに
基づく見えの圧縮と合成」（信学論（Ｄ−２）、Ｖｏ
ｌ．Ｊ８２−Ｄ−２，Ｎｏ．１０，ｐｐ．１７９３−１
８０３，１９９９−１０）では、一定形状の光パターン
を被写体に投影、撮影し測定する光線パターン投影型レ
ンジファインダにより復元した被写体の３次元形状モデ
ルの各三角形ポリゴン単位で、各視点からの撮影画像を
視線方向に従うテクスチャデータとして切出し、列挙し
て保持している。

【００１１】また、Ｗｏｏｄらの文献５「Ｓｕｒｆａｃ
ｅ Ｌｉｇｈｔ Ｆｉｅｌｄｓ ｆｏｒ ３Ｄ Ｐｈｏ
ｔｏｇｒａｐｈｙ」（ＳＩＧＧＲＡＰＨ２０００，ｐ
ｐ．２８７−２９６，２０００）では、レーザー光の照
射による三角測量に基づいて被写体形状を測定した被写
体の３次元形状モデルの各ポリゴン上の微小領域単位
で、各視点画像からの色を視点方向に応じてＬｕｍｉｓ
ｐｈｅｒｅと呼ぶ単位半径球の表面にマッピングしてい
る。マッピングはＬｕｍｉｓｐｈｅｒｅに内接する正八
面体を再帰的に分割することにより行なっている。

【００１２】これら文献４と５においては、全撮影画像
の色情報を保持するため視点方向によらずに高品質な表
示結果が得られるという利点があるが、そのデータ量も
文献３の方法と比べて膨大なものとなる。そこで文献４
では、各ポリゴン毎のテクスチャ列群に対し主成分分析
を行い、ポリゴン単位での圧縮を行なっている。ここで
は、視線方向が異なるテクスチャ画像間を視線方向に従
って滑らかに近似するような圧縮ではなく、全てのテク
スチャ画像がほぼ同じで照明による違いしかないと仮定
しており、主成分分析による圧縮で非常に高い圧縮率が
得られるものとしている。一方、文献５では、各微小領
域毎にＬｕｍｉｓｐｈｅｒｅと呼ぶ球の表面に視点方向
に応じた輝度情報を付加しており、それを擬似的なベク
トル量子化や主成分分析を用いることにより圧縮してい
る。

【００１３】

【発明が解決しようとする課題】以上述べたように、従
来の方法では、文献１や２のように幾何形状を積極的に
利用せずに画像を保存し表示するため、仮想空間内での
配置や陰影付けが不可能であったり、文献３のように多
視点画像から復元した被写体形状を表わすポリゴンにテ
クスチャを固定の一枚のみマッピングするため表示の際
に違和感が生じるか、もしくは文献４や５のように撮影
方向に従いマッピング元の画像を変化させることにより
表示時にも撮影画像と同等に近い品質で表示可能となる
ものの、高圧縮を実現するためレンジファインダとの併
用により正確な形状復元を行なう必要があり、特に文献
５では復元形状と撮影画像との位置合わせを手で行なわ
なければならなかった。

【００１４】本発明の目的は、多視点画像及びその視点
情報のみを入力とし、概略形状を復元し、かつ入力の画
像の視点方向から見た色情報をそのまま再現、表示でき
る画像データを復元形状表面に付加する３次元画像情報
生成方法と装置を提供することにある。

【００１５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、同一被写体を多数の視点方向から撮影し
た複数枚の撮影画像及びそれらの視点情報を入力とし、
その被写体の概略形状を復元し、さらにその形状表面に
視点に応じた撮影画像の色情報を付加する３次元画像情
報生成方法であって、前記撮影画像のうちの被写体の全
形が撮影されている画像複数枚をシルエット画像として
選択し、そのシルエット情報を用いて、被写体の概略形
状を微少領域の集合として復元する段階と、前記復元さ
れた概略形状に撮影画像の色情報を付加するための六角
形画像の大きさ及び形状と六角形画像を構成する六角形
画素と撮影画像との対応付けを決定する段階と、前記対
応付けを決定する段階で求めた六角形画像を形状表面上
の全微少領域に割当て、その微少領域毎に、撮影画像の
視点と微少領域を結ぶ投影線と撮影画像との交点上の色
を、対応する六角形画素に割当てる段階と、前記割当て
る段階において色が割当てられなかった六角形画素につ
いて、隣接六角形画素の色を用いて色を決定する段階
と、前記六角形画素で構成される全ての六角形画像を二
次元配列の画像データに変換し、それら画像データを１
枚ないしは複数枚の画像データにマージする段階とを有
することを特徴とする３次元画像情報生成方法を手段と
する。

【００１６】あるいは、前記マージする段階の後に、マ
ージ後の画像データを圧縮する段階を有することを特徴
とする３次元画像情報生成方法を手段とする。

【００１７】また、本発明は、同一被写体を多数の視点
方向から撮影した複数枚の撮影画像及びそれらの視点情
報を入力とし、その被写体の概略形状を復元し、さらに
その形状表面に視点に応じた撮影画像の色情報を付加す
る３次元画像情報生成装置であって、前記撮影画像のう
ちの被写体の全形が撮影されている画像複数枚をシルエ
ット画像として選択し、そのシルエット情報を用いて、
被写体の概略形状を微少領域の集合として復元する概略
形状生成手段と、前記復元された形状情報に撮影画像の
色情報を付加するための六角形画像の大きさ及び形状と
六角形画像を構成する六角形画素と撮影画像との対応付
けを決定する六角形画像情報決定手段と、前記決定され
た六角形画像を形状表面上の全微少領域に割当て、その
微少領域毎に、撮影画像の視点と微少領域を結ぶ視線と
撮影画像との交点上の撮影画像の色を、対応する六角形
画素に割当てる色情報付加手段と、前記色情報付加手段
において色が割当てられなかった六角形画素について、
隣接六角形画素の色を用いて色を決定する無色画素色決
定手段と、前記六角形画素で構成される全ての六角形画
像を二次元配列の画像データに変換し、それら画像デー
タを１枚ないしは複数枚の画像データにマージする二次
元配列画像変換合成手段とを有することを特徴とする３
次元画像情報生成装置を手段とする。

【００１８】あるいは、前記二次元配列画像変換合成手
段でマージされた後の画像データを圧縮する圧縮手段を
有することを特徴とする３次元画像情報生成装置を手段
とする。

【００１９】また、上記の３次元画像情報生成方法にお
ける段階を、コンピュータに実行させるためのプログラ
ムとしたことを特徴とする３次元画像情報生成プログラ
ムを手段とする。

【００２０】さらには、上記の３次元画像情報生成方法
における段階を、コンピュータに実行させるためのプロ
グラムとし、前記プログラムを、前記コンピュータが読
み取りできる記録媒体に記録したことを特徴とする３次
元画像情報生成プログラムを記録した記録媒体を手段と
する。

【００２１】本発明では、同一の撮影画像から形状復元
と色情報抽出の両方を行なうので復元形状と画像の合わ
せ込みの必要がないという利点がある。さらに、全方位
からの色情報の保持に、互いに隣接する六角形画素から
成る六角形画像を利用する。六角形画素は六隣接性を持
ち、対称性にも優れているため、無駄な領域も少ないま
ま、通常の二次元配列の画像データに変換し、１枚ない
し数枚の画像データとしてマージし、保持することがで
きる。そのため、扱いが楽で、かつ変換後は通常の画像
圧縮法によりデータを圧縮することが可能である、とい
う利点を持つ。

【００２２】

【発明の実施の形態】以下に、本発明の実施の形態を示
す。尚、これによりこの発明が限定されるものではな
い。

【００２３】［本発明の原理］本発明では、概略形状復
元にシルエット法を用い、色情報の保持にはバッキーボ
ールの平面展開による手法を用いる。シルエット法は、
多視点画像から被写体の概略形状を復元する手法として
用いられている手法で、高速かつ安定に形状復元が行え
るという利点がある。また、バッキーボールとは、図１
１に示すように１２個の正五角形と２０個の正六角形か
ら成る３２面の多面体である。図１１ではわかりやすく
するため、正五角形は黒、正六角形は白及びハッチンン
グで示してある。これはまた、サッカーボールやフラー
レンＣ₆₀の構造としても良く知られており、球面をよく
近似し、かつ内接している。このバッキーボールを二次
元平面上に展開した図が図１２で、さらに全ての正五角
形を正六角形に置換したものが図１３である。これは正
六角形を画素とする六角形画像（図１０）とみなすこと
ができる。さらに六角形画素は六隣接性を持ち、かつ対
称性も良いため、再帰的に階層分割することにより画素
数を増やしたり、単純な変換で、無駄な領域も少ないま
ま通常の二次元配列をとる二次元画像に変換することが
できる（図１４）。すなわち、被写体の復元形状表面に
バッキーボールを仮想的に置き、その多角形視線との交
点上に撮影画像からの色をマッピングすれば、それを通
常の二次元配列をとる画像に変換することができる。こ
の変換により、これまで多数開発されてきた通常の画像
圧縮アルゴリズムが適用できるという利点がある。

【００２４】上記をもとにした本発明の３次元画像情報
生成方法では、シルエット法による被写体の概略形状復
元段階と、仮想空間に配置したバッキーボールと撮影画
像の視線との交点を求め、それを平面展開、階層分割し
て六角形画像を作成し、それを構成する六角形画素と撮
影画像の対応付けを行なう六角形画像情報生成段階と、
復元形状表面を表わす全微少領域に前段階（六角形画像
情報生成段階）での六角形画像を割当て、対応付け結果
を用いて各六角形画素に撮影画像の色付けを行なう色情
報割当て段階と、前段階（色情報割当て段階）で割当て
のなかった六角形画素に補間により色情報を割当てる色
情報補間段階と、六角形画像を通常の二次元配列の画像
データに変換する配列変換段階と、前段階（配列変換段
階）で変換した二次元配列の画像をマージする画像マー
ジ段階と、を有する。

【００２５】以下、各段階について説明する。

【００２６】まず概略形状復元段階では、図９に示すよ
うに、撮影画像の被写体が写っている領域をシルエット
領域として、各画像のシルエット領域を視点から三次元
仮想空間内のボクセル空間に投影し、全投影領域が通過
するボクセル領域を求める。尚、ここで「ボクセル空
間」とは、単位三次元空間である「ボクセル」の集合と
して定義している。得られたボクセル領域が被写体の概
略形状を表わし、その表面を微少領域の集合として表わ
す。

【００２７】次に六角形画像情報生成段階について説明
する。シルエット法を実行した三次元仮想空間内の任意
の位置に、単位半径を持つ仮想的なバッキーボールを配
置する。次に全撮影画像について、中心座標と視点を結
ぶ投影線ｌ^sを求め、バッキーボール表面との交点座標
を三次元座標で計算する（図１５）。次にバッキーボー
ルの中心を通るような平面を考え、バッキーボールの頂
点座標をその平面上に展開し、二次元座標を求める。交
点座標ｋ^sも二次元座標に変換する。最後にパラメータ
で指定されたレベルまたは、ひとつの六角形画素にたか
だかひとつの画像が割当てられるまで、二次元座標上で
の階層分割を繰り返す。ここでの階層的分割は、上位階
層と下位階層の六角形の対称性がずれないため、１）階
層のレベル０で定義する画素と球面との関係を下位階層
でもそのまま使える、２）六角形画像から四角形画像へ
の変換も上位と下位階層で同じ手順で行なえる、という
ことから、図１６のように、正六角形を一旦八等分に分
割して台形を求め、その隣接台形同士がマージして得ら
れる正六角形を下位レベルの六角形とする。階層分割の
結果、ひとつの六角形に２つ以上の交点が存在する場合
には、何らかの方法でひとつのみ残すようにする。具体
的な方法としては、最も六角形の中心に近い座標にある
もののみ残したり、また全ての色の平均を持つ交点を六
角形の中心位置や元の交点の重心位置に与える、といっ
た方法が考えられる。最終的に六段階では、生成された
六角形画素に、それへの交点を持つ撮影画像がたかだか
１枚対応付けられる。

【００２８】色情報割当て段階ではまず、被写体復元形
状表面を表わす全微少領域に、前段階（六角形画像情報
生成段階）で求めた形状、大きさを持つ六角形画像を割
当てる。次に全微少領域から各撮影画像を可視判定し、
微少領域から直接見える撮影画像の色のみ、色付けを行
なう。色は撮影画像と視線との交点上の色とする。

【００２９】次の色情報補間段階では色情報割当て段階
で色が付かなかった六角形画素の色付けを行なう。色の
ついている六角形画素の色を用いて補間を行なう。これ
により実際には微少領域から見えない、または撮影画像
が存在しない六角形画素にも見えている画像からの補間
により色付けする。

【００３０】配列変換段階においては、六角形画像の対
称性を利用した、図１４で表わす変換則に基づき六角形
画像を通常の二次元配列をとる画像に変換する。六段階
で生成される二次元配列画像は微少領域の数だけ存在す
ることになるので、マージ段階において、１枚ないしは
数枚の画像にマージすることにより表示の際に扱い易く
するとともに、従来の画像圧縮手法を適用し易くする。

【００３１】［用語の説明］次に、以下の実施形態での
用語について説明する。 １．撮影画像 被写体を撮影した画像。 ２．視点情報 被写体を撮影した際の、カメラの位置および向きのこ
と。ここでは、カメラパラメータと同じ意味に使ってい
る。 ３．カメラパラメータ 被写体を撮影した際の、カメラ位置及び被写体に対する
向きのこと。ただし、本実施形態では撮影時のカメラの
レンズ歪が全くない物と仮定しており、そうでない場合
はそれもカメラパラメータとして考慮する必要がある。 ４．投影線 撮影画像の視点位置と撮影画像または復元形状の目標位
置とを結んだ直線のこと。 ５．有色画素 色付け済みの六角形画素。 ６．無色画素 色付けされていない六角形画素。 ７．Ｚバッフア法 ３次元コンピュータグラフィックスにおける隠面消去
（視線の手前にある物体で隠される物体や面を検出して
描画しないようにする処理）の方法の一つ。画面を構成
するの各画素に色情報のほかに奥行きに関する情報を持
たせ、画面に描画する際には同じ座標の視点からの奥行
き情報（Ｚ値）を比較して、最も手前にあるものだけを
画面に書き込む手法。この方法で用いる奥行き情報のた
めのメモリ領域をＺバッファと呼ぶ。 ８．ＯＰｅｎＧＬ ＳＧＩ（Ｓｉｌｉｃｎ Ｇｒａｐｈｉｃｓ社）が開発し
た、３次元グラフィツクスハードウェアのために用意さ
れたソフトウェアインターフェイス。主にレンダリング
処理に用いられ、用意されたライブラリを用いることに
よりＺバッファによる描画やＺ値の取得を行なう事も出
来る。

【００３２】［第１の実施形態］図１は、本発明の第１
の実施形態による装置構成図である。本装置は、同一被
写体を多数の視点方向から撮影した複数枚の画像及びそ
れらの視点情報を入力情報とし、その被写体の概略形状
を復元し、さらにその形状表面に座標及び視点に応じた
入力画像の色情報を付加する３次元画像情報生成装置で
ある。

【００３３】図１において、１１は同一被写体を多数の
視点方向から撮影した複数枚の画像及びそれらの視点情
報を入力情報とし、上記撮影画像のうちの被写体の全形
が撮影されている画像複数枚をシルエット画像として選
択し、そのシルエット情報を用いて、被写体の概略形状
を微少領域の集合として復元する概略形状生成部であ
る。１２は復元された形状情報に撮影画像の色情報を付
加するための六角形画像の大きさ及び形状と六角形画像
を構成する六角形画素と撮影画像との対応付けを決定す
る六角形画像決定部である。１３は前記決定された六角
形画像を形状表面上の全微少領域に割当て、その微少領
域毎に、撮影画像の視点と微少領域を結ぶ視線と撮影画
像との交点上の撮影画像の色を、対応する六角形画素に
割当てる色情報付加部である。１４は色情報付加部１３
において色が割当てられなかった六角形画素について、
隣接六角形画素の色を用いて色を決定する無色画素色決
定部である。１５は前記六角形画素で構成される全ての
六角形画像を二次元配列の画像データに変換し、それら
画像データを１枚ないしは複数枚の画像データにマージ
する二次元配列画像変換合成部である。１６は後段の各
部で処理を行ったり最終結果を出力したりするために、
入力情報や各部での処理結果（概略形状生成部１１の形
状情報、六角形画像決定部１２の六角形画像情報、色情
報付加部１３の六角形画像情報、無色画素色決定部１４
の六角形画像情報、及び二次元配列画像変換合成部の二
次元配列画像情報）を記憶する情報記憶部である。本装
置は以上の各部で構成される。

【００３４】図２は上記の装置における処理の流れを示
すフローチャートである。図２では被写体形状をシルエ
ット法によって求めた微少なポリゴンの集合で表わし、
その頂点を微少領域とみなし、各撮影画像からの色づけ
を行なう実施形態を挙げる。また、本実施形態では、六
角形画像の分割の階層レベルは撮影画像の視点位置によ
り自動で決める。

【００３５】まず、シルエット法により形状復元を行な
う（ステップ２１）。ここでは、まず撮影画像の中から
被写体の全形が撮影されている画像複数枚をシルエット
画像として選択し、被写体の写っている領域をシルエッ
ト領域とする（図９）。次に、初期値として与えられて
いるボクセル空間を８つに等分割し、分割後のボクセル
が持つ８頂点と各シルエット画像の視点とを結ぶ投影線
を作成する。その後、投影線と各シルエット画像との交
点を求め、さらにそれら交点座標が各シルエット画像上
で作るバウンディングボックスを求める。全てのシルエ
ット画像において、このバウンディングボックスの内部
領域が、シルエット領域とそれ以外の領域を含む場合、
投影元となったボクセルが被写体の概略形状の境界上に
あると判定する。この、境界上にあると判定されたボク
セル（境界ボクセル）のみを８つに等分割し、頂点から
の投影により再判定する、ということを繰り返し行なう
と、徐々に境界ボクセルが小さくなり、被写体の実際の
大きさ、形状に近い概略形状を境界ボクセルの集合とし
て得ることができる（図１７）。例えば、一辺１ｍｍの
ボクセルが得られるまで判定、８分割を繰り返せば解像
度が１ｍｍの概略形状を得ることが出来る。

【００３６】次のステップ２２では、このようにして得
られたボクセルの中心点同士を結ぶことにより、被写体
の概略形状表面を微少なポリゴンの集合として表わす
（図１８）。

【００３７】ステップ２３では、各頂点に与える六角形
画像の形状、大きさ、を決定するとともに、撮影画像と
六角形画素を対応付ける。本ステップでは、まずバッキ
ーボールを、その中心が前ステップで復元した形状の中
心と一致するように仮想的に配置する。次に、撮影画像
の視点と座標原点を結ぶ線とバッキーボール表面との交
点の座標を算出し、その交点座標を平面展開した六角形
画像上の座標に変換する。次に、ひとつの六角形内に存
在する交点がひとつとなるまで、図１６の規則に従い、
六角形画像を階層的に分割する。次に、生成された六角
形画素とそれへの交点を持つ撮影画像との対応関係を記
憶する。最後に、ステップ２１において復元した概略形
状の頂点数分の六角形画像の配列を確保する。ここで、
各六角形画像は上で求めた形状、及び大きさを持つ。

【００３８】次のステップ２４では、図３に示したアル
ゴリズムにより、全頂点に対し、直接見える撮影画像か
らの色を、ステップ２３の最後に配列確保した各頂点用
の六角形画素に割当てていく。ここではステップ３３に
おいて、各撮影画像を仮想的な画面とみなし、撮影画像
上にステップ２１で復元した概略形状を、ＯｐｅｎＧＬ
によるＺバッファ法を適用して仮想的に描画することに
より撮影画像上の画素のＺ値を求める。次に、得られた
Ｚ値と復元概略形状上の各頂点と、その投影線と撮影画
像間の交点との距離を比較し、それが画像上のＺ値と等
しければ、その頂点は撮影画像から可視であると判定す
る（ステップ３６）、ある撮影画像から可視であると判
定された頂点には、その頂点からの投影線と撮影画像の
交差する画素の色を、ステップ２４で求めた関係に基づ
いた六角形画素に割当てる（ステップ３７）。ここで色
を割当てられた画素が有色画素となる。

【００３９】ステップ２５では、各六角形画像に対し
て、以下を無色画素がひとつもなくなるまで行なう（図
４）。まず、画像内の全ての無色画素を抽出し、その無
色画素を有色画素との隣接数の降順にソートする（ステ
ップ４２，４３）。結果のキューのトップの画素をｑ
_topとすると、ｑ_topを隣接する有色画素の色平均とす
る。ただし、六角形画像の境界上の六角形画素について
は、もとのバッキーボール上で隣接する画素を考慮して
補間を行なう。ｑ_topに隣接する無色画素があれば、無
色画素の隣接数を変更し、キューを再ソートし、トップ
の色を補間により決定する。ここで、ステップ４４で
は、隣接有色画素の色の平均値を補間の色とする。

【００４０】次に、図１４での変換規則に則り、全頂点
の六角形画像を通常の２次元配列の画像に変換した後
（ステップ２６）、ステップ２７でそれらの画像を１枚
ないしは複数枚の画像データとしてマージする。マージ
は頂点番号順に六角形画像を並べることにより行なう。

【００４１】［第２の実施形態］図５は、本発明の第２
の実施形態による装置構成図である。本装置は、第１の
実施形態において、マージ後の画像データを圧縮する画
像圧縮部５６を備えたものであり、概略形状生成部５
１、六角形画像決定部５２、色情報付加部５３、無色画
素色決定部５４、二次元配列画像変換合成部５５は、図
１における概略形状生成部１１、六角形画像決定部１
２、色情報付加部１３、無色画素色決定部１４、二次元
配列画像変換合成部１５と同様のものである。ただし、
情報記憶部５７は、図１の情報記憶部１７に加えて、画
像圧縮部５６で圧縮された画像データをも記憶する。

【００４２】また、上記構成により実現される本実施形
態の処理の流れでは、第１の実施形態でのフローに加
え、生成画像データの圧縮を行なうステップを有する。
フローチャートを図６に示す。本実施形態におけるポリ
ゴンデータ化（ステップ６２）、色情報付加（ステップ
６４）及び二次元配列画像変換のアルゴリズム（ステッ
プ６６）は第１の実施形態におけるステップ２２，２
４，２６とそれぞれ同じであるとする。

【００４３】ステップ６１でもステップ２１同様、シル
エット法により形状復元を行なう。ここでも、まず撮影
画像の中から被写体の全形が撮影されている画像複数枚
をシルエット画像として選択し、被写体の写っている領
域をシルエット領域とする（図９）。次に、初期値とし
て与えられているボクセル空間を８つに等分割し、分割
後のボクセルが持つ８頂点と各シルエット画像の視点と
を結ぶ投影線を作成する。その後、投影線と各シルエッ
ト画像との交点を求める。各シルエット画像に対する８
つの交点座標が、シルエット領域内と領域外の双方に分
散しているかどうかを調べる。全シルエット画像に対し
て分散している場合、投影元となったボクセルを第１の
実施形態における境界ボクセルと同じとみなす。この判
定法とボクセルの８分割の繰り返しにより、第１の実施
形態同様、被写体の概略形状を境界ボクセルの集合とし
て得る。ただし本実施形態の場合は、境界ボクセルの判
定法が、ボクセル頂点からの投影線との変点座標のシル
エット領域との内外判定のみであり、例えばボクセル領
域内に被写体の小さな凸部が入り込んでいたりすると、
投影線の交点はすべてシルエット領域外にあると判定さ
れてしまい、得られる概略形状の表面が穴が空いたよう
に欠損してしまう場合がある。その場合には、欠損部の
境界上にあるボクセルに隣接するように最小の大きさの
ボクセルを付加し、その付加したボクセルの境界ボクセ
ル判定を行ない、境界ボクセルのみを残していく、とい
うことを欠損部がなくなるまで繰り返すことにより、閉
じた概略形状表面を得る。

【００４４】ステップ６３では、ステップ２３と同様
に、各頂点に与える六角形画像の形状、大きさ、を決定
するとともに、撮影画像と六角形画像を対応付ける。本
ステップにおいても、まずバッキーボールを、その中心
が前ステップで復元した形状の中心と一致するように仮
想的に配置する。次に、撮影画像の視点と座標原点を清
ぶ線とバッキーボール表面との交点の座標を算出し、そ
の交点座標を平面展開した六角形画像上の座標に変換す
る。次に、パラメータにより指定された階層まで、図１
６の規則に従い六角形画像を分割する。分割結果のひと
つの六角形画素上にふたつ以上の交点が存在している場
合は、最も六角形の中心座標に近いもののみ残す。次
に、生成された六角形画素とそれへの交点を持つ撮影画
像との対応関係を記憶する。最後に、ステップ２１にお
いて復元した概略形状の頂点数分の六角形画像の配列を
確保する。ここで、各六角形画像は上で求めた形状、及
び大大きさを持つ。

【００４５】ステップ６５での補間のアルゴリズムは図
４と同じだが、ステップ４４において求める画素の色
は、該当無色画素の中心座標に最も近い交点座標を持つ
隣接有色画素の色、とする。また、ステップ６７での画
像のマージ方法は、画像データを、頂点色の分散が閾値
以上のものと以下のものとの二種類に分類し、それぞれ
頂点番号順に並べる。閾値以上の画像については非圧縮
のままにし、閾値以下の画像についてはステップ６８に
おいてｊｐｅｇによる圧縮を行なう。

【００４６】尚、以上の実施形態において、それぞれ全
ての適用範囲はこれに限定されるものではない。例え
ば、第１の実施形態におけるステップ２１でのシルエッ
ト法を第２の実施形態におけるステップ６１でのシルエ
ット法にも適用することも考えられるし、その逆も有り
得る。また例えば、第１の実施形態におけるステップ４
４での補間方法を第２の実施形態における補間方法にも
適用することも考えられるし、その逆も有り得る。さら
に隣接有色画素の色の中からの任意の一色とすることも
考えられる。また、第１の実施形態における画像のマー
ジ方法を第２の実施形態において適用することも考えら
れるし、頂点色の平均値が近いものから順番にマージし
ていく手法も考えられる。一方、ステップ２７や６７に
おけるマージ後の画像データの形状についても、頂点毎
の六角形画像の大きさと頂点数から面積を推定し、正方
形に近い縦横比の形状を持つような画像データが得られ
るようにすることも考えられる。また、ステップ６８に
おける圧縮もベクトル量子化を始めとする他の圧縮手法
を適用することも考えられる。

【００４７】［他の実施形態］図７を参照すると、本発
明の他の実施形態の３次元画像情報生成装置は入力装置
７１と記憶装置７２，７３と出力装置７４と記録媒体７
５とデータ処理装置７６で構成されている。

【００４８】入力装置７１は撮影情報、視点情報を入力
するためのものである。記録装置７２は図１中の情報記
憶部１６に対応する。記憶装置７３はハードディスクで
ある。出力装置７４は生成された３次元画像情報を表示
したり、印刷したりする。記録媒体７５は以上の各実施
形態で述べた処理からなる３次元画像情報生成プログラ
ムが記録されている、ＦＤ（フロッピィディスク（登録
商標））、ＣＤ−ＲＯＭ等の記録媒体である。データ処
理装置７６は記録媒体７５から３次元画像情報生成プロ
グラムを読み込んで、これを実行するＣＰＵ（コンピュ
ータ）である。

【００４９】尚、３次元画像情報生成プログラムは、図
１や図５で示した装置における各部の一部もしくは全部
の機能をコンピュータで実行するためのプログラムとし
て構成したもの、あるいは、図２〜４や図６で示した処
理のステップをコンピュータで実行するためのプログラ
ムとして構成したものである。この３次元画像情報生成
プログラムは、上記のようなコンピュータが読み取りで
きる記録媒体に記録することによって、保存したり、配
布したり、提供したりすることが可能であるとともに、
インターネットや電子メールなど、ネットワークを通し
て配布したり提供したりすることも可能である。

【００５０】

【発明の効果】以上説明したように、本発明では、 １．同一の撮影画像から形状復元と色情報抽出の両方を
行なうので復元形状と画像の合わせ込みの必要がなく、
短時間でデータが生成できる。 ２．六角形画像を用いることにより、全方位からの色デ
ータを扱いが楽な少数枚の画像データとして得ることが
できる。 ３．そのためデータの圧縮に従来の画像圧縮アルゴリズ
ムを適用できる。以上のような効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の３次元画像情報生成
装置の構成図である。

【図２】本発明の第１の実施形態における全体の処理の
流れを示すフローチャートである。

【図３】本発明の第１の実施形態における六角形画素の
色づけの流れを示すフローチャートである。

【図４】本発明の第１の実施形態における補間の流れを
示すフローチャートである。

【図５】本発明の第２の実施形態の３次元画像情報生成
装置の構成図である。

【図６】本発明の第２の実施形態における全体の処理の
流れを示すフローチャートである。

【図７】本発明の他の実施形態の３次元画像情報生成装
置の構成図である。

【図８】本発明の位置付け、及び本発明において生成す
るデータの概念図である。

【図９】シルエット法の原理を示す概念図である。

【図１０】六角形画像及び六角形画素の説明図である。

【図１１】バッキーボールの概念を表わす説明図であ
る。

【図１２】バッキーボールを二次元平面展開した図であ
る。

【図１３】図１２の正五角形を正六角形に置換した図で
ある。

【図１４】六角形画像を二次元配列の画像データに変換
する図である。

【図１５】三次元仮想空間におけるバッキーボールと撮
影画像の中心座標と視点を結ぶ投影線との交点を求める
概念図である。

【図１６】六角形画像の階層分割の概念図である。

【図１７】シルエット法（第１の実施形態でのステップ
２１、第２の実施形態でのステップ６１）における、ボ
クセル空間の８分割を表わす概念図である。

【図１８】第１の実施形態でのステップ２２、ポリゴン
データ化における、ポリゴンデータ生成手法を表わす概
念図である。

【符号の説明】

１１…概略形状生成部 １２…六角形画像決定部 １３…色情報付加部 １４…無色画素色決定部 １５…二次元配列画像変換合成部 １６…情報記憶部 ２１〜２７，３１〜３７，４１〜４４…ステップ ５１…概略形状生成部 ５２…六角形画像決定部 ５３…色情報付加部 ５４…無色画素色決定部 ５５…二次元配列画像変換合成部 ５６…画像圧縮部 ５７…情報記憶部 ６１〜６８…ステップ ７１…入力装置 ７２…記憶装置 ７３…記憶装置 ７４…出力装置 ７５…記録媒体 ７６…データ処理装置

フロントページの続き (72)発明者 北沢 仁志 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 BA09 DA04 DA07 EA09 EA10 EA27 EA28 EA30 FA05 5B057 BA11 CA01 CA12 CB01 CB13 CE16 CG01 DA17 DB03 DB06 5B080 BA01 BA02 BA04 BA05 FA02 FA15 GA22

Claims (6)

【特許請求の範囲】
1. 【請求項１】 同一被写体を多数の視点方向から撮影し
   た複数枚の撮影画像及びそれらの視点情報を入力とし、
   その被写体の概略形状を復元し、さらにその形状表面に
   視点に応じた撮影画像の色情報を付加する３次元画像情
   報生成方法であって、 前記撮影画像のうちの被写体の全形が撮影されている画
   像複数枚をシルエット画像として選択し、そのシルエッ
   ト情報を用いて、被写体の概略形状を微少領域の集合と
   して復元する段階と、 前記復元された概略形状に撮影画像の色情報を付加する
   ための六角形画像の大きさ及び形状と六角形画像を構成
   する六角形画素と撮影画像との対応付けを決定する段階
   と、 前記対応付けを決定する段階で求めた六角形画像を形状
   表面上の全微少領域に割当て、その微少領域毎に、撮影
   画像の視点と微少領域を結ぶ投影線と撮影画像との交点
   上の色を、対応する六角形画素に割当てる段階と、 前記割当てる段階において色が割当てられなかった六角
   形画素について、隣接六角形画素の色を用いて色を決定
   する段階と、 前記六角形画素で構成される全ての六角形画像を二次元
   配列の画像データに変換し、それら画像データを１枚な
   いしは複数枚の画像データにマージする段階とを有する
   ことを特徴とする３次元画像情報生成方法。
2. 【請求項２】 前記マージする段階の後に、マージ後の
   画像データを圧縮する段階を有することを特徴とする請
   求項１記載の３次元画像情報生成方法。
3. 【請求項３】 同一被写体を多数の視点方向から撮影し
   た複数枚の撮影画像及びそれらの視点情報を入力とし、
   その被写体の概略形状を復元し、さらにその形状表面に
   視点に応じた撮影画像の色情報を付加する３次元画像情
   報生成装置であって、 前記撮影画像のうちの被写体の全形が撮影されている画
   像複数枚をシルエット画像として選択し、そのシルエッ
   ト情報を用いて、被写体の概略形状を微少領域の集合と
   して復元する概略形状生成手段と、 前記復元された形状情報に撮影画像の色情報を付加する
   ための六角形画像の大きさ及び形状と六角形画像を構成
   する六角形画素と撮影画像との対応付けを決定する六角
   形画像情報決定手段と、 前記決定された六角形画像を形状表面上の全微少領域に
   割当て、その微少領域毎に、撮影画像の視点と微少領域
   を結ぶ視線と撮影画像との交点上の撮影画像の色を、対
   応する六角形画素に割当てる色情報付加手段と、 前記色情報付加手段において色が割当てられなかった六
   角形画素について、隣接六角形画素の色を用いて色を決
   定する無色画素色決定手段と、 前記六角形画素で構成される全ての六角形画像を二次元
   配列の画像データに変換し、それら画像データを１枚な
   いしは複数枚の画像データにマージする二次元配列画像
   変換合成手段とを有することを特徴とする３次元画像情
   報生成装置。
4. 【請求項４】 前記二次元配列画像変換合成手段でマー
   ジされた後の画像データを圧縮する圧縮手段を有するこ
   とを特徴とする請求項３記載の３次元画像情報生成装
   置。
5. 【請求項５】 請求項１または２記載の３次元画像情報
   生成方法における段階を、コンピュータに実行させるた
   めのプログラムとしたことを特徴とする３次元画像情報
   生成プログラム。
6. 【請求項６】 請求項１または２記載の３次元画像情報
   生成方法における段階を、コンピュータに実行させるた
   めのプログラムとし、 前記プログラムを、前記コンピュータが読み取りできる
   記録媒体に記録したことを特徴とする３次元画像情報生
   成プログラムを記録した記録媒体。