JP6355372B2

JP6355372B2 - 三次元モデル特徴抽出方法、及び三次元モデル・アノテーションシステム

Info

Publication number: JP6355372B2
Application number: JP2014053957A
Authority: JP
Inventors: 将也鈴木; 淳司立間; 青野　雅樹; 雅樹青野
Original assignee: Toyohashi University of Technology NUC
Current assignee: Toyohashi University of Technology NUC
Priority date: 2014-03-17
Filing date: 2014-03-17
Publication date: 2018-07-11
Anticipated expiration: 2034-03-17
Also published as: JP2015176485A

Description

本発明は、三次元物体モデルのデータベースを検索し特徴を抽出する方法、及びアノテーションシステムに関する。三次元モデルのアノテーションとは、三次元モデルに対して、その形状を表す複数のキーワードを自動的に付与する技術である。

自動車製造業に代表される機械部品の製造業では、三次元物体の形状モデルを三次元ＣＡＤ／ＣＡＭシステムで製作するのが通常業務として行われている。また、建設業界でも建物の外観・内装や建物周辺の風景を建立前にＣＧを使ってシミュレーションするために、三次元の建物モデル、部屋のモデル、家具や樹木などのモデルを作成することが広く行われている。さらに、アニメーションや映画、コマーシャルフィルムなどの作成にも、今では三次元ＣＧ技術は欠かせないものとなっている。

しかしながら、このような応用分野で、精緻な三次元モデルを最初に作成する場合、２次元の図形描画よりもはるかに多くの労力と時間を要する。そこで、これらの応用分野で、一度人手や三次元スキャナなどの補助手段で入力し作成した三次元モデルを、三次元物体モデル・データベースに保存しておき、類似した三次元物体の形状モデルを作成する場合に、類似した形状の物体モデルを再利用することで大幅なコスト削減がはかれると考えられる。

特許文献1に記載の技術は、ポリゴンを一定の大きさに分割し、分割されたポリゴンの面積と法線ベクトルから特徴量を定義して検索する方法である。正対（正規化）を行わない古い手法であるため、位置、向き、大きさに依存した検索となってしまい、形状が類似していても検索できない、という問題がある。

特許文献２に記載の技術は、二次元画像を検索キーとした三次元モデル類似検索手法であり、複数の二次元画像から得られる投影像あるいは断面像をもとに特徴量を計算し、これに基づき検索するものである。なお、この特許での特徴量とは、物体表面に実際に付随するテクスチャに対して算出できるＲＧＢ、ＨＳＶ、Ｌａｂ等の各色情報の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、三次元オブジェクトの体積や表面積、頂点分布、ポリゴン分布のヒストグラム等である。このことから、形が類似していても、色が違うものは検索できないという問題がある。また、特許文献１と同じく、正対（正規化）処理がなく、かつ、周波数空間でのスペクトルを使わない点で、投影パラメータ（断面生成パラメータ）依存性などの問題もあり、高い検索精度は出ないと考えられる。

非特許文献１では複数の手法が提案されているが、最も良い検索精度なのは、ＨｙｂｒｉｄＤｅｓｃｒｉｐｔｏｒである。これは、６方向の深度バッファ画像を２次元フーリエ変換し、パワースペクトルを求め、それを特徴量とするものと、３方向のシルエット画像を２次元フーリエ変換し、パワースペクトルを求め、それを特徴量とする。そして、中心から放射状に物体表面と接するまでベクトルを放ち、そのベクトルを特徴量とするものの３つを組み合わせた手法である。スペクトル特徴量と幾何学特徴量を組み合わせた複合特徴量であり、高性能を達成した。Ｖｒａｎｉｃ氏が作成したシステム名のＤＥＳＩＲＥから、しばしばＤＥＳＩＲＥ特徴量（あるいは公開されているプログラム名からＤＳＲ４７２特徴量）と呼ばれる。しかし、スペクトルと幾何学特徴量はかなり異質なものであり、インデックスの管理が複雑化すること、また、深度バッファ画像やシルエット画像からは、物体内部の形状が捉えられないなどの問題点が残る。

非特許文献２では、１００以上の異なる方向から２５６×２５６のシルエット画像を生成し、１０個のフーリエ係数と３５個のツェルニケモーメント係数を求め、これを特徴量とする。類似度計算時に、ある類似しているシルエット画像同士の部分を比較する。この特徴量をＬｉｇｈｔＦｉｅｌｄＤｅｓｃｒｉｐｔｏｒ（あるいは略してＬＦＤ特徴量）と呼ぶ。１００以上の方向からレンダリングするため、特徴量の作成時間が猛烈に必要である。シルエットだけから形状を近似するため、微細な形状を見つけられないこと、また、物体内部の特徴が捉えられないなどの問題がある。

非特許文献３では、Ｓｔｅｈｌｉｎｇらは、ＢＩＣ（Ｂｏｒｄｅｒ/ＩｎｔｅｒｉｏｒｐｉｘｅｌＣｌａｓｓｉｆｉｃａｔｉｏｎ）によるコンテンツベースの画像検索手法を述べている。ＢＩＣは、各画素を、注目画素と４近傍いずれかの画素値が異なるものを境界画素（Ｂｏｒｄｅｒ）、注目画素と４近傍全ての画素値が同一であるものを内部画素（Ｉｎｔｅｒｉｏｒ）として分類し、それぞれで画素値の出現頻度によるヒストグラムを作成する。三次元モデル検索を目的としていないため、深度バッファなどを使わない。

特開２００２−４１５３０号公報特開２００４−１６４５０３号公報

D.Vranic, 3D Model Retrieval. Ph.D. thesis, University of Leipzig, 2004. D-Y. Chen, X-P. Tian, Y-T. Shen, M. Ouhyoung, On Visual Similarity Based 3D Model Retrieval. Computer Graphics Forum (2003), 223-232. R.O. Stehling, M.A. Nascimento, and A.X. Falcao, A Compact and Efficient Image Retrieval Approach Based on Border/Interior Pixel Classification," In Proc. of CIKM'02, pp.102-109, 2002.

三次元モデルの特徴量では、上記の先行技術の非特許文献１及び２背景技術の様に、三次元モデルから複数視点で生成した二次元画像を解析する手法が優れた検索性能を得ていた。特に、三次元モデルの形状の凹凸を、画像の濃淡で表現した深度バッファ画像の解析は、三次元モデルの形状を捉えるのに適している。深度バッファ画像の性質から、濃淡の変化が大きい境界部分に形状の特徴は現れる。しかし、深度バッファ画像を扱う非特許文献１では、特に境界部分を強調することなく深度バッファ画像を解析している。

一方、画像の類似検索では、非特許文献３のＢＩＣの様に、境界画素と内部画素に分類して解析をするものがある。しかし、ＢＩＣは、注目画素と４近傍の画素値が同一であるか否かだけを考慮しており、画素値の大小は考慮されていない。形状の凹凸を捉えるという観点では、画素値の大小は重要な情報となる。

また、三次元モデルの回転の任意性に対する解決法に関しても問題がある。非特許文献１では、主成分分析もしくは特異値分解により主軸を求め、三次元モデルの回転を一意に決定している。この方法では、類似した形状であっても、欠損などのノイズにより、主軸が変化してしまう問題がある。非特許文献２では、大量の視点から生成した二次元画像の特徴量を比較することで、回転の任意性を緩和している。特徴量の比較の際に、画像対で特徴量のユークリッド距離を計算し、その最小値を三次元モデル間の距離とする。結果として、単一視点で比較していることになり、回転の任意性は解決できているが、三次元モデルの形状を正確には比較できていない。

本発明は、上記の先行技術の課題を鑑み、これを解決するために成されたものである。

請求項１に記載の三次元モデルの特徴抽出方法は、既知の三次元モデルの複数視点における深度バッファ画像について、各深度バッファ画像における注目画素と近傍の画素との画素値を比較したときの該画素値が異なるものを境界画素として、境界画素パターンの特徴量を予めデータベース化し、検索対象の三次元モデルの境界画素パターンの特徴量を比較することにより三次元モデルを検索する特徴抽出方法であって、前記境界画素パターンの特徴量は、前記境界画素における注目画素と近傍画素との差を正負に分類するとともに、それぞれの出現頻度によるヒストグラムを抽出したものであり、前記境界画素パターンの特徴量の比較は、各深度バッファ画像について抽出した境界画素の出現頻度によるヒストグラムを作成し、複数視点から得られる全てのヒストグラムの組合せを検索インデックスとして、検索対象の三次元モデルとの間で相違度を判定するものであることを特徴とする。

請求項２に記載の三次元モデルの検索方法は、前記深度バッファ画像は、三次元モデルの凹凸を濃淡で表現したものであり、前記境界画素は、前記注目画素と、該注目画素の上下左右に隣接する４つの近傍画素との画素値を比較したときの該画素値が異なるものが抽出されたものであることを特徴とする。

請求項３に記載の三次元モデルの特徴抽出方法は、前記深度バッファ画像は、既知の三次元モデルを特異値分解して姿勢正規化した後、予め定めた視点数における所定のピクセルの大きさで生成されたものであることを特徴とする。

請求項４に記載の三次元モデルの特徴抽出方法は、前記相違度は、前記視点数における各深度バッファ画像の境界画素の出現頻度によるヒストグラムの相違度行列を計算し、該相違度行列に対してハンガリアン法によって得た組合せの最小和の相違度であることを特徴とする。

請求項５に記載の三次元モデルのアノテーションシステムは、既知の三次元モデルの複数視点における深度バッファ画像について、各深度バッファ画像における注目画素と近傍の画素との画素値を比較したときの該画素値が異なるものを境界画素として、予めデータベース化された境界画素パターンの特徴量と、検索対象の三次元モデルの境界画素パターンの特徴量とを比較することにより三次元モデルを検索するアノテーションシステムであって、検索対象の三次元モデルから複数視点における深度バッファ画像を生成する手段と、各深度バッファ画像について注目画素と近傍画素との画素値を比較して境界画素を検出する手段と、検出された各境界画素ごとに注目画素と近傍画素との差を正負に分類するとともに、それぞれの出現頻度によるヒストグラムを抽出する手段と、各深度バッファ画像について抽出した前記ヒストグラムを作成し、複数視点から得られる全てのヒストグラムの組合せを検索インデックスとして、既知の三次元モデルと検索対象の三次元モデルとの間で相違度を判定する手段とを備えることを特徴とする。

前記手段により、高精度かつ高速な三次元モデルの特徴抽出方法及び三次元モデルのアノテーションシステムを実現できる。

注目画素と４近傍との差の正負によるヒストグラムの作成を示した説明図である。本発明にかかる三次元モデル特徴抽出方法およびアノテーションシステムのフロー図である。姿勢正規化（ステップ１）の説明図である。深度バッファ画像の生成（ステップ２）の説明図である。深度バッファ画像に対する境界画素と内部画素に分類を行う工程（ステップ３）の説明図である。注目画素の４近傍の各画素と該注目画素の差を算出する工程（ステップ４）の説明図である。深度バッファ画像ごとに４種類のヒストグラムの境界パターンヒストグラム（ＢＰＨ）を作成する工程（ステップ５及びステップ６）の説明図である。ＢＰＨを特徴量としたｋ−近傍法によるアノテーション工程（ステップ７）の説明図である。

本発明の実施の形態について図表を用いて説明を行う。本発明の実施は、計算機上で構成されるものであり、ＣＰＵ及びメモリなどハードウェアを機能させて実行されるものである。

本発明技術では、三次元モデル（以下、三次元形状モデル、あるいは三次元物体ということがある。）から複数視点で生成した深度バッファ画像を解析することで、三次元モデルの特徴量を得る。深度バッファ画像を解析する際に、注目画素と４近傍いずれかの画素値が異なるものを境界画素、それ以外を内部画素として分類する。深度バッファ画像は、形状の凹凸を濃淡で表現したものであることから、本発明技術ではＢＩＣ（非特許文献３を参照）と異なり、濃淡の変化が現れる境界画素だけを解析対象とする。また、画素値の大小に現れる形状の凹凸変化を捉えるため、注目画素と各４近傍の画素との差を正負にわけ、それぞれで画素値の出現頻度によるヒストグラムを作成する。

以上により、発明技術では、背景技術が十分に捉えられていなかった、三次元モデルの形状の凹凸を捉えることができる。

まず、三次元モデルをＰｏｉｎｔＳＶＤにより姿勢正規化する。三次元モデルでは、制作者やソフトウェアにより、大きさや位置・回転が任意となる。これらは抽出する三次元モデルの特徴量にも影響を与えるため、事前に正規化を行う必要がある。ＰｏｉｎｔＳＶＤは、三次元モデルの面にランダムに点を生成し、それらの点群の平均を三次元モデルの重心として、三次元空間の原点に平行移動することで位置の任意性を解決する。また、サンプル点を特異値分解することで、三次元モデルの主軸を求める。その主軸を、三次元空間のｘ軸，ｙ軸，ｚ軸に沿うように回転を行うことで回転の任意性を解決する。さらに、各頂点座標を原点からの最大距離で割ることで正規化し、大きさの任意性を解決する。

次に、複数視点Ｎ_ν（例えばｇｅｏｄｅｓｉｃｓｐｈｅｒｅの各頂点を視点とした３８視点）からＭ×Ｍ（例えば２５６×２５６）ピクセルの大きさで濃淡Ｌ段階（例えば３２段階）の深度バッファ画像を生成する。各深度バッファ画像で、注目画素と４近傍のいずれかと画素値が異なるものを境界画素として検出する。そして、図１のように、境界画素において、注目画素と４近傍（Ｔｏｐ、Ｒｉｇｈｔ、Ｂｏｔｔｏｍ、Ｌｅｆｔ）との差を正負（Ｐｏｓｉｔｉｖｅ、Ｎｅｇａｔｉｖｅ）に分類し、それぞれで画素値の出現頻度によるヒストグラムを作成する。よって、深度バッファ画像ごとに計算されるヒストグラムの大きさは４×２×Ｌビンとなる。各ヒストグラムは要素の総和により正規化される。

本発明にかかる三次元モデルの特徴抽出方法およびアノテーションシステムのフロー（以下、流れということがある。）は、図２に示される。七つのステップからなり、処理の手順に従ってステップごとに説明を行う。データベースに大量の三次元形状モデルが蓄積されており、形状モデルごとに七つのステップを繰り返す。

＜ステップ１＞
データベースの各三次元形状モデルに対して、姿勢正規化を適用し、「位置」「回転」「大きさ」の任意性を解消する。姿勢正規化された三次元形状モデルは、その重心が半径１の球の中心にくるように配置される（図３）。

＜ステップ２＞
多数視点（例えば、３８視点）の各々から深度バッファ画像を生成する。姿勢正規化された球を、３８頂点をもつ三角パッチで近似し、その各頂点から球の中心に向かうベクトルに垂直な面に投影し深度バッファ画像（デプスバッファ画像）を生成する（図４）。

＜ステップ３＞
各深度バッファ画像に対して、すべての画素を境界画素（Ｂｏｒｄｅｒ）と内部画素（Ｉｎｔｅｒｉｏｒ）に分類する（図５）。

＜ステップ４＞
注目画素と、前記注目画素の４近傍の各画素値との差を算出する（図６）。

＜ステップ５＞
前記ステップ４の差の値に応じて、深度バッファ画像ごとに４種類のヒストグラムの境界パターンヒストグラム（ＢｏｒｄｅｒＰｉｘｅｌＰａｔｔｅｒｎＨｉｓｔｏｇｒａｍ：ＢＰＰＨという。）を作成する（図７）。

＜ステップ６＞
前記ステップ５で得られたＢＰＰＨ特徴量を前記ステップ２で適用する複数の視点からの深度バッファすべてに適用して得られた特徴量を三次元形状モデルの形状特徴量とし、検索におけるインデックスとして利用する。なお、最終的には、ヒストグラムの頻度合計が１．０となるように正規化を行う（図７）。

＜ステップ７＞
ｋ−近傍法でアノテーションを行う。ここで、図８に示すように、たとえば、｛ｖｅｈｉｃｌｅ, ｂｉｃｙｃｌｅ｝は、訓練データとして、この二つのラベルのついた三次元形状モデルのアノテーションを表す。図８では、円弧の中心にある未知な三次元形状モデルに対して、ｋ＝３として、３近傍にあるラベルの和集合が出力ラベルに生成される。

３Ｄモデル同士の類似度計算の際は、クエリ（検索質問）となる３Ｄモデルに上記の１〜６のステップで特徴量に変換し、その特徴量とデータベースにある特徴量との距離をステップ７で計算し、距離の小さい順にソーティングしたものが、類似する形状の順序となる。本実施例では、この距離計算を、（数１）に示される、ＨｉｓｔｏｇｒａｍＩｎｔｅｒｓｅｃｔｉｏｎ距離を使って求めている。

なお、本発明の実施例における前記数値パラメータは実施形態の一例にすぎず、前記フローは、前記数値パラメータに依存しない。

また、前記ステップ７を自動アノテーションの代わりに、検索や分類に変更することで、検索装置にも、また、分類装置にも適用することができる。

ＢＰＨ特徴量による三次元モデル・アノテーションシステムの有効性を確認するために、従来手法との比較実験を行った。

まず、複数視点Ｎ_νの境界画素ヒストグラムの全組み合わせで相違度を計算し、Ｎ_ν×Ｎ_νの大きさの相違度行列を計算する。そして、相違度行列に対してハンガリアン法を適用することで得られる、組み合わせの最小和の相違度を三次元モデルの相違度とする。これにより、三次元モデルの回転の任意性の解決と、複数視点での三次元モデルの形状比較を実現することができる。

今回の実験ではテストデータとしてＳＨＲＥＣ’１２Ｇｅｎｅｒｉｃ 3ＤＤａｔａｓｅｔとＰｒｉｎｃｅｔｏｎＳｈａｐｅＢｅｎｃｈｍａｒｋ（ＰＳＢ）の三次元物体を利用した。ＳＨＲＥＣ’１２Ｇｅｎｅｒｉｃ 3ＤＤａｔａｓｅｔとＰＳＢは本来、三次元物体の形状検索のためのデータセットである。しかし、三次元物体のアノテーションを目的としたデータセットは、これまでに提案されていないため、これらの三次元物体に対して、人手で複数のラベルを付与した。例としては、家の形状をした三次元物体であれば、ｂｕｉｌｄｉｎｇ、ｈｏｕｓｅ、ｍａｎｍａｄｅ、ａｒｃｈｉｔｅｃｔｕｒｅのようにラベル付けが行われている。今回の実験では、ＳＨＲＥＣ’１２Ｇｅｎｅｒｉｃ 3ＤＤａｔａｓｅｔの１，２００個の三次元物体に、合計で１２０種類のラベル付けを行った。また、ＰＳＢでは、１，８１４個の三次元物体に，１８８種類のラベル付けを行った。これらのデータセットは、様々な三次元物体から構成され、一般的な検索精度を評価することができる。

これらの三次元物体に対し、Ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法を用いて、それぞれのデータに対してアノテーションを行った。この手法では、ＳＨＲＥＣ’１２Ｇｅｎｅｒｉｃ３ＤＤａｔａｓｅｔであれば、１，１９９個の三次元物体を訓練データとし、残りの１個の三次元物体に対し、アノテーションを行う。

ラベル推定アルゴリズムにはｋ−近傍識別機（ｋ−ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒＣｌａｓｓｉｆｉｅｒ、ｋ−ＮＮ）を用いた。ｋ−ＮＮは、特徴空間上で、テストデータと訓練データとの比較を行い、テストデータのｋ−近傍にある訓練データが属するクラスの内、最多数を占めたクラスを、識別結果として出力する分類器である。

ｋ−ＮＮをアノテーションに用いる場合は、図８のようになる。訓練データにクラスではなく複数ラベルを付与しておき、テストデータのｋ−近傍にある訓練データのラベルを、アノテーション結果として出力する。ｋ−ＮＮはシンプルなアルゴリズムでありながら、画像の自動アノテーションでは優れた性能を示している。今回は、ｋ＝１として、最近傍法を用いた。

評価尺度としては、画像のアノテーションと同様に、ラベルに対する再現率であるＲｅｃａｌｌ、適合率であるＰｒｅｃｉｓｉｏｎ、調和平均であるＦ−Ｍｅａｓｕｒｅを用いた。いずれの評価尺度も値が大きくなるほど、キーワードの推定性能が優れていると言える。

比較手法としては、関連研究で述べた、ＬｉｇｈｔＦｉｅｌｄＤｅｓｃｒｉｐｔｏｒ（ＬＦＤ）、ＤＥＳＩＲＥＤｅｓｃｒｉｐｔｏｒ（ＤＥＳＩＲＥ）、Ｂｏｒｄｅｒ／ＩｎｔｅｒｉｏｒＰｉｘｅｌＣｌａｓｓｉｆｉｃａｔｉｏｎ（ＢＩＣ）、ＳｐｈｅｒｉｃａｌＨａｒｍｏｎｉｃｓＤｅｓｃｒｉｐｔｏｒ（ＳＨＤ）を用いた。ＢＩＣについては、二次元画像の特徴抽出手法であるため、ＢＰＨと同様に、深度バッファ画像に対して処理を行った。

表１はＳＧＤにおける各特徴量の適合率、再現率、Ｆ−値をまとめたものである。発明技術は全ての評価尺度において最も優れたアノテーション性能となった。従来技術よりも高い適合率でありながら、一般に適合率とトレードオフの関係にある再現率においても、従来技術より高い値となっている。これは、発明技術が、三次元モデルのアノテーションにおいて、正確性と網羅性を兼ね備えていることを示している。

Claims

既知の三次元モデルの複数視点における深度バッファ画像について、各深度バッファ画像における注目画素と近傍の画素との画素値を比較したときの該画素値が異なるものを境界画素として、境界画素パターンの特徴量を予めデータベース化し、検索対象の三次元モデルの境界画素パターンの特徴量を比較することにより三次元モデルを検索する特徴抽出方法であって、前記境界画素パターンの特徴量は、前記境界画素における注目画素と近傍画素との差を正負に分類するとともに、それぞれの出現頻度によるヒストグラムを抽出したものであり、前記境界画素パターンの特徴量の比較は、各深度バッファ画像について抽出した境界画素の出現頻度によるヒストグラムを作成し、複数視点から得られる全てのヒストグラムの組合せを検索インデックスとして、検索対象の三次元モデルとの間で相違度を判定するものであることを特徴とする三次元モデルの特徴抽出方法。
前記深度バッファ画像は、三次元モデルの凹凸を濃淡で表現したものであり、前記境界画素は、前記注目画素と、該注目画素の上下左右に隣接する４つの近傍画素との画素値を比較したときの該画素値が異なるものが抽出されたものである請求項１に記載の三次元モデルの特徴抽出方法。
前記深度バッファ画像は、既知の三次元モデルを特異値分解して姿勢正規化した後、予め定めた視点数における所定のピクセルの大きさで生成されたものである請求項１または２に記載の三次元モデルの特徴抽出方法。
前記相違度は、前記視点数における各深度バッファ画像の境界画素の出現頻度によるヒストグラムの相違度行列を計算し、該相違度行列に対してハンガリアン法によって得た組合せの最小和の相違度である請求項１ないし３のいずれかに記載の三次元モデルの特徴抽出方法。
既知の三次元モデルの複数視点における深度バッファ画像について、各深度バッファ画像における注目画素と近傍の画素との画素値を比較したときの該画素値が異なるものを境界画素として、予めデータベース化された境界画素パターンの特徴量と、検索対象の三次元モデルの境界画素パターンの特徴量とを比較することにより三次元モデルを検索するアノテーションシステムであって、検索対象の三次元モデルから複数視点における深度バッファ画像を生成する手段と、各深度バッファ画像について注目画素と近傍画素との画素値を比較して境界画素を検出する手段と、検出された各境界画素ごとに注目画素と近傍画素との差を正負に分類するとともに、それぞれの出現頻度によるヒストグラムを抽出する手段と、各深度バッファ画像について抽出した前記ヒストグラムを作成し、複数視点から得られる全てのヒストグラムの組合せを検索インデックスとして、既知の三次元モデルと検索対象の三次元モデルとの間で相違度を判定する手段とを備える、ことを特徴とする三次元モデルのアノテーションシステム。