JP2009244229A - 三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラム - Google Patents

Abstract

【課題】 高価で特殊な装置や、難しい測定条件を必要としない、三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラムを提供する。
【解決手段】 本発明の三次元画像処理方法および三次元画像処理装置では、対象物体に光を投影してこの対象物体を撮影して得られた画像情報に基づいて前記対象物体の表面各部の法線方向を示すデータを取得し、このデータを用いて前記対象物体の表面属性を推定することとする。本発明では、対象物体上に複数個の特徴点を決め、これらの特徴点を含む、撮影角度の異なる複数の二次元画像情報から、特徴点の法線方向のデータを得る。これを用いて対象物体の色・光沢・輝度などの表面特性を高精度に表す、三次元画像を得る。
【選択図】 図１

Description

本発明は、対象物体を撮影した２次元画像から三次元画像を作製するための三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラムに関する。

近年、コンピュータグラフィックス（ＧＧ）、コンピュータビジョン（ＣＶ）の分野において、特殊な装置を用いて対象物体の計測・解析を行い、仮想環境下において実物同様の写実性をもつ物体表現を図る研究が行われている。

対象物体を正確にモデル化するには、物体表面の色、光沢、異方性反射特性といった物体表面の外観情報が重要である。その中でも、物体の色と光沢とは、物体表面の反射特性として特に重要である。このため、実環境の物体表面反射特性をモデル化し、拡散反射率などの各反射パラメータを推定している。

反射パラメータの推定をするには、イメージ分光器やレンジファインダなどの特殊な装置を用いて正確に計測することが行われている（例えば、非特許文献１）。
李 実英、「分光画像による物体表面の反射パラメータ推定」、奈良先端科学技術大学院大学修士論文、２００４

しかし、非特許文献１で使用されるイメージ分光器やレンジファインダなどの特殊な装置は、非常に高価である。また、計測には厳密な幾何学的配置精度が必要となる。したがって、誰もが容易に利用することが難しいという問題がある。

すなわち、本発明は、上記問題に鑑みなされたものであり、その目的は、高価で特殊な装置や、難しい測定条件を必要としない、三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラムを提供することにある。

上記課題を解決するために、本発明の三次元画像処理方法および三次元画像処理装置では、対象物体に光を投影してこの対象物体を撮影して得られた画像情報に基づいて前記対象物体の表面各部の法線方向を示すデータを取得し、このデータを用いて前記対象物体の表面属性を推定することとする。

具体的には、対象物体上に複数個の特徴点を決め、これらの特徴点を含む、撮影角度の異なる複数の二次元画像情報を得る。これらの特徴点の法線方向のデータから、対象物体と投影手段と撮影装置の位置関係から推定される、対象物体の色・光沢・輝度などの表面特性を高精度に表す、三次元画像を得る。

本発明では、対象物体上に複数個の特徴点を決め、これらの特徴点を含む、撮影角度の異なる複数の二次元画像情報から、特徴点の法線方向のデータを得る。これを用いて対象物体の色・光沢・輝度などの表面特性を高精度に表す、三次元画像を得る。すなわち、デジタルカメラなどの簡易な測定装置を用いた画像情報から、よりリアルな三次元画像を得る三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラムを提供することができる。

以下に、本発明を、図面を用いて詳細に説明する。

［構成］
図１は、本発明の実施形態の一例である三次元画像処理システムの構成を示す図である。図１の例では、対象物体１０と、光源２０と、ＣＣＤやＣＭＯＳなどを備え、対象物体の画像を測定するデジタルカメラからなる撮影装置３０と、コンピュータなどからなる三次元画像処理装置２００とから構成されている。

三次元画像処理装置２００は、オペレータが操作可能なユーザインターフェース４０と、光源２０や撮影装置３０を制御するコントローラ５０と、撮影装置３０により撮影された画像情報を保存する画像メモリ６０と、画像メモリ６０に保存された画像情報に基づいて対象物体の三次元形状データを算出する三次元形状算出部（三次元形状取得部）８０とを備えている。

さらに、三次元画像処理装置２００は、画像メモリ６０に保存された画像情報に基づいて対象物体の特徴点により特定できる表面の法線方向を算出する法線方向算出部（法線方向取得手段）９０と、法線方向取得手段により算出された法線方向と画像メモリに保存された画像情報とに基づいて対象物体の表面特性を推定算出する表面特性算出部（表面特性取得手段）１００と、三次元形状算出部により算出された三次元形状データおよび表面特性算出部により推定された表面属性を統合して三次元画像（三次元モデル）データを構築する三次元モデルデータ構築部１１０と、この三次元モデルデータ構築部により構築された三次元モデルデータを、不図示のディスプレイ又は印刷装置に出力する出力端子１２０とを備えている。

光源５０および撮影装置６０は、暗室又は外部からの光の侵入を遮断する筐体内に設置されていてもよく、暗室又は筐体の外部に設置してもよい。

次に、上記のように構成された三次元画像処理システムによる対象物体の三次元モデルデータの作成について、図２のフローチャートを用いて説明する。なお、図２また、図１中の実線は、上記フローチャートの処理の流れを、二重線はデータの流れを示す。

対象物体１０は、図示しない回転ステージの上に設置する。あるいは、撮像装置を移動させて撮影を行ってもよい。回転ステージを用いる場合は、回転テーブルとコントローラ５０とを接続し、回転角度を制御してもよい。重要なのは、光源２０と、対象物体１０と、撮影装置３０との位置関係は既知であることである。光源２０と、対象物体１０と、撮影装置３０とは、それぞれの重心を基準として位置関係が決まる。また、光源２０として撮影装置３０に設けられたフラッシュを用いてもよい。また、撮影装置として距離計が備えられたデジタルカメラを用いてもよい。

本発明では、対象物体１０上に存在する複数個の特徴点を用いて行う。このため、対象物体１０上の特徴点を決定する必要がある。例えば、三角錐、四角錐のように、一定方向から見て三角形が２面が見えるものであれば、２面を構成する４個の頂点を特徴点にすればよい。あるいは、直方体を斜めに見ると、３面が見える。この場合には、３面を構成する７個の頂点を特徴点にすればよい。

このように、特徴点の検出が容易である対象物体である場合は、そのまま本撮影を行う。

一方、対象物体１０が、複雑な構造である場合、表面に凹凸構造がある場合、表面が局面や球面である場合は、特徴点を見出すのが容易でない。この場合には、プレ撮影を行い、対象物体を異なる角度で撮影する。図１の例では、撮影装置３０をＹ軸を中心に回転させて撮影する。異なる角度で撮影画像から、いずれの画像にも含まれる物体表面の反射特性として利用できる点を選択して特徴点とすればよい。

オペレータによるユーザインターフェースの操作により三次元モデル作製の開始命令がなされると、コントローラ内のＣＰＵ（図示せず）は、撮影装置による撮影を開始させる（ステップＳ１）。

次に、オペレータは、プレ撮影を行うかどうかを指示する（ステップＳ２）。プレ撮影を行わない場合は、オペレータは、撮影条件を指定する（ステップＳ３）。次に、本撮影に進む（ステップＳ５）。そうでない場合は、プレ撮影を行う（ステップＳ１０）。

プレ撮影は、対象物体について三次元画像処理を望む面を中心に、図１に示すように、Ｙ軸を中心として撮影装置３０を所定の角度で回転させながら、角度を変えながら複数回撮影する。撮影した画像は逐次画像メモリ６０に格納する。

撮影が終了すると、画像メモリ６０に格納された複数の画像を三次元形状算出部８０で処理、解析し、対象物体について三次元座標データ（三次元形状データ）を得る。

三次元座標データは三次元形状特徴点判定部７０に送られる。三次元形状特徴点判定部７０は、三次元座標データを解析して、複数の特徴点となる点を決定する。この後に行う本撮影での撮影角度をコントローラ５０に転送して、撮影条件を指定する（ステップＳ３）。

次に、本撮影に入る（ステップＳ４）。ここでの撮影は、対象物体の表面の法線方向取得のため画面の撮影および表面の表面特性を推定するために用いる。

また、各撮影は上記で算出された撮影角度で行われる。

本撮影の開始命令がコントローラ４０からなされると、特徴点が有効に撮影できるように、異なる角度で対象物体を撮影する。取得された画像は画像メモリ６０に格納される。さらに画像データは、三次元形状算出部８０に転送される。三次元形状算出部８０は、因子分解法により三次元座標の検出を行う（ステップＳ５）。具体的には、画像の各特徴点の二次元座標から、三次元情報を復元する。静止画像からの三次元情報は、因子分解法を用いて行う。

次に、法線方向算出部９０で、各特徴点の三次元情報を元に法線ベクトルを求める。三次元空間における面は、２つのベクトルと面上の任意の１点により決定する。図３は、特徴点Ａ、Ｂ、Ｃ、Ｄよりなる面の法線ベクトルを示す図である。特徴点Ａ、Ｂ、Ｃ、Ｄよりなる面の法線ベクトル（図中ｎの上に矢印で記載）は、点Ａから点Ｂを向くベクトルと点Ａから点Ｄを向くベクトルの外積（式１）を計算することで、求められる。

特徴点で囲まれる面が複数ある場合は、それぞれの面において法線ベクトルを求める。法線ベクトルから表面反射パラメータを推定する。

次に、ピクセルごとの光線ベクトルを求める。上記対象物体の三次元座標は、撮影装置と対象物体の相対位置を表す。すなわち、画像における対象物体の二次元座標と整合が取られていない。三次元空間における特徴点間の相対距離と二次元空間における特徴点間の相対距離を除算して、二次元空間と三次元空間の倍率を算出する。

上記で求めた各面の法線ベクトルから各面の方程式を決定する。面の方程式は、式（２）のように与えられる。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ （２）

法線ベクトルと面上にある任意の一点が決まれば、面の方程式が求まる。面上の任意の１点は面上に存在する三次元空間の特徴点に対して、上記三次元空間における各辺の相対距離と２次元空間における各辺の相対距離を除した値（倍率）を除算して求める。これにより、画像の各面に対する方程式を決定する。

上記方程式を解くことで、ピクセルごとの光源ベクトルが得られる。画像における対象物体の二次元座標と面の方程式により求められる奥行き情報を用いて、ピクセルごとの光源ベクトルを算出する。

計測画像には光沢や画像が含まれる。光沢部をハイライト、影部をローライトとし、閾値処理により除去を行うとよい。閾値処理は、計測画像から１ピクセルごとに輝度値を求める。輝度値は、公知の方法により行う。輝度値をもとに各面の平均輝度値を求める。次に、ハイライトの閾値とローライトの閾値を求める。ハイライトの閾値とローライトの閾値は経験的に与える。ハイライトの閾値より大きいものを除去し、ローライトの閾値より小さいものを除去する。

上記得られた法線ベクトルと光源ベクトルとのデータから、拡散反射率の算出を行う。最適な拡散反射率は、最小二乗法を用いて推定を行う。最小二乗法を用いる拡散反射率の推定は公知の方法による。また、同一面上にはＬａｍｂｅｒｔ余弦則が成立するものとして、各面における拡散反射率を求める。これにより、表面特性が推定される。この拡散反射率を、例えばＲＧＢ値に対して正規化を行った値を拡散反射率係数とする。

次に、得られた値を、これを実写画像の三次元形状データの各面に適用して、三次元モデルデータ構築処理を行う（ステップＳ７）。この処理により、精度のよい三次元画像が得られる。

また、公知の方法を用いて影をつけることとしてもよい。

次に、得られた三次元モデルを出力端子から出力して処理を終了する（ステップＳ８）。

さらに、本発明を実施可能なものであれば、どのような構成および仕様を採用してもよい。

図１は、本発明の実施形態の一例である三次元画像処理システムの構成を示す図である。 図２は、本発明の実施形態の一例である三次元画像処理システムによる対象物体の三次元モデルデータの作成フローを説明する図である。 図３は、特徴点Ａ、Ｂ、Ｃ、Ｄにより定義される面の法線ベクトルを示す図である。

符号の説明

１０ 対象物体
２０ 光源
３０ 撮影装置
４０ ユーザインターフェース
５０ コントローラ
６０ 画像メモリ
７０ 三次元形状特徴点判定部
８０ 三次元形状算出部
９０ 法線方向算出部
１００ 表面特性算出部
１１０ 三次元モデルデータ構築部
１２０ 出力端子
２００ 三次元画像処理装置

Claims (6)

1. 対象物体に光を投影してこの対象物体を撮影する第１のステップと、
   この第１のステップで撮影した画像情報に基づいて前記対象物体の表面各部の法線方向を示すデータを取得する第２のステップと、
   この第２のステップで取得した法線方向を示すデータを用いて前記対象物体の表面属性を推定する第３のステップと
   を有する、三次元画像処理方法。
2. 前記第１のステップにおいて、前記対象物体の撮影は、対象物体上の複数個の特徴点を含む、撮影角度の異なる複数の二次元画像情報である、請求項１に記載の三次元画像処理方法。
3. 前記第２のステップにおいて、前記対象物体の表面各部の法線方向を示すデータは、対象物体上の複数個の特徴点の反射光パターンに基づいて得られる、請求項２に記載の三次元画像処理方法。
4. 前記第１のステップで撮影した画像情報から得られる前記対象物体の反射光パターンに基づいて前記対象物件の三次元形状データを生成する第４のステップを有する、請求項１〜３のいずれかに記載の三次元画像処理方法。
5. 投影手段からの光が投影された対象物体を撮影して得られた画像情報に基づいて前記対象物体の表面各部の法線方向を示すデータを取得する法線方向取得手段と、
   この法線方向取得手段から得られた法線方向を示すデータを用いて前記対象物体の表面属性を推定する表面属性推定手段と、
   前記画像情報から得られる前記対象物体の反射光パターンに基づいて前記対象物件の三次元形状データを生成する三次元形状データ生成手段と
   を有する三次元画像処理装置。
6. コンピュータを動作させる三次元画像処理プログラムであって、
   対象物体に光を投影してこの対象物体を撮影する第１のステップと、
   この第１のステップで撮影した画像情報に基づいて前記対象物体の表面各部の法線方向を示すデータを取得する第２のステップと、
   この第２のステップで取得した法線方向を示すデータを用いて前記対象物体の表面属性を推定する第３のステップと
   を有する、三次元画像処理プログラム。
   
   
   
   
   
   

Images