JP6237032B2 - 色と三次元形状の計測方法及び装置 - Google Patents

Description

本発明は、複数の照明光源によって物体を順次照明して撮影した画像群から、対象物体の色と三次元形状を計測する方法、装置、ならびにプログラムに関するものである。

物体の色や三次元形状の計測は、コンピュータグラフィックス（ＣＧ）やデジタルアーカイブ、あるいは、品質検査などの分野で、重要な役割を占める。例えば、映画などの映像製作では、実写シーンやＣＧにより作成したシーンの中に、所望の実物体を違和感無く登場させるために、対象物体の色や三次元形状の情報を計測してデジタル化し、シーンに応じてＣＧ上で仮想的にライティングを施し、画像合成する技術が用いられる。美術品や文化財のデジタルアーカイブでは、資料の研究や現状記録、あるいは、公開の一手段として、対象資料の色や三次元形状の情報を高精度にデジタル化することが求められる。また、製品の製造ラインにおける品質検査においては、製品の良品・不良品判定に色や三次元形状の情報が用いられることがある。計測の方法には接触式と非接触式とがあるが、対象物体を傷つけることなく、かつ、接触式よりも短時間で計測が行えることから、非接触式の計測技術は広い範囲で活用されている。

物体の三次元形状を非接触で計測する方法は、光や電波を対象物体に照射して計測の補助とする能動的な方法と、そのような補助を必要としない受動的な方法とに大別される。この中で、対象物の三次元形状と同時に色の情報を計測できるものとしては、能動的な方法ではパターン投影法や照度差ステレオ法、受動的な方法ではステレオ法がある。

パターン投影法は、デジタルプロジェクタなどの投影機から複数のパターン光（縞パターンや正弦波パターンなど）を対象物体に投影し、デジタルカメラなどの撮像装置で撮影することによって、また、ステレオ法は、デジタルカメラなどの撮像装置により２つ以上の異なる位置から対象物体を撮影することによって、三角測量の原理に基づいて対象物体の三次元形状を復元する技術である。これらの技術では、撮像装置として例えばＲＧＢの３チャンネル画像が得られるデジタルカメラなどを用いれば、対象物体の概ねの色情報を得ることができる。

しかし、これらの方法では、対象物体そのものの色情報、特に、明暗を正しく得ることができない。一般に、物体表面における光の反射光は拡散反射成分と鏡面反射成分を持ち、物体の色情報は拡散反射光に現れる。拡散反射光は、物体そのものの色情報である拡散アルベド、物体表面の面の向き、及び、照明方向の成す角の３つの要素の相互作用によって構成されるが、パターン投影法やステレオ法では、色情報を取得するための撮影の際に照明光の方向を規定していないため、これらの要素を切り分けられないことが、その理由である。

照度差ステレオ法は、対象物体に複数の異なる方向から光を照射し、デジタルカメラなどの撮像装置によって照明毎に対象物体の撮影を行い、画像の画素単位で対象物体の色情報（撮像装置のチャンネル毎の拡散アルベド）と面の向き（法線ベクトル）を求める。この方法では、対象物体の面の向きや照明の方向に依存しない、対象物体そのものの色情報である拡散アルベドが得られる点に特徴がある。また、画素単位で得られた面の向きをつなぎ合わせることで、対象物体の三次元形状を復元することができる。

照度差ステレオを行うためには、対象物体表面上の各位置に対する照明光の方向や強度が既知であることが前提条件となる。例えば、特許文献１では、照度差ステレオによって反射率画像を生成することを特徴としているが、装置の構築にあたっては、光源位置の事前校正とシステムへの入力が必要となる。照明の位置や強度の事前校正を要するこのようなシステムにおいては、対象物体の大きさが常に一定の範囲内にある場合には、校正作業を一度だけ行い、その結果を全ての撮影に適用できるという利点がある。その反面、システムが許容する大きさを上回る対象物体に対してはシステムを使用することができなかったり、あるいは、システムを使用するために光源を配置しなおし、その都度校正を行わなければならなかったりといった欠点が存在する。

それに対して、光源の位置が未知の場合であっても照度差ステレオを実施するための技術が提案されている。

例えば、非特許文献１〜５では、撮影時に使用する照明光が平行光である場合（光源が対象物体に対して無限遠に位置するとみなして問題ない場合や、レンズなどの光学系を用いて非平行光を平行化して照明する場合）に、照明の方向が未知であっても照度差ステレオを実現する方法を述べている。方向が未知の平行光を用いて照度差ステレオを行う場合、generalized bas-relief不定性（ＧＢＲ不定性）と呼ばれる問題が生じる。これは、画像の画素毎に得られる全ての法線ベクトルに、同一の回転を与えたものも解として成立してしまうという一意性不成立の問題である。これに対して、非特許文献１では、被写体上に生じる光沢の情報を用いてＧＢＲ不定性を解決している。非特許文献２では、撮像系の光軸を中心とし、光軸に対して垂直な円の円周上に複数の光源を配置したリング照明を用いることで、ＧＢＲ不定性を解決している。非特許文献３では、被写体の色情報を使用してＧＢＲ不定性を解決している。非特許文献４では、レーザレンジセンサによって取得した対象物体の三次元形状を用いることで、ＧＢＲ不定性を解決している。非特許文献５では、照明方向の異なる複数の画像の中で、拡散反射光が最大となる画素情報を用いることでＧＢＲ不定性を解決している。

これらの技術では、照明が平行光であることに起因するＧＢＲ不定性を解決することを課題としている。しかし、屋内などの限られた空間での撮影においては、対象物体に対する入射光を平行光とみなせる程に対象物体と光源との距離を取ることは困難であることが多い。また、対象物体からそれほど遠くない位置にある光源から照射される非平行光を平行化して照明光として用いることも考えられるが、専用の光学系装置などが必要となってしまう。

こうした課題に対して、より現実的な状況として照明光源と対象物体との距離が近く、かつ、照明光源の位置が未知であるという状況下での撮影で照度差ステレオを実現する手法も提案されている。

例えば、非特許文献６では、１つの点光源の位置をカメラに対して固定し、カメラの位置や向きを変えながら被写体を撮影することで、多視点ステレオの技術と照度差ステレオの技術を用いて被写体の拡散アルベドと形状を復元している。しかしこの手法では、撮影作業者がカメラを動かしながら多数の撮影を行わなければならない。更に、色や起伏の変化が乏しい物体に対しては、各画像の位置合わせが困難となる点も問題として挙げられる。

また、非特許文献７では、対象物体との距離が比較的近い近接光源を用いることで光源位置が未知の場合の照度差ステレオを実現している。しかし、ここで述べられているのは、近接光源を用いることにより前述のＧＢＲ不定性を解決する方法であり、前提条件として、３方向以上の平行光を用いて撮影した画像が必要となる。

特開２００６−２８５７６３号公報

O. Drbohlav and R. Sara, Specularities Reduce ambiguity of Uncalibrated Photometric Stereo, Proc. 7th European Conference on Computer Vision, pp. 46-60 (2002) Z. Zhou and P. Tan, Ring-light Photometric Stereo, Proc. 11th European Conference on Computer Vision, pp. 265-279 (2010) B. Shi, Y. Matsushita, Y. Wei, C. Xu, and P. Tan, Self-calibrating Photometric Stereo, Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1118-1125 (2010) 上川、宮崎、馬場、古川、青山、日浦、及び浅田、「光源方位未知条件下での照度差ステレオ法を用いた三次元形状の高精細化」、画像の認識・理解シンポジウム(2012) P. Favaro and T. Papadhimitri, A Closed-Form Solution to Uncalibrated Photometric Stereo via Diffuse Maxima, Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 821-828 (2012) T. Higo, Y. Matsushita, N. Joshi and K. Ikeuchi, A Hand-held Photometric Stereo Camera for 3-D Modeling, Proc. IEEE Conference on Computer Vision (2009) 岡部及び佐藤、「近接点光源は未較正照度差ステレオにおける形状復元の不定性を解決するか？」、画像の認識・理解シンポジウム、２００７年 D. Nehab, S. Rusinkiewicz, J. Davis, R. Ramamoorthi, Efficiently Combining Positions and Normals for Precise 3D Geometry, Proc. SIGGRAPH (2005)

本発明は、上記課題を鑑みてなされたものであり、複数の照明光源によって物体を順次照明して撮影した画像群を用いる照度差ステレオ法において、撮影時の照明光源の位置が撮影対象物にある程度近い近接光源条件の下で、光源位置の事前校正を行うことなく、高精度で対象物体の色情報と三次元形状を求める方法や装置、ならびにプログラムを提供することを目的とする。

上記課題を解決するために提供する本発明の第１の態様は、物体の色と三次元形状を計測する計測装置であって、計測対象となる物体の粗い三次元形状を計測する粗形状計測手段と、計測対象となる物体の画像を３チャンネル以上のチャンネル数で撮像する撮像手段と、物体を撮像する際に使用する４個以上の照明光源からなる照明手段と、照明手段における４個以上の照明光源を排他的に点灯し、撮像手段にて物体を順次撮像して、照明光源毎の撮像画像を得る画像入力手段と、複数の撮像画像と粗い三次元形状とから、４個以上の照明光源のそれぞれについて撮像時の位置を推定する光源位置推定手段と、光源位置推定手段によって得られたそれぞれの照明光源の位置に基づき、物体の色情報と三次元形状情報を算出する物体復元手段とを備えた、計測装置である。

この第１の態様において、４個以上の照明光源の少なくとも１つは、他の１つ以上の照明光源との相対位置関係が固定されてもよい。

また、第１の態様における光源位置推定手段が、撮像画像の中で計測対象となる物体が含まれる領域から複数のサンプル画素を選択するサンプル画素抽出手段と、照明光源の位置と向きを三次元物体の回転と移動で表し、回転パラメータと移動パラメータから４個以上の照明光源のそれぞれについて位置と向きを計算する光源姿勢計算手段と、光源姿勢計算手段で計算された光源の位置と向き、及び計測対象物体の粗い三次元形状情報を用いて、サンプル画素に対応する計測対象物体表面上の各点における各光源の方向と各光源から照射される光の放射輝度とを計算する入射光計算手段と、入射光計算手段で計算された各光源の方向と各光源から照射される光の放射輝度、及びサンプル画素におけるセンサ応答を用いて、全てのサンプル画素について、計測対象物体の法線ベクトル及び拡散アルベドを計算する表面計算手段と、表面計算手段で計算された法線ベクトルと拡散アルベド、及び入射光計算手段で計算された各光源の方向と各光源から照射される光の放射輝度とを用いて、全てのサンプル画素及び全ての光源について、センサ応答のモデル値を計算するセンサ応答モデル値計算手段と、センサ応答モデル値計算手段で計算されたセンサ応答のモデル値と撮像画像のセンサ応答との誤差を計算する誤差計算手段と、誤差計算手段で計算された誤差が最小となる照明光源の位置と向きを表す回転パラメータと移動パラメータを、非線形最適化によって決定する光源姿勢計算手段とを含んでいてもよい。

なお、上記各手段を含む光源位置推定手段は、４個以上の照明光源を排他的に点灯して物体を照明し、撮像機器によって物体を順次撮像して得た照明光源毎の撮像画像から照明光源の位置と向きを推定する光源姿勢推定装置として構成することができる。

本発明の第２の態様は、物体の色と三次元形状を計測する計測方法であって、計測対象となる物体の粗い三次元形状を計測する粗形状計測ステップと、４個以上の照明光源を排他的に点灯し、３チャンネル以上のチャンネル数を有する撮像機器によって物体を順次撮像し、照明光源毎の撮像画像を得る画像入力ステップと、複数の撮像画像と粗い三次元形状とから、４個以上の照明光源のそれぞれについて撮像時の位置を推定する光源位置推定ステップと、光源位置推定ステップによって得られたそれぞれの照明光源の位置に基づき、物体の色情報と三次元形状情報を算出する物体復元ステップとを備えた、計測方法である。

この第２の態様における光源位置推定ステップが、撮像画像の中で計測対象となる物体が含まれる領域から複数のサンプル画素を選択するサンプル画素抽出ステップと、照明光源の位置と向きを三次元物体の回転と移動で表し、回転パラメータと移動パラメータから４個以上の照明光源のそれぞれについて位置と向きを計算する光源姿勢計算ステップと、光源姿勢計算ステップで得られた光源の位置と向き、及び計測対象物体の粗い三次元形状情報を用いて、サンプル画素に対応する計測対象物体表面上の各点における各光源の方向と各光源から照射される光の放射輝度とを計算する入射光計算ステップと、入射光計算ステップで得られた各光源の方向と各光源から照射される光の放射輝度、及び、サンプル画素におけるセンサ応答を用いて、全てのサンプル画素について、計測対象物体の法線ベクトル及び拡散アルベドを計算する表面計算ステップと、表面計算ステップで得られた法線ベクトルと拡散アルベド、及び入射光計算ステップで得られた各光源の方向と各光源から照射される光の放射輝度を用いて、全てのサンプル画素及び全ての光源について、センサ応答のモデル値を計算するセンサ応答モデル値計算ステップと、センサ応答モデル値計算ステップで得られたセンサ応答のモデル値と撮像画像のセンサ応答との誤差を計算する誤差計算ステップと、誤差計算ステップで得られた誤差が最小となる照明光源の位置と向きを表す回転パラメータと移動パラメータを、非線形最適化によって決定する光源姿勢計算ステップとを含んでいてもよい。

なお、上記各ステップを含む光源位置推定ステップは、４個以上の照明光源を排他的に点灯して物体を照明し、撮像機器によって物体を順次撮像して得た照明光源毎の撮像画像から照明光源の位置と向きを推定する光源姿勢推定方法として構成することができる。

典型的には、上述した第２の態様における計測方法や光源姿勢推定方法は、物体の色と三次元形状を計測する計測装置のコンピュータに実行させる計測プログラムとして実現され、記録媒体などに記録され得る。

以上説明したように、本発明によれば、４個以上の照明光源を排他的に点灯し、３チャンネル以上のチャンネル数を有する撮像機器によって物体を順次撮像して得た照明光源毎の撮像画像から、撮影時の照明光源の位置と向きを推定し、その情報を用いて、対象物体の色情報と三次元形状情報を導出することができる。これによって、上述のように光源位置の事前校正を行うことなく、物体の色情報と三次元形状情報を導出する装置及び方法を提供することができた。

本発明に係る撮影システムの第１の装置構成例を表す説明図 本発明に係る撮影システムの第２の装置構成例を表す説明図 第２の装置構成例における光源セットの説明図 本発明に係る光源位置推定の非線形最適化処理の説明図 上記非線形最適化における評価関数処理の説明図 上記非線形最適化における前処理の説明図 対象物体の粗い三次元形状を取得するための平面規定方法例を表す説明図

以下に、図面を参照しつつ、本発明の好適な実施の形態について例示的に詳しく説明する。

＜照度差ステレオの原理＞
まず、照度差ステレオの原理について述べる。照度差ステレオでは、物体に対して３つ以上の方向から光を照射してそれぞれについて撮影を行い、得られたセンサ応答から画素単位で対象物体の拡散アルベドと法線ベクトルを導出する。

物体表面における光の反射がランバートモデルに従う場合、対象物体を平行光で照明するか、あるいは、点光源とみなせるような微小な光源を用いて照明し、デジタルカメラ等の撮像装置によって撮影すると、対象物体表面上のある微小領域に対応する画素におけるセンサ応答Ｉは、式（１）により定式化される（簡略化のため、画素位置及び光の波長に関連する表記は省略する）。

式（１）において、ρは対象物体表面の拡散アルベド、ｎは対象物体表面の面の向きを示す３行１列の法線ベクトル（単位長）、ｌは対象物体表面から光源方向へ向かう３行１列の光源ベクトル（単位長）、Ｒは対象物体表面における入射光の放射輝度、αは対象物体表面での反射光の放射輝度とセンサ応答との比に基づく正規化係数であり、Ｔはベクトルや行列の転置を表す。

異なるＮ個の方向から対象物体に光を照射し、それぞれについて撮影を行った場合、ｉ番目の照明方向（ｉ＝１，２，．．．，Ｎ）に対するＩ、ｌ、ＲをそれぞれＩ_ｉ、ｌ_ｉ、Ｒ_ｉと表記すると、式（２）が成り立つ。

従って、式（３）及び式（４）と定義すると、

光源ベクトルｌ_ｉ及び入射光の放射輝度Ｒ_ｉが全ての光源について既知であり、かつ、Ｎ≧３のとき、式（５）により拡散アルベドρと法線ベクトルｎの転置の積を求めることができる。

ここで、法線ベクトルｎは単位長であるため、式（５）により得られるρｎ^Ｔは一意に拡散アルベドρと法線ベクトルｎとに分離することができる。すなわち、ベクトルρｎ^Ｔの長さが拡散アルベドρであり、ベクトルρｎ^Ｔを単位長に正規化したものが法線ベクトルｎの転置である。

法線ベクトルは、対象物体表面上の微小領域における面の向きを表すものであるため、この面を隣接する画素でつなぎ合わせていくことにより、対象物体全体の形状を復元することができる。また、上記説明では、簡単のため、光の波長に関する表記は省略したが、撮像装置として例えばＲＧＢの３チャンネル画像が得られるデジタルカメラなどを用いれば、各画素においてＲＧＢそれぞれのチャンネルについての拡散アルベドを得ることができる。そのため、照度差ステレオは、レーザレンジファインダなどの形状計測装置と異なり、形状情報だけでなく、対象物体の色情報も計測できる点に特徴がある。

実際の撮像装置を用いた照度差ステレオでは、光源ベクトルｌや入射光放射輝度Ｒに含まれる誤差や、画像のノイズなどの影響により、導出される法線ベクトルに誤差が含まれることがある。この場合、画素単位で得られた面をつなぎ合わせることにより形状を復元すると、誤差の蓄積によって形状の復元精度が低下する可能性がある。そのため、対象物体の粗い三次元形状は別の方法によって取得し、これと照度差ステレオによって得られる法線ベクトルとを組み合わせて処理することにより高精細な三次元形状を復元する方法も提案されている（例えば、非特許文献８など）。

＜自己校正照度差ステレオ＞
次に、撮影時の光源位置が未知の場合、すなわち、対象物体表面上の各点における光源ベクトルｌ_ｉ及び入射光の放射輝度Ｒ_ｉが未知の場合の照度差ステレオについて、本発明に係る自己校正照度差ステレオの装置構成及び処理方法を説明する。

［装置構成例１］
まず、本発明に係る撮影システムの第１の装置構成例について、図１を参照しながら説明する。図１は、本発明に係る撮影システムの第１の装置構成例を表す説明図である。
図１において、第１の装置は、デジタルカメラ１１と、ＬＥＤランプ１２〜１５と、コンピュータ１６と、キーボード１７と、モニタ１８とを備えている。デジタルカメラ１１は、Ｒ、Ｇ、Ｂの３チャンネルのデジタル画像を撮影するためのデジタルカメラであり、対象物体を撮影するための適切なレンズが装着されている。ＬＥＤランプ１２〜１５は、デジタルカメラ１１によって対象物体を撮影する際の照明光源として使用する。コンピュータ１６は、外部記憶装置としてのハードディスク、一時記憶装置としてのメモリ、演算装置としてのＣＰＵなどを備えており、デジタルカメラ１１を制御して撮影画像を取り込み、ＬＥＤランプ１２〜１５の点灯／消灯を制御する。また、コンピュータ１６は、撮影画像を用いて対象物体の三次元形状や色情報を計算する処理を行う。ただし、撮影画像を取り込むコンピュータと、データ処理用のコンピュータは、それぞれ別のコンピュータであっても構わない。キーボード１７は、ユーザがコンピュータ１６を操作するための入力インタフェースである。モニタ１８は、コンピュータ１６の処理結果を表示するための出力インタフェースである。

ユーザは、まず、対象物体がデジタルカメラ１１の撮影画像に適切に含まれるよう、デジタルカメラ１１の位置や向きを調整し、ピントを合わせる。次に、ＬＥＤランプ１２を、対象物体を照明できる適当な位置及び向きに設置する。そして、ＬＥＤランプ１２のみを点灯し、適切な露光量でデジタルカメラ１１により撮影を行う。撮影が完了した後、ＬＥＤランプ１２を消灯する。以下、残る全てのＬＥＤランプ１３〜１５について、同様に撮影を行う。撮影中は、対象物体にＬＥＤランプ１２〜１５からの照明光以外の光が当たらないことが好ましいが、それができない場合には、全てのＬＥＤランプ１２〜１５を消灯した状態で対象物体を撮影し、ＬＥＤランプ１２〜１５の各々を点灯して撮影した各画像との差分を取ることで、ＬＥＤランプ１２〜１５以外の光が存在しない状態での撮影画像と等価な画像を得ることができる。

なお、図１では、４個のＬＥＤランプ１２〜１５を使用する形態を示しており、自己校正照度差ステレオの原理上は、照明光源の数は４個でよい。ただし、対象物体の形状によっては、対象物体の一部に対して、特定の方向からの照明が遮蔽される場合があるため、５個以上の照明光源を用いることも好ましい。

本発明に係る撮影システムは、図１の構成に限定されるものではなく、例えば、デジタルカメラ１１はコンピュータ１６によって制御しなくても、ユーザが直接操作する形態とすることもできる。同様に、ＬＥＤランプ１２〜１５は、コンピュータ１６から制御せずに、ユーザが直接点灯や消灯を行う形態とすることも可能である。また、照明光源は、ＬＥＤランプに限定されるものではないが、対象物体の大きさに対して十分に小さいことが好ましい。また、図１では、ＬＥＤランプ１２〜１５をそれぞれ個別のランプとして図示したが、１つのＬＥＤランプを用いて、位置を変えながら対象物体を順次撮影することもできる。

［装置構成例２］
次に、本発明に係る撮影システムの第２の装置構成例について、図２及び図３を参照しながら説明する。図２は、本発明に係る撮影システムの第２の装置構成例を表す説明図である。図３は、図２の第２の装置構成に用いられる光源セットの構造例を説明する図である。

図２において、第２の装置は、デジタルカメラ２１と、光源セット２２及び２３と、コンピュータ２６と、キーボード２７と、モニタ２８とを備えている。デジタルカメラ２１は、Ｒ、Ｇ、Ｂの３チャンネルのデジタル画像を撮影するためのデジタルカメラであり、対象物体を撮影するための適切なレンズが装着されている。光源セット２２及び２３は、図３に示すように、光源セット２２及び２３は、照明光源として使用する複数のＬＥＤランプ３１〜３４がフレーム上に固定された構造である。ＬＥＤランプ３１〜３４間の位置関係は既知である。コンピュータ２６は、外部記憶装置としてのハードディスク、一時記憶装置としてのメモリ、演算装置としてのＣＰＵなどを備えており、デジタルカメラ２１を制御して撮影画像を取り込み、光源セット２２及び２３上のＬＥＤランプ３１〜３４の点灯／消灯を制御する。また、コンピュータ２６は、撮影画像を用いて対象物体の三次元形状や色情報を計算する処理を行う。ただし、撮影画像を取り込むコンピュータと、データ処理用のコンピュータは、それぞれ別のコンピュータであっても構わない。キーボード２７は、ユーザがコンピュータ２６を操作するための入力インタフェースである。モニタ２８は、コンピュータ２６の処理結果を表示するための出力インタフェースである。

ユーザは、まず、対象物体がデジタルカメラ２１の撮影画像に適切に含まれるよう、デジタルカメラ２１の位置や向きを調整し、ピントを合わせる。次に、光源セット２２を、光源セット２２上の各ＬＥＤランプ３１〜３４が対象物体を照明できる適当な位置及び向きに設置する。そして、光源セット２２上のＬＥＤランプ３１のみを点灯し、適切な露光量でデジタルカメラ２１により撮影を行う。撮影が完了した後、光源セット２２上のＬＥＤランプ３１を消灯する。以下、光源セット２２上の残る全てのＬＥＤランプ３２〜３４について、同様に撮影を行う。また、光源セット２３についても、光源セット２２と同様に、適切な位置と向きに設置し、ランプの点灯、撮影、消灯を順次繰り返す。撮影中は、対象物体にＬＥＤランプ３１〜３４からの照明光以外の光が当たらないことが好ましいが、それができない場合には、全てのＬＥＤランプ３１〜３４を消灯した状態で対象物体を撮影し、ＬＥＤランプ３１〜３４の各々を点灯して撮影した各画像との差分を取ることで、ＬＥＤランプ３１〜３４以外の光が存在しない状態での撮影画像と等価な画像を得ることができる。

なお、図２では、４個のＬＥＤランプ３１〜３４をフレーム上に配した２つの光源セット２２及び２３を使用する形態を示しているが、自己校正照度差ステレオの原理上は、照明光源の総計は４個でよい。ただし、対象物体の形状によっては、対象物体の一部に対して、特定の方向からの照明が遮蔽される場合があるため、５個以上の照明光源を用いることも好ましい。例えば、４個のＬＥＤランプを配した光源セットを１つだけ使用する形態や、３個のＬＥＤランプを配した光源セットを２つ使用する形態、あるいは、複数の光源セットがそれぞれ異なる数のＬＥＤランプを有する形態であっても構わない。

本発明に係る撮影システムは、図２の構成に限定されるものではなく、例えば、デジタルカメラ２１はコンピュータ２６によって制御しなくても、ユーザが直接操作する形態とすることもできる。同様に、ＬＥＤランプ３１〜３４は、コンピュータ２６から制御せず、ユーザが直接点灯や消灯を行う形態とすることも可能である。また、照明光源は、ＬＥＤランプに限定されるものではないが、対象物体の大きさに対して十分に小さいことが好ましい。また、図２では、光源セット２２及び２３をそれぞれ個別の照明装置として図示したが、１つの光源セットを用いて、位置を変えながら対象物体を順次撮影することもできる。

［処理方法］
次に、本発明に係る撮影システムによって得られた画像群から、対象物体の色情報と三次元形状を求める処理方法について、図４、図５、ならびに図６を参照しながら説明する。なお、図１に示す本発明第１の装置構成例は、図２の本発明第１の装置構成例において光源セット上に配されたＬＥＤランプの数が１つの場合と等価であるとみなすことができるため、以下では、図２の本発明第１の装置構成例に基づいて処理方法を説明する。また、一般性を考慮して、使用する光源セットの数をＭとし、ｊ番目の光源セット（ｊ＝１，２，．．．，Ｍ）に設置されているＬＥＤランプの数をＤ_ｊとする。以降では、ｊ番目の光源セットを光源セットｊと表記し、光源セットｊにおけるｋ番目の光源（ｋ＝１，２，．．．，Ｄ_ｊ）を光源ｊ_ｋと表記する。

まず、本発明に係るデータ処理方法の概略を述べる。前述の通り、照度差ステレオによる法線ベクトルと拡散アルベドの導出には、対象物体各点における光源ベクトルと入射光放射輝度を用いるため、光源姿勢（位置と向き）の推定を行う必要がある。三次元空間における物体の任意の姿勢は、その物体の基準姿勢に対する回転と移動によって表すことができるため、光源位置の推定は、各光源セットに対する回転パラメータと移動パラメータの推定とみなすことができる。本発明に係る処理では、撮影画像群を用いて非線形最適化によってこれらのパラメータを求める。図４は、非線形最適化処理の説明図である。非線形最適化モジュールは、全ての光源セットに対する回転パラメータと移動パラメータを評価関数に与える。評価関数は、与えられたパラメータに基づき、評価値Ｅを算出する。非線形最適化モジュールは、評価値Ｅが収束するまで、パラメータの更新及び評価関数の呼び出しを繰り返し実施する。収束時の回転パラメータと移動パラメータが、各光源セットの姿勢を特定するパラメータとなり、全ての光源の姿勢が決定される。

なお、光源セット及び光源セットに設置されている光源の姿勢と、回転パラメータ及び移動パラメータとの関係は、下記の式（６）の通り定式化する。

ここで、ｑ_ｊ，ｋは、光源セットｊの基準姿勢における光源ｊ_ｋの三次元座標を表す３行１列のベクトル、Ｒ_ｊは三次元空間における光源セットｊの回転を表す３行３列の回転行列、ｔ_ｊは三次元空間における光源セットｊの移動を表す３行１列の移動ベクトル、ｐ_ｊ，ｋは光源セットｊを回転、移動した後の光源ｊ_ｋの三次元座標を表す３行１列のベクトルである。

光源セットｊにおける各光源の位置関係は既知であるので、光源セットｊの基準姿勢における光源ｊ_ｋの三次元座標は、任意のユークリッド空間で規定することができ、例えば光源が平面上に配置されている場合には、光源ｊ_１の座標を（０，０，０）、光源ｊ_２の座標を（Ｘ_ｊ,２，Ｙ_ｊ,２，０）、光源ｊ_３の座標を（Ｘ_ｊ,３，Ｙ_ｊ,３，０）のように表すことができる。

三次元空間における回転行列Ｒ_ｊは、３つのパラメータ、例えば、Ｘ軸を回転軸とした回転角θ_Ｘ；ｊ、Ｙ軸を回転軸とした回転角θ_Ｙ；ｊ、Ｚ軸を回転軸とした回転角θ_Ｚ；ｊによって規定することができる。移動ベクトルｔ_ｊの３つの成分をｔ_Ｘ；ｊ、ｔ_Ｙ；ｊ、ｔ_Ｚ；ｊと表せば、光源セットｊの任意の姿勢は、θ_Ｘ；ｊ、θ_Ｙ；ｊ、θ_Ｚ；ｊ、ｔ_Ｘ；ｊ、ｔ_Ｙ；ｊ、ｔ_Ｚ；ｊの６個のパラメータによって記述できることとなる。また、上記式（６）では、光源ｊ_ｋの位置を定式化したが、回転行列Ｒ_ｊによって光源ｊ_ｋの向きも把握することができる。

非線形最適化モジュールがパラメータの最適化を開始するにあたっては、評価関数に与えるパラメータの初期値が必要となる。パラメータの初期値は、実際に撮影を行ったときの光源セットの姿勢と大幅にずれていなければ問題なく、例えば、ユーザが感覚的に値を決定したり、あるいは、撮影時に磁気センサなどを用いて概ねの位置を把握し、入力したりすればよい。また、非線形最適化モジュールのアルゴリズムは特定のものに限定する必要は無く、例えば、Nelder-Meadの滑降シンプレックス法などを用いればよい。

次に、非線形最適化処理で用いる評価関数の詳細について述べる。図５は、図４における評価関数で行う処理を説明したものであり、Ｓ０１〜Ｓ０５の５つのステップから成る。評価関数への入力は、全ての光源セットに対するθ_Ｘ；ｊ、θ_Ｙ；ｊ、θ_Ｚ；ｊ、ｔ_Ｘ；ｊ、ｔ_Ｙ；ｊ、ｔ_Ｚ；ｊ（ｊ＝１，２，．．．，Ｍ）である。図６は、非線形最適化処理に先立って、一度だけ実施する前処理の説明図であり、Ｐ０１〜Ｐ０４の４つのステップから成る。

まず、図６に示す前処理について説明する。
［ステップＰ０１］
撮影画像において対象物体に対応する画像領域からＧ個の画素を抽出する。以降では、これらの画素をサンプル画素と表記する。抽出方法は特に限定するものではなく、例えば、モニタに表示された画像をユーザが見ながら、マウスを用いて適当な画素を選択する方法や、画素をランダムに選択するプログラムを使用する方法などを用いればよい。

［ステップＰ０２］
ステップＰ０１で選択された全てのサンプル画素について、各光源下で撮影された画像のセンサ応答を抽出する。これは、上記式（３）のＳをＧ個の画素について取得することに相当する。抽出したセンサ応答は、評価関数で使用するために保持しておく。

［ステップＰ０３］
対象物体の粗い三次元形状を計算する。高精細な三次元形状は照度差ステレオ法に基づいて最終的に得られるが、後述するステップＳ０２において対象物体の大まかな三次元形状の情報が必要となるため、適当な方法で三次元形状を計算しておく。粗い三次元形状を取得するための手段としては、例えば、前述のパターン投影法などが適用可能である。あるいは、対象物体が平面に近いものであれば、図７に示すように、対象物体と同時に位置関係が既知のマーカーを撮影する方法も採ることができる。図７の例では、マーカー４１〜４４は同一平面上の十字交差線分であり、各マーカーの交点の三次元座標はＺ成分を０とすることで規定することができる。これらのマーカー４１〜４４を、撮影対象面とほぼ同一の平面上に設置する。撮影画像において各マーカーの交点に対応する画素位置を抽出することにより、４つのマーカー４１〜４４が示す平面から撮影画像に対する射影変換を得ることができるため、逆の変換により、撮影画像における任意の画素に対応する対象物体上の点の概ねの三次元座標を特定することができる。
［ステップＰ０４］

ステップＰ０１で選択された全てのサンプル画素について、ステップＰ０３の結果に基づき、対応する対象物体上の点の概ねの三次元座標を抽出する。抽出した三次元座標は、評価関数で使用するために保持しておく。

続いて、図５に示す評価関数について説明する。
［ステップＳ０１］
光源セットｊに対して、回転パラメータθ_Ｘ；ｊ、θ_Ｙ；ｊ、θ_Ｚ；ｊと移動パラメータｔ_Ｘ；ｊ、ｔ_Ｙ；ｊ、ｔ_Ｚ；ｊを用いて上記式（６）により姿勢変換を行い、光源セットｊに設置された全ての光源の位置を計算する。光源から照射される光が指向性を持つ場合には、回転パラメータから光源の向きも計算する。これを全てのｊについて行う。

［ステップＳ０２］
ステップＰ０１で選択した全てのサンプル画素について、各光源に対する光源ベクトル及び入射光放射輝度を計算する。

全てのサンプル画素の中でｇ番目の画素（ｇ＝１，２，．．．，Ｇ）に対応する対象物体表面上の点の概ねの三次元座標を３行１列のベクトルｒ_ｇとし、そこから光源ｊ_ｋに向かうベクトルｖ_ｇ,ｊ,ｋを、式（７）と定義すると、光源ベクトルｌ_ｇ,ｊ,ｋは、式（８）で表される。ただし、二重線はベクトルのノルムを表す。

また、光源ｊ_ｋから位置ｒ_ｇへの入射光の放射輝度Ｒ_ｇ,ｊ,ｋは、式（９）で表される。

ただし、βは光源からの距離が１の点における放射輝度であり、事前に光源の放射輝度キャリブレーションを行うことで決定される。また、光源が指向性を持つ場合には、βは光源の向きの関数となる。

なお、式（９）では、光源の大きさが十分に小さい場合に、光源から照射された光の放射輝度が光源からの距離の二乗に反比例するという原理に基づいて構成されたものであるが、実際の光源との間に乖離がある場合には、適切な関数に置き換えてもよい。

式（８）及び式（９）の計算を、全ての光源及び全てのサンプル画素の組み合わせに対して行う。

［ステップＳ０３］
ステップＳ０１で求めた光源の位置（及び向き）と、ステップＳ０２で求めた光源ベクトル及び入射光放射輝度と、ステップＰ０２で得たセンサ応答とを用いて、上記式（５）に基づき、全てのサンプル画素に対して法線ベクトルと拡散アルベドを求める。

なお、式（５）では、説明を簡略化するためにカメラのチャンネルに関する記述を割愛したが、実際には、撮影に使用したカメラのチャンネル毎に拡散アルベドを求める必要がある。例えば、カメラがＲ、Ｇ、Ｂの３チャンネルを有する場合には、まずＧチャンネルのセンサ応答のみを用いて式（５）に基づいて法線ベクトル及び拡散アルベドを算出し、次にＧチャンネルで求めた法線ベクトルを式（２）に代入し、最小二乗法を用いてＲチャンネルとＢチャンネルの拡散アルベドを求めればよい。あるいは、Ｒ、Ｇ、Ｂのそれぞれのチャンネルについて、式（５）に基づいて法線ベクトル及び拡散アルベドを求め、得られた３つの法線ベクトルを平均化して単独の法線ベクトルとする方法を用いることもできる。また、これらの処理においては、入射光の放射輝度もＲ、Ｇ、Ｂの３成分に分解しておく必要があり、例えば各光源で完全拡散板を照明して撮影した画像のセンサ応答から、事前にキャリブレーションを行えばよい。

また、式（５）による法線ベクトル及び拡散アルベドの導出においては、対象物体の光反射がランバートモデルに従うことを前提としているが、実際には、物体から反射される光には鏡面反射成分が含まれることがある。そのため、本ステップでは、ステップＰ０２で得たセンサ応答を参照し、センサ応答がある程度大きいものについては鏡面反射成分が含まれるものとみなし、該当する光源に対応するセンサ応答を式（５）による法線ベクトル及び拡散アルベドの導出に使用しないことも好ましい。同様に、ステップＰ０２で得たセンサ応答がある程度小さく、対象物体の形状に伴う光の遮蔽の影響を受けていると考えられる場合も、該当する光源に対応するセンサ応答を使用しないことも好ましい。

［ステップＳ０４］
ステップＳ０３で得られた法線ベクトル及び拡散アルベドと、ステップＳ０２で得られた光源ベクトル及び入射光放射輝度とを用いて、全てのサンプル画素と全ての光源との組み合わせについて、式（１）に基づき、ランバートモデル仮定におけるセンサ応答を計算する。この計算も、ステップＳ０３と同様にＲ、Ｇ、Ｂの各チャンネルについて行う。

［ステップＳ０５］
ステップＳ０４で計算したセンサ応答のランバートモデル値と、ステップＰ０２で得た実際の撮影画像から抽出したセンサ応答（実測値）との差を、式（１０）により計算し、評価値Ｅとする。

ただし、Ｉ_{ｊ,ｋ；ｇ；ｃ}は、光源ｊ_ｋを点灯させて撮影したときのｇ番目のサンプル画素におけるｃチャンネルのセンサ応答の実測値、Ｉ_{ｊ,ｋ；ｇ；ｃ}は、対応するセンサ応答のランバートモデル値である。

以上のステップＳ０１〜Ｓ０５の処理では、評価関数に与えられるパラメータθ_Ｘ；ｊ、θ_Ｙ；ｊ、θ_Ｚ；ｊ、ｔ_Ｘ；ｊ、ｔ_Ｙ；ｊ、ｔ_Ｚ；ｊ（ｊ＝１，２，．．．，Ｍ）が実際の撮影時の状態に近いほど、計算過程における誤差が小さくなり、必然的に評価値Ｅの値が小さくなる。従って、非線形最適化モジュールは、評価関数が計算する評価値Ｅが小さくなるようにパラメータを更新することにより、各光源セットの姿勢、すなわち、各光源の位置と向きを実際の撮影時の状態に近付けていくことができる。非線形最適化モジュールは、評価値Ｅが収束した時点で光源の位置及び向きの推定を完了する。

光源の位置及び向きが決定されれば、撮影画像群から、通常の照度差ステレオの原理に基づき、対象物体表面上の各点の法線ベクトルと拡散アルベドを計算することができる。更に、法線ベクトルは対象物体表面上の微小領域における面の向きを表すものであるため、この面を隣接する画素でつなぎ合わせていくことにより、対象物体全体の形状を復元することができる。また、ステップＰ０３で得た対象物体の粗い三次元形状と、照度差ステレオによって得られる法線ベクトルとを組み合わせて、例えば非特許文献８に開示された手法を用いて、より高精度に三次元形状を復元することも好ましい。

非線形最適化処理において、最適化対象となるパラメータの数は、それぞれの光源セットに対するパラメータがθ_Ｘ；ｊ、θ_Ｙ；ｊ、θ_Ｚ；ｊ、ｔ_Ｘ；ｊ、ｔ_Ｙ；ｊ、ｔ_Ｚ；ｊの６個で、光源セットの数がＭ個であるため、総計６Ｍ個となる。非線形最適化処理を高速、かつ、安定的に行うためには、パラメータの数ができるだけ少ないことが好ましい。一方で、照度差ステレオによる法線ベクトル及び拡散アルベドの導出においては、画像のノイズ等による精度低下の影響を緩和するため、ある程度の数の光源を用いることが好ましい。本発明においては、光源セットに複数の光源を設置し、これらの光源で回転パラメータθ_Ｘ；ｊ、θ_Ｙ；ｊ、θ_Ｚ；ｊと移動パラメータｔ_Ｘ；ｊ、ｔ_Ｙ；ｊ、ｔ_Ｚ；ｊを共通化することで、最適化対象となるパラメータの総数を削減することができる。例えば、８個の光源で撮影することを想定した場合、それぞれの光源を独立して設置した場合（光源セットにおける光源数が１個の場合）には、最適化対象となるパラメータの総数は４８個となるが、２個の光源を含む光源セットを４個使用した場合にはパラメータの総数は２４個、４個の光源を含む光源セットを２個使用した場合にはパラメータの総数は１２個、更に、８個の光源を含む光源セットを１個だけ使用した場合にはパラメータの総数は６個となり、１個の光源セットに設置する光源の数を増やすほど、最適化の対象となるパラメータの総数を削減することができる。実際には、１個の光源セットに設置する光源の数を増やすと、光源セットが大きくなり、扱いにくくなる可能性があるため、対象物体の大きさや撮影環境を考慮して適切な設計を行うことで、一定数の光源数の確保と最適化パラメータ数の削減のバランスを取ることが好ましい。

本発明に係る非線形最適化の処理では、Ｇ個の画素について、照度差ステレオ法の原理によって法線ベクトル及び拡散アルベドを導出しつつ、光源セットの位置を最適化する。最適化における未知変数の数は、Ｇ個の各画素における法線ベクトルと拡散アルベドとがそれぞれ３自由度を持ち（式（５）において法線ベクトルと拡散アルベドとの積が導出されることに相当）、光源セットの回転パラメータと移動パラメータとが６Ｍの自由度を持つため、総計すると３Ｇ＋６Ｍ個となる。一方、既知の情報は、Ｇ個の画素のそれぞれにおいて、各光源について得られたセンサ応答であり、光源の数をＦ個とすれば、その総数はＧＦとなる。非線形最適化が成立するためには、未知変数の数以上の既知の情報が必要であり、その条件は式（１１）で表される。

これを変形すると、式（１２）が得られる。

従って、上記ステップＰ０１において選択する画素数Ｇは、撮影に使用する光源の総数に応じて、式（１２）に基づいて決定する必要がある。

１１、２１ デジタルカメラ
１２〜１５、３１〜３４ ＬＥＤランプ
１６、２６ コンピュータ
１７、２７ キーボード
１８、２８ モニタ
２２、２３ 光源セット
４１〜４４ マーカー

Claims (10)

1. 物体の色と三次元形状を計測する計測装置であって、
   計測対象となる物体の粗い三次元形状を計測する粗形状計測手段と、
   計測対象となる物体の画像を３チャンネル以上のチャンネル数で撮像する撮像手段と、
   前記物体を撮像する際に使用する４個以上の照明光源からなる照明手段と、
   前記照明手段における前記４個以上の照明光源を排他的に点灯し、前記撮像手段にて前記物体を順次撮像して、照明光源毎の撮像画像を得る画像入力手段と、
   前記複数の撮像画像と前記粗い三次元形状とから、前記４個以上の照明光源のそれぞれについて撮像時の位置を推定する光源位置推定手段と、
   前記光源位置推定手段によって得られたそれぞれの照明光源の位置に基づき、前記物体の色情報と三次元形状情報を算出する物体復元手段とを備える、計測装置。
2. 前記４個以上の照明光源の少なくとも１つは、他の１つ以上の照明光源との相対位置関係が固定されていることを特徴とする、請求項１に記載の計測装置。
3. 前記光源位置推定手段は、
   前記撮像画像の中で計測対象となる物体が含まれる領域から複数のサンプル画素を選択するサンプル画素抽出手段と、
   前記照明光源の位置と向きを三次元物体の回転と移動で表し、回転パラメータと移動パラメータから前記４個以上の照明光源のそれぞれについて位置と向きを計算する光源姿勢計算手段と、
   前記光源姿勢計算手段で計算された光源の位置と向き、及び計測対象物体の粗い三次元形状情報を用いて、前記サンプル画素に対応する計測対象物体表面上の各点における各光源の方向と各光源から照射される光の放射輝度とを計算する入射光計算手段と、
   前記入射光計算手段で計算された各光源の方向と各光源から照射される光の放射輝度、及び前記サンプル画素におけるセンサ応答を用いて、全ての前記サンプル画素について、計測対象物体の法線ベクトル及び拡散アルベドを計算する表面計算手段と、
   前記表面計算手段で計算された法線ベクトルと拡散アルベド、及び前記入射光計算手段で計算された各光源の方向と各光源から照射される光の放射輝度とを用いて、全ての前記サンプル画素及び全ての光源について、センサ応答のモデル値を計算するセンサ応答モデル値計算手段と、
   前記センサ応答モデル値計算手段で計算されたセンサ応答のモデル値と前記撮像画像のセンサ応答との誤差を計算する誤差計算手段と、
   前記誤差計算手段で計算された誤差が最小となる前記照明光源の位置と向きを表す回転パラメータと移動パラメータを、非線形最適化によって決定する光源姿勢計算手段とを含む、請求項１に記載の計測装置。
4. ４個以上の照明光源を排他的に点灯して物体を照明し、撮像機器によって物体を順次撮像して得た照明光源毎の撮像画像から当該照明光源の位置と向きを推定する光源姿勢推定装置であって、
   前記撮像画像の中で計測対象となる物体が含まれる領域から複数のサンプル画素を選択するサンプル画素抽出手段と、
   前記照明光源の位置と向きを三次元物体の回転と移動で表し、回転パラメータと移動パラメータから前記４個以上の照明光源のそれぞれについて位置と向きを計算する光源姿勢計算手段と、
   前記光源姿勢計算手段で計算された光源の位置と向き、及び計測対象物体の粗い三次元形状情報を用いて、前記サンプル画素に対応する計測対象物体表面上の各点における各光源の方向と各光源から照射される光の放射輝度とを計算する入射光計算手段と、
   前記入射光計算手段で計算された各光源の方向と各光源から照射される光の放射輝度、及び前記サンプル画素におけるセンサ応答を用いて、全ての前記サンプル画素について、計測対象物体の法線ベクトル及び拡散アルベドを計算する表面計算手段と、
   前記表面計算手段で計算された法線ベクトルと拡散アルベド、及び前記入射光計算手段で計算された各光源の方向と各光源から照射される光の放射輝度とを用いて、全ての前記サンプル画素及び全ての光源について、センサ応答のモデル値を計算するセンサ応答モデル値計算手段と、
   前記センサ応答モデル値計算手段で計算されたセンサ応答のモデル値と前記撮像画像のセンサ応答との誤差を計算する誤差計算手段と、
   前記誤差計算手段で計算された誤差が最小となる前記照明光源の位置と向きを表す回転パラメータと移動パラメータを、非線形最適化によって決定する光源姿勢計算手段とを備える、光源姿勢推定装置。
5. 物体の色と三次元形状を計測する計測方法であって、
   計測対象となる物体の粗い三次元形状を計測する粗形状計測ステップと、
   ４個以上の照明光源を排他的に点灯し、３チャンネル以上のチャンネル数を有する撮像機器によって前記物体を順次撮像し、照明光源毎の撮像画像を得る画像入力ステップと、
   前記複数の撮像画像と前記粗い三次元形状とから、前記４個以上の照明光源のそれぞれについて撮像時の位置を推定する光源位置推定ステップと、
   前記光源位置推定ステップによって得られたそれぞれの照明光源の位置に基づき、前記物体の色情報と三次元形状情報を算出する物体復元ステップとを備える、計測方法。
6. 前記光源位置推定ステップは、
   前記撮像画像の中で計測対象となる物体が含まれる領域から複数のサンプル画素を選択するサンプル画素抽出ステップと、
   前記照明光源の位置と向きを三次元物体の回転と移動で表し、回転パラメータと移動パラメータから前記４個以上の照明光源のそれぞれについて位置と向きを計算する光源姿勢計算ステップと、
   前記光源姿勢計算ステップで得られた光源の位置と向き、及び計測対象物体の粗い三次元形状情報を用いて、前記サンプル画素に対応する計測対象物体表面上の各点における各光源の方向と各光源から照射される光の放射輝度とを計算する入射光計算ステップと、
   前記入射光計算ステップで得られた各光源の方向と各光源から照射される光の放射輝度、及び、前記サンプル画素におけるセンサ応答を用いて、全ての前記サンプル画素について、計測対象物体の法線ベクトル及び拡散アルベドを計算する表面計算ステップと、
   前記表面計算ステップで得られた法線ベクトルと拡散アルベド、及び前記入射光計算ステップで得られた各光源の方向と各光源から照射される光の放射輝度を用いて、全ての前記サンプル画素及び全ての光源について、センサ応答のモデル値を計算するセンサ応答モデル値計算ステップと、
   前記センサ応答モデル値計算ステップで得られたセンサ応答のモデル値と前記撮像画像のセンサ応答との誤差を計算する誤差計算ステップと、
   前記誤差計算ステップで得られた誤差が最小となる前記照明光源の位置と向きを表す回転パラメータと移動パラメータを、非線形最適化によって決定する光源姿勢計算ステップとを含む、請求項５に記載の計測方法。
7. ４個以上の照明光源を排他的に点灯して物体を照明し、撮像機器によって物体を順次撮像して得た照明光源毎の撮像画像から当該照明光源の位置と向きを推定する光源姿勢推定方法であって、
   前記撮像画像の中で計測対象となる物体が含まれる領域から複数のサンプル画素を選択するサンプル画素抽出ステップと、
   前記照明光源の位置と向きを三次元物体の回転と移動で表し、回転パラメータと移動パラメータから前記４個以上の照明光源のそれぞれについて位置と向きを計算する光源姿勢計算ステップと、
   前記光源姿勢計算ステップで得られた光源の位置と向き、及び計測対象物体の粗い三次元形状情報を用いて、前記サンプル画素に対応する計測対象物体表面上の各点における各光源の方向と各光源から照射される光の放射輝度とを計算する入射光計算ステップと、
   前記入射光計算ステップで得られた各光源の方向と各光源から照射される光の放射輝度、及び、前記サンプル画素におけるセンサ応答を用いて、全ての前記サンプル画素について、計測対象物体の法線ベクトル及び拡散アルベドを計算する表面計算ステップと、
   前記表面計算ステップで得られた法線ベクトルと拡散アルベド、及び前記入射光計算ステップで得られた各光源の方向と各光源から照射される光の放射輝度を用いて、全ての前記サンプル画素及び全ての光源について、センサ応答のモデル値を計算するセンサ応答モデル値計算ステップと、
   前記センサ応答モデル値計算ステップで得られたセンサ応答のモデル値と前記撮像画像のセンサ応答との誤差を計算する誤差計算ステップと、
   前記誤差計算ステップで得られた誤差が最小となる前記照明光源の位置と向きを表す回転パラメータと移動パラメータを、非線形最適化によって決定する光源姿勢計算ステップとを備える、光源姿勢推定方法。
8. 物体の色と三次元形状を計測する計測装置のコンピュータに実行させる計測プログラムであって、
   計測対象となる物体の粗い三次元形状を計測する粗形状計測処理と、
   ４個以上の照明光源を排他的に点灯し、３チャンネル以上のチャンネル数を有する撮像機器によって前記物体を順次撮像し、照明光源毎の撮像画像を得る画像入力処理と、
   前記複数の撮像画像と前記粗い三次元形状とから、前記４個以上の照明光源のそれぞれについて撮像時の位置を推定する光源位置推定処理と、
   前記光源位置推定処理によって得られたそれぞれの照明光源の位置に基づき、前記物体の色情報と三次元形状情報を算出する物体復元処理とを、コンピュータに実行させるための、計測プログラム。
9. 前記光源位置推定処理は、
   前記撮像画像の中で計測対象となる物体が含まれる領域から複数のサンプル画素を選択するサンプル画素抽出処理と、
   前記照明光源の位置と向きを三次元物体の回転と移動で表し、回転パラメータと移動パラメータから前記４個以上の照明光源のそれぞれについて位置と向きを計算する光源姿勢計算処理と、
   前記光源姿勢計算処理で得られた光源の位置と向き、及び計測対象物体の粗い三次元形状情報を用いて、前記サンプル画素に対応する計測対象物体表面上の各点における各光源の方向と各光源から照射される光の放射輝度とを計算する入射光計算処理と、
   前記入射光計算処理で得られた各光源の方向と各光源から照射される光の放射輝度、及び、前記サンプル画素におけるセンサ応答を用いて、全ての前記サンプル画素について、計測対象物体の法線ベクトル及び拡散アルベドを計算する表面計算処理と、
   前記表面計算処理で得られた法線ベクトルと拡散アルベド、及び前記入射光計算処理で得られた各光源の方向と各光源から照射される光の放射輝度を用いて、全ての前記サンプル画素及び全ての光源について、センサ応答のモデル値を計算するセンサ応答モデル値計算処理と、
   前記センサ応答モデル値計算処理で得られたセンサ応答のモデル値と前記撮像画像のセンサ応答との誤差を計算する誤差計算処理と、
   前記誤差計算処理で得られた誤差が最小となる前記照明光源の位置と向きを表す回転パラメータと移動パラメータを、非線形最適化によって決定する光源姿勢計算処理とを含む、請求項８に記載の計測プログラム。
10. ４個以上の照明光源を排他的に点灯して物体を照明し、撮像機器によって物体を順次撮像して得た照明光源毎の撮像画像から当該照明光源の位置と向きを推定する光源姿勢推定装置のコンピュータに実行させる光源姿勢推定プログラムであって、
    前記撮像画像の中で計測対象となる物体が含まれる領域から複数のサンプル画素を選択するサンプル画素抽出処理と、
    前記照明光源の位置と向きを三次元物体の回転と移動で表し、回転パラメータと移動パラメータから前記４個以上の照明光源のそれぞれについて位置と向きを計算する光源姿勢計算処理と、
    前記光源姿勢計算処理で得られた光源の位置と向き、及び計測対象物体の粗い三次元形状情報を用いて、前記サンプル画素に対応する計測対象物体表面上の各点における各光源の方向と各光源から照射される光の放射輝度とを計算する入射光計算処理と、
    前記入射光計算処理で得られた各光源の方向と各光源から照射される光の放射輝度、及び、前記サンプル画素におけるセンサ応答を用いて、全ての前記サンプル画素について、計測対象物体の法線ベクトル及び拡散アルベドを計算する表面計算処理と、
    前記表面計算処理で得られた法線ベクトルと拡散アルベド、及び前記入射光計算処理で得られた各光源の方向と各光源から照射される光の放射輝度を用いて、全ての前記サンプル画素及び全ての光源について、センサ応答のモデル値を計算するセンサ応答モデル値計算処理と、
    前記センサ応答モデル値計算処理で得られたセンサ応答のモデル値と前記撮像画像のセンサ応答との誤差を計算する誤差計算処理と、
    前記誤差計算処理で得られた誤差が最小となる前記照明光源の位置と向きを表す回転パラメータと移動パラメータを、非線形最適化によって決定する光源姿勢計算処理とを、コンピュータに実行させるための、光源姿勢推定プログラム。

Images