JP4986679B2 - 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム - Google Patents

Description

本発明は、非静止物体に所定のパターン光を投影し、非接触で三次元情報を計測する三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラムに関する。

近年、品質管理、安全防犯やセキュリティ管理などの様々な分野において、生産ラインや生産現場などで非静止生産物の形状計測や所在空間位置の計測などを行ったり、移動中や静止できない人体の顔、胴体、手足などの三次元形状データの取得を行ったりすることが要求されており、これらの非静止物体の非接触かつ高速な三次元計測装置の開発が期待されている。

従来、三次元画像計測では、三角測量の原理が幅広く応用されている。図１２は三角測量の原理に基づく三次元画像計測の原理と座標関係を示している。また、三次元画像計測の手法としては、計測対象物体に計測の補助となる特定の光や電波などを照射することなく計測を行う受動型のものと、光、音波や電波などを計測対象物体に照射し、その情報を利用して計測を行う能動型のものとがあり、受動式三次元画像計測の代表的な方法はステレオ視方法である。

図１２において、点Ｏ₁と点Ｏ₂の２点に、それぞれカメラ１とカメラ２を置き、カメラ１における計測対象物体Ａ上の計測点Ｐの方向角αとカメラ２における計測対象物体Ａ上の計測点Ｐの方向角βにより、計測点Ｐの奥行き距離Ｚを計算する。ここで、計測対象物体Ａ上の計測点Ｐの三次元世界座標系における奥行き距離Ｚは、次式によって計算される。
ここで、ｄは点Ｏ₁と点Ｏ₂の２点間の距離で既知なので、計測点の方向角αとβが計測できれば、奥行き距離Ｚが算出できる。

ステレオ視方法の特徴は、このように２台のカメラを用い、複数の視点から計測対象物体の写真を複数枚撮影するだけで三次元画像計測が可能であり、動物体への対応も可能であるという点にある。しかしながら、ステレオ視のような受動的な三次元画像計測方法は、計測点Ｐの対応付けを行う必要があり、自動化は困難である。また、特徴の少ない部分は計測が難しいため、カメラに撮影された計測対象物体の全ての部分の計測、いわゆる全視野計測が困難である。

一方、能動的な計測方法としては、パターン光投影計測方法がある。パターン光投影計測では、図１２の点Ｏ₁のところに投光機を置き、点Ｏ₂のところにカメラを置く。そして、点Ｏ₁の投光機からパターン光を投影角度αで計測点Ｐに投影し、投影されたパターンを点Ｏ₂のカメラにより観測し、カメラの画像平面における観測されたパターンの位置により、観測角度βを確定し、さらに式（１）により奥行き距離Ｚを計算する。したがって、カメラに観測されている計測対象物体の全ての部分にパターン光を投影すれば、全視野計測を行うことが可能である。

これはパターン光投影計測の一番優れている特長である。しかし、従来のスポットパターン光投影法、スリットパターン光投影法や空間コード化パターン光投影法などの手法では、計測に複数回のパターン光投影と撮影が必要であり、計測に時間がかかる。特に、複数回のパターン光投影と撮影を行なう際には、物体が静止しているという前提条件が必要である。もし物体が動いた場合、複数回の撮影画像における投影パターンの方向情報が変化してしまい、三次元計測ができなくなる。

また、パターン光投影計測方法の計測時間を短縮するためには、投影回数を削減する必要がある。そこで、１回の投影で、より多くの投影パターン縞情報を検出するために、白と黒の二値の投影パターンではなく、複数の強度レベルもしくは複数の色の縞を持つ強度変調もしくは色変調パターン光を投影する計測方法が提案されている。

例えば、特許文献１に提案されている手法では、パターン光投影装置により二つのストライプパターンを計測対象物体に連続して投影し、投光装置と同じ光軸に設置されたカメラ１と投光装置と異なる光軸に設置されたカメラ２とより、それぞれのストライプパターンの投影像を撮影し、画像処理によりストライプの方向特性を求め、さらに計測対象物体の三次元情報を計算する。しかしながら、この手法では、計測に２回以上パターン光を投影する必要があるので、動物体への対応が困難である。また。この手法では２台のカメラの設置が必要となるので、コストが高い。また、２台のカメラの中の１台は光軸を投光装置と一致させる必要があるので、セットアップが困難である。また、この光軸のセットアップは、計測誤差を生じる原因の一つにもなる。

また、特許文献２に提案されている手法では、反射パターン画像により一つ一つの個別パターン光を高速度かつ高精度に検出するために、異なる強度値により構成されたパターン光の強度分布を最適化した最適強度組合せパターンを提案し、全面照明光での撮影と、最適強度組合せパターン光の１回の投影および撮影との２回の撮影により、三次元画像計測を実現することができるので、動物体への応用が想定されている。しかしながら、この手法は、計測対象物体の表面色や環境光の影響を削減するため、全面照明画像を用い反射パターン画像の強度値を補正する割り算補正が必要となる。割り算補正では、最適強度組合せパターン光による反射パターン画像と全面照明画像との２枚の画像が必要であるため、この２枚の画像を撮影する間に計測対象物体が動いてしまうと、２枚の写真撮影時における計測対象物体の位置が変わって割り算補正に大きな誤差が出る可能性があり、計測そのものができなくなる可能性がある。

一方、移動物体の非接触三次元形状計測手法として、例えば特許文献３に記載のようにラインイメージセンサを用いた手法が提案されている。この手法では、ストライプ状の投影パターンの代わりに、正弦波状もしくは余弦波状の強度分布の投影光を、均一速度で移動する計測対象物体に投影し、一定の時間間隔で複数枚のライン状イメージを撮影し、各ライン状イメージにおける計測点の位置関係により、計測点の三次元空間座標を計算する。ところが、この手法では、均一速度で移動する物体であれば三次元計測が可能であるが、計測精度は物体の移動速度の均一性に依存し、物体の移動速度が変化すると、計測精度が落ちてしまうという問題がある。また、移動速度が均一ではない物体の場合、もしくは移動方向が不特定である場合には、計測が不可能である。

特開２００６−１０４１６号公報 特開２００６−１４５４０５号公報 特開２００２−２８６４３３号公報

上述のように、特許文献１の手法では動物体への対応や計測システムのセッティングが困難であり、特許文献３の手法では動物体の移動速度が均一でない場合もしくは移動方向が不特定の場合では、計測が不可能であるという問題がある。一方、特許文献２の手法では、最適強度組合せパターン光の投影を１回しか必要としないので、割り算補正の問題さえ解決すれば、動物体の計測を行うことが可能となる。

そこで、本発明においては、上記割り算補正の問題を解決し、投影パターンを構成する縞の強度分布が最適化された最適強度組合せパターン光投影のような強度変調パターン光投影手法による非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラムを提供することを目的とする。

本発明の非静止物体の三次元画像計測装置は、計測対象物体にパターン光を投影する投影手段と、パターン光が投影された計測対象物体を撮像する撮像手段と、強度値または色が均一である全面投影用のパターンを形成し、投影手段を介して全面投影用のパターンの光（以下、「全照明光」と称す。）を計測対象物体に投影し、全照明光が投影された計測対象物体の反射光を撮像手段により撮影して画像（以下、「全照明反射画像」と称す。）を取得する全照明光投影撮影手段と、強度値または色の異なるパターンを形成し、投影手段を介して強度値または色の異なるパターンの光（以下、「強度変調パターン光」と称す。）を計測対象物体に投影し、強度変調パターン光が投影された計測対象物体の反射光を撮像手段により撮影して画像（以下、「反射パターン画像」と称す。）を取得する強度変調パターン光投影撮影手段と、全照明反射画像および反射パターン画像から計測対象物体をそれぞれ抽出する抽出手段と、抽出手段により抽出された計測対象物体の運動状態を推定する運動状態推定手段と、運動状態推定手段により推定された計測対象物体の運動状態に基づいて全照明反射画像または反射パターン画像における計測対象物体の画像の幾何変形を行い、全照明反射画像における計測対象物体と反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節手段と、反射パターン画像から強度変調パターン光が投影されたパターン光（以下、「投影パターン光」と称す。）を検出する投影パターン光検出手段と、全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体の位置、姿勢および大きさのずれが極小化された反射パターン画像における計測対象物体とを比較して投影パターン光の方向角を算出する方向角算出手段と、反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて投影パターン光の方向角を補正する方向角補正手段と、算出された方向角より計測点の奥行き距離を算出する奥行き距離算出手段と、奥行き距離算出手段により算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出手段と、三次元情報算出手段により算出された三次元情報を出力する出力手段とを備えるものである。

本発明によれば、強度値または色が均一である全面投影用のパターンの光（全照明光）が投影手段により計測対象物体に投影され、この全照明光が投影された計測対象物体の反射光が撮像手段により撮影されて全照明反射画像が取得されるとともに、強度値または色の異なるパターンの光（強度変調パターン光）が投影手段により計測対象物体に投影され、この強度変調パターン光が投影された計測対象物体の反射光が撮像手段により撮影されて反射パターン画像が取得される。そして、これらの全照明反射画像および反射パターン画像から計測対象物体がそれぞれ抽出され、抽出された計測対象物体の運動状態が推定され、推定された計測対象物体の運動状態に基づいて全照明反射画像または反射パターン画像における計測対象物体の画像の幾何変形が行われ、全照明反射画像における計測対象物体と反射パターン画像における計測対象物体との位置、姿勢および大きさのずれが極小化される。つまり、計測対象物体が計測中に動いたとしても、全照明反射画像における計測対象物体と反射パターン画像における計測対象物体との位置、姿勢および大きさのずれが極小となるように調整されているので、これらの画像を比較することにより、反射パターン画像から検出される投影パターン光の方向角を容易に算出することができる。また、この方向角は、反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて補正されることで、より正確な値となり、この補正された方向角から計測点の奥行き距離が算出され、算出された計測点の奥行き距離から計測対象物体の三次元情報が算出され、この算出された三次元情報が出力される。

また、本発明では、強度値または色の異なるパターンの強度変調パターン光が計測対象物体に投影され、この反射光が撮影されて取得された反射パターン画像から投影パターン光が検出されるので、１回の投影で多くの個別パターン光を持つ投影パターン光を検出することができる。つまり、１回の撮影で多くの投影パターン光の情報を得ることができる。なお、パターン光および投影パターン光は、一つ一つの個別パターン光の集合体である。

ここで、前記強度変調パターン光は、反射パターン画像により一つ一つの個別パターン光を高速度かつ高精度に検出するために、異なる強度値または色により構成されたパターン光の強度分布を最適化した最適強度組合せパターン、または、異なる色の縞状パターンにより構成されたパターン光の色分布を最適化した最適カラー変調パターンの光であることが望ましい。異なる強度値または色により構成されたパターン光の強度分布を最適化して最適強度組合せパターンを形成することによって、注目する個別パターンとこれに隣接する個別パターンの各極大値の強度差を最大にする強度変化の大きい最適強度組合せパターンが作成される。この最適強度組合せパターンの光を計測対象物体に投影すると、撮影された計測対象物体の画像から得られる投影パターン光においても、注目する個別パターン光とこれに隣接する個別パターン光の各極大値の強度差が最大となり、注目する個別パターン光とこれに隣接する個別パターン光の区別が付けやすくなり、注目する個別パターン光の特定や方向角の検出が容易となり、誤検出の可能性が少なくなる。したがって、投影パターン光の各個別パターン光の方向角の算出精度を向上させることができ、三次元画像計測の精度をさらに向上させることができる。

本発明の非静止物体の三次元画像計測方法は、強度値または色が均一である全面投影用のパターンを形成し、計測対象物体にパターン光を投影する投影手段を介して全面投影用のパターンの光（全照明光）を計測対象物体に投影し、全照明光が投影された計測対象物体の反射光を撮像手段により撮影して画像（全照明反射画像）を取得する全照明光投影撮影ステップと、強度値または色の異なるパターンを形成し、投影手段を介して強度値または色の異なるパターンの光（強度変調パターン光）を計測対象物体に投影し、強度変調パターン光が投影された計測対象物体の反射光を撮像手段により撮影して画像（反射パターン画像）を取得する強度変調パターン光投影撮影ステップと、全照明反射画像および反射パターン画像から計測対象物体をそれぞれ抽出する抽出ステップと、抽出ステップにおいて抽出された計測対象物体の運動状態を推定する運動状態推定ステップと、運動状態推定ステップにおいて推定された計測対象物体の運動状態に基づいて全照明反射画像または反射パターン画像における計測対象物体の画像の幾何変形を行い、全照明反射画像における計測対象物体と反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節ステップと、反射パターン画像から強度変調パターン光が投影された投影パターン光を検出する投影パターン光検出ステップと、全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体との位置、姿勢および大きさのずれが極小化された反射パターン画像における計測対象物体とを比較して投影パターン光の方向角を算出する方向角算出ステップと、反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて投影パターン光の方向角を補正する方向角補正ステップと、算出された方向角より計測点の奥行き距離を算出する奥行き距離算出ステップと、奥行き距離算出ステップにおいて算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出ステップと、三次元情報算出ステップにおいて算出された三次元情報を出力する出力ステップとを含む。

本発明の非静止物体の三次元画像計測プログラムは、計測対象物体にパターン光を投影する投影手段と、パターン光が投影された計測対象物体を撮像する撮像手段とが接続されたコンピュータを、強度値または色が均一である全面投影用のパターンを形成し、投影手段を介して全面投影用のパターンの光（全照明光）を計測対象物体に投影し、全照明光が投影された計測対象物体の反射光を撮像手段により撮影して画像（全照明反射画像）を取得する全照明光投影撮影手段と、強度値または色の異なるパターンを形成し、投影手段を介して強度値または色の異なるパターンの光（強度変調パターン光）を計測対象物体に投影し、強度変調パターン光が投影された計測対象物体の反射光を撮像手段により撮影して画像（反射パターン画像）を取得する強度変調パターン光投影撮影手段と、全照明反射画像および反射パターン画像から計測対象物体をそれぞれ抽出する抽出手段と、抽出手段により抽出された計測対象物体の運動状態を推定する運動状態推定手段と、運動状態推定手段により推定された計測対象物体の運動状態に基づいて全照明反射画像または反射パターン画像における計測対象物体の画像の幾何変形を行い、全照明反射画像における計測対象物体と反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節手段と、反射パターン画像から強度変調パターン光が投影された投影パターン光を検出する投影パターン光検出手段と、全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体との位置、姿勢および大きさのずれが極小化された反射パターン画像における計測対象物体とを比較して投影パターン光の方向角を算出する方向角算出手段と、反射パターン画像における投影パターンの光の強度特性、色分布特性または形状特性に基づいて投影パターンの光の方向角を補正する方向角補正手段と、算出された方向角より計測点の奥行き距離を算出する奥行き距離算出手段と、奥行き距離算出手段により算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出手段と、三次元情報算出手段により算出された三次元情報を出力する出力手段として機能させるためのものである。

本発明の非静止物体の三次元画像計測方法または三次元画像計測プログラムによれば、上記本発明の非静止物体の三次元画像計測装置と同様の作用効果を得ることができる。

（１）強度変調パターンを計測対象物体に１回しか投影しないので、投影パターン光の方向角が計測対象物体の移動により変化することがなく、精度良くパターン光投影による非静止物体の三次元画像計測を行うことが可能となる。なお、計測のためには、全照明光の投影と全照明反射画像の撮影が必要であるが、全照明反射画像は反射パターン画像の強度補正用のものであり、投影パターン光の方向角（すなわち、式（１）の中のαおよびβ）の計算に使われていないので、計測目標点の三次元情報の計算精度への直接的影響はない。

（２）全照明反射画像と反射パターン画像により、計測対象物体の運動状態を推定し、推定した運動状態により全照明反射画像もしくは反射パターン画像を調節し、２枚の画像における計測対象物体の位置、姿勢および大きさのずれが極小化された反射パターン画像の強度補正用の最適な画像を得ることにより、最適な反射パターン画像強度補正ができ、反射パターンの方向情報の計算の精度を向上することができる。これにより、非静止物体にしても、高精度の三次元画像計測が可能である。

（３）全照明反射画像における計測対象物体と、全照明反射画像における計測対象物体の位置、姿勢および大きさのずれが極小化された反射パターン画像における計測対象物体とを比較して投影パターン光の方向角を算出する方向角算出手段により、投影パターン光検出の精度を向上し、検出時間を短縮することができる。

（４）計測対象物体が計測中に動いたとしても、全照明反射画像における計測対象物体と反射パターン画像における計測対象物体との位置、姿勢および大きさのずれが極小となるように調整され、これらの画像が比較されて、反射パターン画像から検出される投影パターン光の方向角が算出されるので、不均一速度の移動物体に対しても、高精度の三次元画像計測が可能である。

（５）本発明は三次元情報を算出するために、画像の平行移動、回転、拡大縮小のような幾何変換、２枚の撮影画像の割り算による画像強度補正など簡単な手法しか使わず、計算速度が速く、高速な計測が可能である。

以下、本発明の実施の形態における三次元画像計測装置について、図面を用いて説明する。図１は本実施形態における三次元画像計測装置の全体構成を示す図である。図２は図１の三次元画像計測装置の詳細な構成を示すブロック図である。

図１に示すように、本実施形態の三次元画像計測装置は、計測対象物体Ａにパターン光を投影する投影手段としてのパターン投影機１と、パターン光が投影された計測対象物体Ａを撮像する撮像手段としてのカメラ２と、このカメラ２により撮像した画像のデータを処理するデータ処理装置３とから構成される。パターン投影機１とデータ処理装置３、カメラ２とデータ処理装置３は、各データを伝送することができる伝送ケーブル４，５によって接続されている。

パターン投影機１は、データ処理装置３により形成されたパターンデータをパターン光に変換し、計測対象物体Ａに投影する装置、もしくは、データ処理装置３の命令を受け、所定のパターン光を計測対象物体Ａに投影する装置である。例えば、液晶プロジェクタ、ＤＬＰ（デジタルライトプロセッシング、商標）プロジェクタ、レーザ光プロジェクタ、ＬＥＤ（半導体）プロジェクタやフィルムプロジェクタなど市販の簡単な装置を用いることができる。カメラ２はデジタル式カメラである。なお、カメラ２はデジタル式カメラであれば８ビット、１０ビット、１２ビット、１６ビットのものや、３ＣＣＤ、１ＣＣＤ、ＣＭＯＳ等や、静止画カメラ、動画カメラ、ビデオカメラ等のどのようなものでもよい。

データ処理装置３は、図２に示すように、パターン投影機１およびカメラ２と接続するためのインターフェース３ａを備え、図示しない三次元画像計測プログラムの実行により、カメラ２から伝送された画像のデータや後述する各手段により算出された結果のデータ等を記憶する記憶手段１０と、強度値または色が均一である全面投影用のパターンの光（全照明光）をパターン投影機１により投影するとともに、この全照明光投影時の反射光をカメラ２によって撮影することにより画像（全照明反射画像）を取得する全照明光投影撮影手段１１と、強度値または色の異なるパターンの光（強度変調パターン光）をパターン投影機１により投影するとともに、この強度変調パターン光投影時の反射光をカメラ２によって撮影することにより画像（反射パターン画像）を取得する強度変調パターン光投影撮影手段１２と、記憶手段１０から全照明反射画像および反射パターン画像を取得してそれぞれ計測対象物体Ａを抽出する抽出手段１３と、抽出手段１３により抽出された計測対象物体Ａの形状と位置により、計測対象物体Ａの運動状態を推定する運動状態推定手段１４と、運動状態推定手段１４により推定された計測対象物体Ａの運動状態に基づき、全照明反射画像もしくは反射パターン画像における計測対象物体Ａの画像を上下、左右移動、回転、拡大、縮小などの幾何変形を行う画像幾何変形調節手段１５と、画像幾何変形調節手段１５により調節された反射パターン画像および全照明反射画像を用い、反射パターン画像の強度値を補正する画像強度補正手段１６と、画像強度補正手段１６により補正された反射パターン画像から投影パターン光を検出する投影パターン光検出手段１７と、投影パターン光の各個別パターン光の方向角を算出する方向角算出手段１８と、反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて投影パターン光方向角を補正する方向角補正手段１９と、算出された方向角より計測点の奥行き距離を算出する奥行き距離算出手段２０と、奥行き距離算出手段２０により算出された計測点の奥行き距離から計測対象物体Ａの三次元情報を算出する三次元情報算出手段２１と、三次元情報算出手段２１により算出された三次元情報を出力する出力手段２２として機能する。

全照明光投影撮影手段１１は、縞がない強度値もしくは色が均一の全面投影用のパターンを形成し、インターフェース３ａを介してパターン投影機１に出力し、この全面投影用のパターンの光（全照明光）をパターン投影機１により計測対象物体Ａに投影するものである。あるいは、全照明光投影撮影手段１１は、データ処理装置３からの命令を受け、所定の全照明光をパターン投影機１により計測対象物体Ａに投影するものとすることも可能である。また、全照明光投影撮影手段１１は、この全照明光を投影した計測対象物体Ａからの反射光をカメラ２によって撮影し、この撮影した画像（全照明反射画像）をインターフェース３ａを介して取り込み、記憶手段１０に記憶する。

強度変調パターン光投影撮影手段１２は、縞の強度変化があるもしくは色の異なるストライプ状パターンや、振幅の変化がある正弦波状強度分布パターンあるいは余弦波状強度分布パターンなどの強度変調パターンを形成し、インターフェース３ａを介してパターン投影機１に出力し、この強度変調パターンの光をパターン投影機１により計測対象物体Ａに投影する。あるいは、強度変調パターン光投影撮影手段１２は、データ処理装置３からの命令を受け、所定の時刻で強度変調パターン光をパターン投影機１により計測対象物体Ａに投影するものとすることも可能である。また、強度変調パターン光投影撮影手段１２は、これらの強度変調パターンのいずれかの光を投影した計測対象物体Ａからの反射光をカメラ２によって撮影し、この撮影した画像（反射パターン画像）を、インターフェース３ａを介して取り込み、記憶手段１０に記憶する。

抽出手段１３は、計測対象物体Ａの全照明光投影撮影手段１１により得られた全照明反射画像および強度変調パターン光投影撮影手段１２により得られた反射パターン画像を記憶手段１０から取得して、計測対象物体Ａを抽出する。運動状態推定手段１４は、全照明投影撮影手段１１により得られた全照明反射画像および強度変調パターン光投影撮影手段１２により得られた反射パターン画像を記憶手段１０から取得し、これらの全照明反射画像および反射パターン画像を用いて、これらの異なる画像における計測対象物体Ａの位置と姿勢から、計測対象物体Ａの運動方向や運動速度などの運動状態を推定するものである。

画像幾何変形調節手段１５は、運動状態推定手段１４により推定された計測対象物体Ａの運動状態にしたがって、全照明反射画像もしくは反射パターン画像における計測対象物体Ａの画像を、上下および左右の平行移動、各方向に回転、および拡大縮小の幾何変形調節を行い、反射パターン画像における計測対象物体Ａと、全照明反射画像における計測対象物体Ａとの位置、姿勢および大きさのずれを極小化するものである。画像強度補正手段１６は、画像幾何変形調節手段１５により計測対象物体Ａの位置、姿勢および大きさが調節された反射パターン画像と全照明反射画像とを用いて、次式（２）に示した割り算補正の手法を用いて、反射パターン画像の強度値を補正し、画像から計測対象物体Ａの色分布情報や環境光の影響等を取り除くものである。

ここで、（ｉ，ｊ）は計測点の画像座標、Ｉ’は強度変調パターン光を投影した計測対象物体Ａの反射パターン画像の補正後の強度値、Ｉ₁は強度変調パターン光を投影した計測対象物体Ａの反射パターン画像の強度値、Ｉ₀は強度変化のない全照明光を投影した計測対象物体Ａの全照明反射画像の強度値である。Ｍ（ｎ）は投影パターン光の強度変調関数、ｎはパターン光の縞番号、Ｏ（ｘ，ｙ）は物体の表面反射率や環境光を表す関数、ｋ’、ｋは調節係数である。また、Ｐ₀は全照明光の強度値である。

投影パターン光検出手段１７は、画像強度補正手段１６により強度値が補正された反射パターン画像から、投影した強度変調パターン光の強度分布を検出するものである。

方向角算出手段１８は、計測対象物体Ａに投影した強度変調パターン光の各個別パターンの強度分布の極大値と、画像強度補正手段１６により強度値が補正された反射パターン画像の各個別パターンの強度分布の極大値とを比較し、反射パターン画像のうちの注目する個別パターンが、強度変調パターン光のうちの推定される個別パターンの反射パターンであるかどうかの確信度を求め、その確信度の一番大きい強度変調パターン光のうちの推定される個別パターンの投影角度を、反射パターン画像のうちの注目する個別パターンの投影方向角とすることにより、反射パターン画像の各個別パターンの投影方向角を算出するものである。

方向角補正手段１９は、反射パターン画像における投影パターン光の強度特性、色分布特性および形状特性に基づき、各個別パターンによって反射されたパターンをいくつかのグループに分類し、同一グループに属する個別パターンの投影方向角を一致させるため、方向角算出手段１８によって算出された各個別パターンの投影方向角を補正するものである。

奥行き距離算出手段２０は、方向角補正手段１９により算出された各計測点の投影方向角αと反射パターン画像における各計測点の画像座標により算出された観測方向角βとから、式（１）により各計測点の奥行き距離を算出するものである。三次元情報算出手段２１は、奥行き距離算出手段２０により算出された各計測点の奥行き距離から計測対象物体Ａの三次元情報を算出するものである。この三次元情報には、計測対象物体Ａの空間座標、複数の計測点間の距離、角度、面積、および体積などが含まれる。

出力手段２２は、三次元情報算出手段２１により算出された計測対象物体Ａの空間座標、複数の計測点間の距離、角度、面積または体積などをデータ処理装置３に接続されたディスプレイ（図示せず。）上に表示したり、ハードディスクや各種のメモリなどのデータ記憶装置（図示せず。）に記憶したり、文章ファイルや図面ファイルとして印刷したりするものである。

次に、本実施形態の三次元画像計測装置の計測の流れについて、図３にしたがって説明する。前述のように奥行き距離Ｚを計算するためには、図１２および式（１）に示したように、計測点Ｐの方向角α（本実施形態においてはパターン投影機１からの投影角度αとする。）と方向角β（本実施形態においてはカメラ２による観測角度βとする。）を求めなければならない。図３は本実施形態における三次元画像計測装置を用いた三次元画像計測の流れを示すフロー図であり、投影角度αと観測角度βを求めるためのパターン光投影から、計測点Ｐの三次元情報を算出するまでのアルゴリズムを示している。

まず、図１２に示す幾何関係となるように、パターン投影機１とカメラ２とを一定の距離ｄだけ離してそれぞれＯ₁とＯ₂の位置に配置する。三角測量の関係を保つことができれば、パターン投影機１とカメラ２とをそれぞれ逆にＯ₂とＯ₁に設置することや、他の位置に設置することもできる。

投影するパターン光は、三次元画像計測の計測速度および精度を左右する重要な役割を有する。図４は本実施形態における強度変調パターンの一例を示す図であり、（ａ）はパターン、（ｂ）は強度の空間分布を示す図である。本実施形態では、図４に示すような横縞状の白黒系のパターン光を用いる。このパターン光における個別パターンは強度変化のあるストライプ状の縞である。ここで、縞の投影方向を表す方向角は等間隔に設定し、各方向角の位置を縞のアドレスと称する。本実施形態で用いるパターン光はＮ本の縞を持ち、各縞状パターンのアドレスは、それぞれ、１，２，３，・・・，Ｎとする。また、各縞状パターンの方向角はそれぞれα₁，α₂，α₃，・・・，α_Nとする。ｉ番目の縞の強度値はＩ_iとする。

なお、この強度変調パターンとしては、特許文献２に記載の最適強度組合せパターンを用いることが望ましい。この最適強度組合せパターンは、次式（３）のような評価関数ｄ（Ｉ₁，Ｉ₂，・・・，Ｉ_N）を定義し、この評価関数ｄ（Ｉ₁，Ｉ₂，・・・，Ｉ_N）の値を最大にする組み合わせを最適組み合わせとし、この最適組み合わせを用いたパターンである。

ただし、（Ｉ₁，Ｉ₂，・・・，Ｉ_N）は投影光パターンの各縞状パターンの強度分布、ｋ_jは重み係数である。また、Ｎは投影するパターンにある縞の総本数であり、Ｍは評価関数をかけるフィルタの幅である。

まず、データ処理装置３の全照明光投影撮影手段１１により強度均一の全照明パターンを形成する。形成された全照明パターンは記憶手段１０に記憶されるとともに伝送ケーブル４によりパターン投影機１に送られる。パターン投影機１に送られた全照明パターンは計測対象物体Ａに投影される（ステップＳ１０１）。全照明パターンはデータ処理装置３により生成してパターン投影機１に送るだけでなく、パターン投影機１側でデータ処理装置３からの命令を受けて、自分自身に備える投影機能により、計測対象物体Ａに投影することも可能である。

パターン投影機１によって計測対象物体Ａに投影された全照明光の反射光をカメラ２により撮像する。撮像された全照明反射画像は、伝送ケーブル５を通じて、データ処理装置３に送られ、記憶手段１０に記憶される（ステップＳ１０２）。

データ処理装置３の強度変調パターン光投影撮影手段１２により強度変調パターンを形成する。形成された強度変調パターンは記憶手段１０に記憶されるとともに伝送ケーブル４によりパターン投影機１に送られる。パターン投影機１に送られた強度変調パターンは計測対象物体Ａに投影される（ステップＳ１０３）。なお、強度変調パターンはデータ処理装置３により生成してパターン投影機１に送るだけでなく、パターン投影機１側でデータ処理装置３からの命令を受けて、自分自身に備える投影機能により、計測対象物体Ａに投影することも可能である。

パターン投影機１によって計測対象物体Ａに投影された強度変調パターンの反射光をカメラ２により撮像する。撮像された反射パターン画像は、伝送ケーブル５を通じて、データ処理装置３に送られ、記憶手段１０に記憶される（ステップＳ１０４）。

次に、抽出手段１３は、全照明反射画像および反射パターン画像から、計測対象物体Ａを抽出する。なお、以下の説明において計測対象物体Ａは、全照明反射画像における像をＡ₀とし、反射パターン画像における像をＡ₁とする。また、全照明反射画像および反射パターン画像における計測対象物体Ａの位置、姿勢、大きさを用いて、運動状態推定手段１４により、計測対象物体Ａの運動状態を推定する（ステップＳ１０５）。

画像幾何変形調節手段１５は、図５に示すように、推定された計測対象物体Ａ₀の運動状態により、同図（ａ）の全照明反射画像における計測対象物体Ａ₀の位置を上下、左右に移動したり（同図（ｂ）、（ｃ）参照。）、空間上のＸ、Ｙ、Ｚ軸を中心に回転したり（同図（ｄ）参照。）、サイズを変更するために拡大したり、縮小したり（同図（ｅ）参照。）するような幾何変換を行い、全照明反射画像における計測対象物体Ａ₀と同図（ｆ）の反射パターン画像における計測対象物体Ａ₁との位置、姿勢および大きさのずれを極小化する（ステップＳ１０６）。あるいは、画像幾何変形調節手段１５は、全照明反射画像を調節せず、反射パターン画像を調節することにより、全照明反射画像における計測対象物体Ａ₀と反射パターン画像における計測対象物体Ａ₁との位置、姿勢および大きさのずれを極小化することもできる。

次に、画像強度補正手段１６は、反射パターン画像と調節された全照明反射画像を用い、反射パターン画像の強度値を前述の式（２）により補正する（ステップＳ１０７）。

投影パターン光検出手段１７は、強度値が補正された反射パターン画像から投影した強度変調パターン光の縞の強度分布を検出する（ステップＳ１０８）。

方向角算出手段１８は、投影パターンのＮ本の縞状パターンの強度分布を（Ｉ₁，Ｉ₂，・・・，Ｉ_N）とし、観測されたｎ本（ｎ≦Ｎ）の縞状パターンの強度分布を
とする。次式（４）を用いてｉ番目の注目する縞状パターンのアドレスがｋである確率Ｌ_i（ｋ）を計算し、確率Ｌ_i（ｋ）を最大とするｋを注目する縞状パターンのアドレス（以下、「縞アドレス」と称す。）とする。計算された各計測点の縞アドレスにより、さらにその投影方向角を計算する（ステップＳ１０９）。

ここで、ｗ₁，ｗ₂，ｗ₃は定数、Ｎ₁とＮ₂は縞アドレスを計算する際に使う縞状パターンの本数、Ｓは投影パターン光における縞の強度変化範囲である。

方向角補正手段１９は、まず連結性や縞の強度値変化もしくは色分布などの特性により、観測パターンにおける各縞状パターンの像をいくつかのグループに分類し、各グループの縞アドレスを、同じグループに属する注目縞上の各計測点の投影方向角の計算値（α₁，α₂，α₃，α₄，α₅，α₆，α₇，α₈）の分布を調べ、図６に示すように、計測点の数が一番多い投影方向角α₅を、このグループのすべての計測点の投影方向角とする（ステップＳ１１０）。

奥行き距離算出手段２０は、方向角算出手段１８および方向角補正手段１９により算出された投影方向角αと、パターン画像における反射注目点の画像座標により算出された観測方向角βを用いて、式（１）により、その奥行き距離値を計算する（ステップＳ１１１）。

三次元情報算出手段２１は、投影パターン光の各縞の各計測点である画素ごとにステップＳ１１１の計算により得られた奥行き距離Ｚを用いて、計測対象物体Ａ全体の三次元情報を算出する。この三次元情報には、三次元空間座標、距離、角度、面積または体積などが含まれる。特に、計測対象物体Ａが人体の場合には、顔の特徴、体型などの算出や人物の認識などを行うことができ、計測対象物体Ａは工場現場の生産物の場合には、リアルタイムの品質管理ができる（ステップＳ１１２）。

すべての計測結果は、データ処理装置３に接続された記録メディアに保存することができる。また、ディスプレイなどの出力手段２２を用いて画面上に表示したり、プリンタなどの別の出力手段２２によって、文章ファイルや図面ファイルとして出力したりすることができる（ステップＳ１１３）。

なお、本実施形態では、図３に示したように、強度変調パターン光を投影する前に全照明光を投影し、全照明反射画像を撮影した後に強度変調パターン光を投影し、反射パターン画像を撮影する投影撮影方法を用いるが、まず、強度変調パターン光を投影し、反射パターン画像を撮影した後に、全照明光を投影して全照明反射画像を撮影する投影撮影方法を用いることもできる。また、強度変調パターン光を投影し、反射パターン画像を撮影する前後に、それぞれ全照明光を投影し、全照明反射画像を撮影する投影撮影方法を用いることもできる。

なお、本実施形態では、パターン投影機１とカメラ２をそれぞれ１台ずつ用いたが、計測精度をさらに向上させるために、図７に示すように、１台のパターン投影機１と複数台のカメラ２ａ，２ｂ，・・・を用いて、計測対象物体Ａを局所ごとに撮像して合成してもよい。こうすることにより、高解像度画像を得ることができ、この画像を用いることにより、より高精度の三次元情報を算出することができる。

また、図８および図９に示すように、パターン投影機１とカメラ２とのペアを計測対象物体Ａの周辺に複数セットを設置してもよい。これにより、より短時間で様々な方向から広範囲の計測を実現することができ、計測対象物体Ａの三次元情報を全周に渡って短時間で高精度に得ることもできるので、特に人体などを計測する際には被験者に負担をかけることなく計測を行うことができる。また、生産ラインにおける生産物の計測の際に、短時間で広範囲もしくは計測対象物体の全周計測を行うことが可能である。

なお、本実施形態では、白黒系の強度変調パターン光を用いたが、これに限らず、投影パターンにおける各縞を区別することができれば、色の異なる縞状パターンにより構成される色変調パターンを用いてもよい。

また、本実施形態では、投影するパターン光は横縞状のものを用いたが、これに限らず、縦縞状、斜めに形成された縞状のものなど直線状の縞で形成されたパターンや、大きさの異なる同心円状、円形状、楕円状などの模様による円形パターンおよび多角形による角形パターンや、格子状などの複雑な模様によるパターンを用いてもよい。

次に、第１実施例として非静止物体としての兎の模型の三次元画像計測を行った結果を図１０に示す。図１０は本実施形態における三次元画像計測装置を用いて動いた兎の模型を三次元画像計測する様子を示す図であり、（ａ）は全照明光を投影して撮影された全照明反射画像を示す図、（ｂ）は最適強度組み合わせパターンである強度変調パターンを示す図、（ｃ）は強度変調パターンを投影して撮影された反射パターン画像を示す図、（ｄ）は調整した全照明反射画像を示す図、（ｅ）は強度値補正を行った反射パターン画像を示す図、（ｆ）は計測した三次元情報を元に様々な角度からグラフィック表現した画像を示す図である。

図１０（ａ）の全照明反射画像と同図（ｃ）の反射パターン画像に示されるように、二枚の画像を撮影する間に、計測対象物体である兎の模型が動いているが、本実施形態における三次元画像計測装置を用いた非静止物体の三次元画像計測では、同図（ｆ）に示されるように良好な結果を得ることができた。本実施形態における三次元画像計測精度は、カメラの写真撮影速度やパターン光投影の切り替え速度、計測システムのキャリブレーションにも依存するが、本実施例のように、全照明光と強度変調パターン光の投影撮影を切り替える際に、計測対象物体が全照明反射画像と反射パターン画像の両方の画像上にきちんと撮影される場合では、各縞状パターンの方向角の認識率が１００％となる。

次に、第２実施例としてカラー変調パターンを用いて三次元画像計測を行った結果について説明する。図１１はカラー変調パターンの一例および反射パターン画像の一例のイメージ図であり、（ａ）はカラー変調パターンの一例を示す図、（ｂ）は計測対象物体より反射されたカラー反射パターン画像を示す図、（ｃ）は補正した反射パターン画像を示す図、（ｄ）はｘｙ色度図における個別パターンおよび反射パターンの縞の位置を示す図である。なお、図１１（ａ）にはグレースケールにて表示されているが、このカラー変調パターン（アドレス１〜７）は、上から順に、赤色の個別パターン１０１、緑色の個別パターン１０２、黄色の個別パターン１０３、ピンク色の個別パターン１０４、青色の個別パターン１０５、茶色の個別パターン１０６、水色の個別パターン１０７の７本の異なる色の個別パターンにより構成される縞状の投影パターンである。

一方、このカラー変調パターンを投影して撮影されたカラー反射パターン画像は、図１１（ｂ）に示されるように、４本の反射パターンａ，ｂ，ｃ，ｄにより構成される縞状パターンであったが、このカラー反射パターン画像は、計測対象物体の表面色分布、反射特性の影響や計測対象物体の動きなどの非静止状態の影響によって縞の色強度の変化が生じている。そのため、このカラー反射パターン画像から単純に縞の色分布と投影パターンの色分布の比較によって、縞アドレスを判断することは困難になる。例えば、図１１（ｂ）に示すＡ点の色は黄緑、Ｂ点の色は空色となり、同図（ａ）に示す投影パターンには存在しない色になっているため、Ａ点およびＢ点の縞アドレスの判断は非常に困難になる。

そこで、本実施例では、まず同じグループに属する各縞状パターンの色強度の平均を取る。また、注目点の縞の色および注目点前後の縞の色強度情報を用い、投影パターンの複数の個別パターンの縞の色分布との比較を行い、分布の規則性を調べ、類似度の一番高い色は注目する個別パターンの縞の色とする。これにより、処理後の４本の縞状の反射パターンの色分布は、図１１（ｃ）に示すように浅緑色の反射パターン１１０、黄緑の反射パターン１１１、ピンク色の反射パターン１１２、青色の反射パターン１１３になる。これらの縞の一本の反射パターンの色だけによる縞アドレスの判断は困難であるが、複数本の反射パターンの色分布を総合的に分析すれば、複数本の反射パターンのグループにある各反射パターンのアドレスを簡単に判別できる。例えば、図１１（ｄ）に示すように、反射パターン１１２の色は個別パターン１０４と個別パターン１０７の間にあるので、反射パターン１１２のアドレスは４か７のどちらか分からないが、反射パターン１１０，１１１，１１２，１１３の縞のグループの色分布は、個別パターン１０２，１０３，１０４，１０５のグループと一番近いので、反射パターン１１０，１１１，１１２，１１３の縞アドレスはそれぞれ２，３，４，５であることが分かる。

こうして、縞のアドレスが分かれば、上述の方法により三次元情報を求めることができる。すなわち、カラー変調パターンの使用により、表面色や反射特性が非均一な非静止物体の三次元画像計測も実現できる。

本発明は、従来静止物体しか対応できないパターン光投影三次元画像計測方法を非静止物体の三次元計測に応用することができ、静止できない計測対象物体、計測機器が静止できない場合での三次元計測装置として有用である。例えば、本発明の三次元画像計測装置を工場に設置し、生産ラインにおける生産物のリアルタイム三次元形状計測と品質管理に使ったり、計測用車両に設置し、車両を走らせながらトンネルなどの形状を計測したり、空港、銀行などに設置し、お客さんを止めずに顔の三次元形状を計測して高精度の顔認証を行ったり、人体のボディや足の三次元形状を計測してもっと相応しい衣服や靴を作ったり、口腔形状計測を行ってぴったりした入れ歯を作ったりするなどのように、生産現場、交通分野、セキュリティ分野、医療分野、衣服設計、生活環境整備などの分野での利用が可能である。また、人体の三次元情報から体型の計測などもできるので、健康管理、ダイエットなどの分野にも利用することができる。

本実施形態における三次元画像計測装置の全体構成を示す図である。 本実施形態における三次元画像計測装置の詳細な構成を示すブロック図である。 本実施形態における三次元画像計測装置を用いた三次元画像計測の流れを示すフロー図である。 本実施形態における強度変調パターンの一例を示す図であり、（ａ）はパターン、（ｂ）は強度の空間分布を示す図である。 画像幾何変形調節のイメージを示す図であり、（ａ）は全照明反射画像、（ｂ）は全照明反射画像の左右移動、（ｃ）は上下移動、（ｄ）は回転、（ｅ）は拡大・縮小、（ｆ）は反射パターン画像である。 方向角度補正の説明図である。 本発明の三次元画像計測装置の他の実施形態を示す図である。 本発明の三次元画像計測装置の他の実施形態を示す図である。 本発明の三次元画像計測装置の他の実施形態を示す図である。 本実施形態における三次元画像計測装置を用いて動いた兎の模型を三次元画像計測する様子を示す図であり、（ａ）は全照明光を投影して撮影された全照明反射画像を示す図、（ｂ）は最適強度組み合わせパターンである強度変調パターンを示す図、（ｃ）は強度変調パターンを投影して撮影された反射パターン画像を示す図、（ｄ）は調整した全照明反射画像を示す図、（ｅ）は強度値補正を行った反射パターン画像を示す図、（ｆ）は計測した三次元情報を元に様々な角度からグラフィック表現した画像を示す図である。 カラー変調パターンの一例および反射パターン画像の一例のイメージ図であり、（ａ）はカラー変調パターンの一例を示す図、（ｂ）は計測対象物体より反射されたカラー反射パターン画像を示す図、（ｃ）は補正した反射パターン画像を示す図、（ｄ）はｘｙ色度図における個別パターンおよび反射パターンの縞の位置を示す図である。 三角測量の原理に基づく三次元画像計測の原理と座標関係を示す図である。

符号の説明

１，１ａ，１ｂ，１ｃ パターン投影機
２，２ａ，２ｂ，２ｃ カメラ
３ データ処理装置
３ａ インターフェース
４，４ａ，４ｂ，４ｃ，５，５ａ，５ｂ，５ｃ 伝送ケーブル
１０ 記憶手段
１１ 全照明光投影撮影手段
１２ 強度変調パターン光投影撮影手段
１３ 抽出手段
１４ 運動状態推定手段
１５ 画像幾何変形調節手段
１６ 画像強度補正手段
１７ 投影パターン光検出手段
１８ 方向角算出手段
１９ 方向角補正手段
２０ 奥行き距離算出手段
２１ 三次元情報算出手段
２２ 出力手段

Claims (4)

1. 計測対象物体にパターン光を投影する投影手段と、
   前記パターン光が投影された計測対象物体を撮像する撮像手段と、
   強度値または色が均一である全面投影用のパターンを形成し、前記投影手段を介して前記全面投影用のパターンの光（以下、「全照明光」と称す。）を計測対象物体に投影し、前記全照明光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像（以下、「全照明反射画像」と称す。）を取得する全照明光投影撮影手段と、
   強度値または色の異なるパターンを形成し、前記投影手段を介して前記強度値または色の異なるパターンの光（以下、「強度変調パターン光」と称す。）を前記計測対象物体に投影し、前記強度変調パターン光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像（以下、「反射パターン画像」と称す。）を取得する強度変調パターン光投影撮影手段と、
   前記全照明反射画像および前記反射パターン画像から前記計測対象物体をそれぞれ抽出する抽出手段と、
   該抽出手段により抽出された計測対象物体の運動状態を推定する運動状態推定手段と、
   該運動状態推定手段により推定された前記計測対象物体の運動状態に基づいて前記全照明反射画像または前記反射パターン画像における前記計測対象物体の画像の幾何変形を行い、前記全照明反射画像における計測対象物体と前記反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節手段と、
   前記反射パターン画像から前記強度変調パターン光が投影されたパターン光（以下、「投影パターン光」と称す。）を検出する投影パターン光検出手段と、
   前記全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体との位置、姿勢および大きさのずれが極小化された前記反射パターン画像における計測対象物体とを比較して前記投影パターン光の方向角を算出する方向角算出手段と、
   前記反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて前記投影パターン光の方向角を補正する方向角補正手段と、
   前記算出された方向角より計測点の奥行き距離を算出する奥行き距離算出手段と、
   該奥行き距離算出手段により算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出手段と、
   該三次元情報算出手段により算出された三次元情報を出力する出力手段と
   を備える非静止物体の三次元画像計測装置。
2. 前記強度変調パターン光は、異なる強度値または色により構成されたパターン光の強度分布を最適化した最適強度組合せパターン、または、異なる色の縞状パターンにより構成されたパターン光の色分布を最適化した最適カラー変調パターンの光である請求項１記載の非静止物体の三次元画像計測装置。
3. 強度値または色が均一である全面投影用のパターンを形成し、計測対象物体にパターン光を投影する投影手段を介して前記全面投影用のパターンの光（以下、「全照明光」と称す。）を計測対象物体に投影し、前記全照明光が投影された前記計測対象物体の反射光を撮像手段により撮影して画像（以下、「全照明反射画像」と称す。）を取得する全照明光投影撮影ステップと、
   強度値または色の異なるパターンを形成し、前記投影手段を介して前記強度値または色の異なるパターンの光（以下、「強度変調パターン光」と称す。）を前記計測対象物体に投影し、前記強度変調パターン光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像（以下、「反射パターン画像」と称す。）を取得する強度変調パターン光投影撮影ステップと、
   前記全照明反射画像および前記反射パターン画像から前記計測対象物体をそれぞれ抽出する抽出ステップと、
   該抽出ステップにおいて抽出された計測対象物体の運動状態を推定する運動状態推定ステップと、
   該運動状態推定ステップにおいて推定された前記計測対象物体の運動状態に基づいて前記全照明反射画像または前記反射パターン画像における前記計測対象物体の画像の幾何変形を行い、前記全照明反射画像における計測対象物体と前記反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節ステップと、
   前記反射パターン画像から前記強度変調パターン光が投影されたパターン光（以下、「投影パターン光」と称す。）を検出する投影パターン光検出ステップと、
   前記全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体との位置、姿勢および大きさのずれが極小化された前記反射パターン画像における計測対象物体とを比較して前記投影パターン光の方向角を算出する方向角算出ステップと、
   前記反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて前記投影パターン光の方向角を補正する方向角補正ステップと、
   前記算出された方向角より計測点の奥行き距離を算出する奥行き距離算出ステップと、
   該奥行き距離算出ステップにおいて算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出ステップと、
   該三次元情報算出ステップにおいて算出された三次元情報を出力する出力ステップと
   を含む非静止物体の三次元画像計測方法。
4. 計測対象物体にパターン光を投影する投影手段と、前記パターン光が投影された計測対象物体を撮像する撮像手段とが接続されたコンピュータを、
   強度値または色が均一である全面投影用のパターンを形成し、前記投影手段を介して前記全面投影用のパターンの光（以下、「全照明光」と称す。）を計測対象物体に投影し、前記全照明光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像（以下、「全照明反射画像」と称す。）を取得する全照明光投影撮影手段と、
   強度値または色の異なるパターンを形成し、前記投影手段を介して前記強度値または色の異なるパターンの光（以下、「強度変調パターン光」と称す。）を前記計測対象物体に投影し、前記強度変調パターン光が投影された前記計測対象物体の反射光を前記撮像手段により撮影して画像（以下、「反射パターン画像」と称す。）を取得する強度変調パターン光投影撮影手段と、
   前記全照明反射画像および前記反射パターン画像から前記計測対象物体をそれぞれ抽出する抽出手段と、
   該抽出手段により抽出された計測対象物体の運動状態を推定する運動状態推定手段と、
   該運動状態推定手段により推定された前記計測対象物体の運動状態に基づいて前記全照明反射画像または前記反射パターン画像における前記計測対象物体の画像の幾何変形を行い、前記全照明反射画像における計測対象物体と前記反射パターン画像における計測対象物体との位置、姿勢および大きさのずれを極小化する画像幾何変形調節手段と、
   前記反射パターン画像から前記強度変調パターン光が投影されたパターン光（以下、「投影パターン光」と称す。）を検出する投影パターン光検出手段と、
   前記全照明反射画像における計測対象物体と、この全照明反射画像における計測対象物体の位置、姿勢および大きさのずれが極小化された前記反射パターン画像における計測対象物体とを比較して前記投影パターン光の方向角を算出する方向角算出手段と、
   前記反射パターン画像における投影パターン光の強度特性、色分布特性または形状特性に基づいて前記投影パターン光の方向角を補正する方向角補正手段と、
   前記算出された方向角より計測点の奥行き距離を算出する奥行き距離算出手段と、
   該奥行き距離算出手段により算出された計測点の奥行き距離から計測対象物体の三次元情報を算出する三次元情報算出手段と、
   該三次元情報算出手段により算出された三次元情報を出力する出力手段と
   して機能させるための非静止物体の三次元画像計測プログラム。