JP2022103956A - 三次元形状計測方法および三次元形状計測装置 - Google Patents

Abstract

【課題】計測レンジを容易に変更することができ、対象物の三次元形状を精度よく計測可能な三次元形状計測方法および三次元形状計測装置を提供すること。【解決手段】基準面上に載置された対象物に向けてプロジェクターから光による格子パターンを投影するステップと、前記対象物に投影された前記格子パターンを、カメラが撮像し、撮像画像を得るステップと、前記撮像画像について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、前記高さ情報の計測レンジを大きくする場合には、前記プロジェクターと前記カメラとの距離を短くし、前記計測レンジを小さくする場合には、前記プロジェクターと前記カメラとの距離を長くするように、前記プロジェクターまたは前記カメラの位置を調整するステップと、を含むことを特徴とする三次元形状計測方法。【選択図】図５

Description

本発明は、三次元形状計測方法および三次元形状計測装置に関するものである。

物体の三次元表面形状を計測する方法として、光学的手法を用いた格子投影法が知られている。
特許文献１には、物体面に投影された格子像をカメラで撮影し、得られた撮影像から物体面の位置を計測する計測方法が開示されている。この計測方法は、格子像の格子の１周期にＮ個のカメラ画素を合わせた状態で、カメラにより撮影した撮影像を入力する工程と、入力した撮影像の連続する複数画素を抽出する工程と、抽出した複数画素の画像からＮ画素を１周期とする周波数成分の位相を求める工程と、位相により物体面の位置、つまり基準面からの物体面の高さを求める工程と、を有している。なお、Ｎは、２より大きい整数である。

この計測方法では、格子像１周期分の画像データから格子像の位相を解析することによって、物体面の三次元表面形状を計測する。格子像１周期分の画像データから位相を解析する方法を、特に「１ピッチ位相解析法（ＯＰＰＡ法）」という。１ピッチ位相解析法によれば、１枚の撮影像から位相分布を解析することができるので、物体の三次元表面形状を高速に計測することができる。

国際公開第２０１６／００１９８５号明細書

特許文献１に記載の計測方法では、基準面からの物体面の高さを計測するとき、物体面の高さが計測レンジを超えることがある。この場合には、計測レンジを大きくしないと、物体面の高さを計測することができない。また、物体面の高さが想定よりも低い場合には、計測レンジを小さくした方が計測精度を高めやすい。
このような理由から、計測レンジを簡単に変更することが求められるが、特許文献１には、計測レンジを変更する方法について開示されていない。

本発明の適用例に係る三次元形状計測方法は、
基準面上に載置された対象物に向けてプロジェクターから光による格子パターンを投影するステップと、
前記対象物に投影された前記格子パターンを、カメラが撮像し、撮像画像を得るステップと、
前記撮像画像について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
前記高さ情報の計測レンジを大きくする場合には、前記プロジェクターと前記カメラとの距離を短くし、前記計測レンジを小さくする場合には、前記プロジェクターと前記カメラとの距離を長くするように、前記プロジェクターまたは前記カメラの位置を調整するステップと、
を含むことを特徴とする。

本発明の適用例に係る三次元形状計測装置は、
基準面上に載置された対象物に向けて光による格子パターンを投影するプロジェクターと、
前記対象物に投影された前記格子パターンを撮像し、撮像画像を得るカメラと、
前記撮像画像について、格子像の位相解析を行い、前記対象物の高さ情報を算出する演算部と、
前記プロジェクターまたは前記カメラを前記基準面と平行に移動させる平行駆動部と、
を備えることを特徴とする。

第１実施形態に係る三次元形状計測装置の概略図である。 図１の三次元形状計測装置の光学系を模式的に示す側面図である。 第１実施形態に係る三次元形状計測方法を説明するためのフローチャートである。 プロジェクターで投影された格子パターンをカメラで撮像して得られた撮像画像である。 カメラの位置を図２に示す位置よりもｘ軸に沿ってプロジェクター側に近づけたときの、三次元形状計測装置の光学系を模式的に示す側面図である。 プロジェクターが基準面に投影した格子パターンを撮像した画像の例である。 第２実施形態に係る三次元形状計測方法を説明するため、三次元形状計測装置の光学系を模式的に示す側面図である。 第２実施形態に係る三次元形状計測方法を説明するため、三次元形状計測装置の光学系を模式的に示す側面図である。 基準面から物体面までの高さに対する、格子ピッチのずれの変化を、垂直移動量Δｚごとにプロットしたグラフである。

以下、本発明の三次元形状計測方法および三次元形状計測装置を添付図面に示す実施形態に基づいて詳細に説明する。

１．第１実施形態
まず、第１実施形態に係る三次元形状計測方法および三次元形状計測装置について説明する。

１．１．装置構成
図１は、第１実施形態に係る三次元形状計測装置の概略図である。図１では、互いに直交する３つの軸として、ｘ軸、ｙ軸およびｚ軸を設定している。各軸は矢印で表され、先端側を「プラス側」、基端側を「マイナス側」とする。なお、以下の説明では、ｚ軸のマイナス側を特に「上」とし、ｚ軸のプラス側を「下」としている。また、ｚ軸に沿った位置を「高さ」といい、ｘ－ｙ面内における位置を単に「位置」という。さらに、本明細書における「平行」には、一方の面または線と、他方の面または線と、のなす角度が０°±５°の範囲内でずれている状態も含む。同様に、本明細書における「垂直」には、一方の面または線と、他方の面または線と、のなす角度が９０°±５°の範囲内でずれている状態も含む。

図１に示す三次元形状計測装置１は、ｚ軸に直交する基準面９１上に設けられた対象物である物体９の表面、すなわち物体面９２の位置および高さを算出し、三次元形状を計測する装置である。三次元形状の計測には、格子像の位相解析を伴う格子投影法を用いる。この方法では、格子パターンを物体９に投影し、その状態を撮像して得られた撮像画像に対して格子像の位相解析を行う。格子像の位相解析を行うことで、各画素での格子像の位相を求めることができる。そして、この位相から高さ情報を算出することにより、物体面９２の三次元形状が得られる。

図１に示す三次元形状計測装置１は、プロジェクター２と、カメラ３と、制御装置４と、ロボットアーム６と、を備えている。また、図１には、上面が基準面９１である載置台９０と、基準面９１上に載置された物体９と、を図示している。

プロジェクター２は、任意の波長の光、例えば、赤色（Ｒ）の光、緑色（Ｇ）の光、青色（Ｂ）の光、白色（Ｗ）の光等を、空間変調させ、所望のパターンで投影する機能を有する。
このうち、プロジェクター２から射出される光は、白色光であるのが好ましい。これにより、物体９の色（物体色）によらず、物体面９２は、いずれかの波長域において、十分な反射率を有する。このため、白色光を用いることにより、物体色がどのような色であっても、十分な輝度の撮像画像を取得することができる。その結果、物体色によらず、高い精度の計測が可能になる。

なお、白色光とは、例えば、白色発光ダイオードやその他の白色光源から出力された光のことをいう。このうち、白色発光ダイオードの白色化方式としては、例えば、三原色ＢＧＲ方式、補色方式、蛍光励起方式等が挙げられるが、いずれであってもよい。

図１に示すプロジェクター２は、光源２１と、液晶素子やマスクのような光変調素子２２と、レンズ２３と、を備えている。なお、図１に示すプロジェクター２は、実際の構造を簡素化したものであり、例えば実際の光変調素子２２は、複数に分かれていたり、レンズ２３との位置が異なったりするという点で図１と相違していることがある。

プロジェクター２では、光源２１から出射した光を、光変調素子２２によって空間変調することにより、格子パターンを形成する。この格子パターンを、レンズ２３を介して物体９に投影する。プロジェクター２は、制御装置４と電気的に接続されている。これにより、光変調素子２２として液晶素子を用いた場合には、プロジェクター２から投影される格子パターンの色や方向、ピッチ等を制御装置４で制御することができる。なお、以下の説明では、光変調素子２２の画素を「プロジェクター画素」ともいう。

カメラ３は、物体９に投影された格子パターンを撮像し、各画素で輝度値を検出する機能を有する。

図１に示すカメラ３は、撮像素子３１と、レンズ３２と、を備えている。なお、図１に示すカメラ３は、実際の構造を簡素化したものであり、例えば実際の撮像素子３１は、複数に分かれているという点で図１と相違していることがある。

カメラ３では、物体９に投影されている格子パターンを、レンズ３２を介して撮像素子３１で撮像する。撮像素子３１は、行列状に配列した複数の画素を有する素子であり、例えば、ＣＭＯＳ素子、ＣＣＤ素子等である。ＣＭＯＳは、Complementary Metal Oxide Semiconductor（相補性金属酸化膜半導体）を指す。また、ＣＣＤは、Charge Coupled Device（電荷結合素子）を指す。

レンズ３２は、撮像倍率を調整し、プロジェクター２から投影される投影パターンの撮像画像上でのサイズを調整する。
カメラ３は、制御装置４と電気的に接続されている。カメラ３で撮像した撮像画像は、制御装置４に送信され、格子像の位相解析に供される。なお、以下の説明では、撮像素子３１の画素を「カメラ画素」ともいう。

図１に示すロボットアーム６は、垂直多関節型のロボットアームである。垂直多関節型のロボットアームは、回転可能な複数の関節と、各関節を独立に回転駆動する駆動部と、各関節の回転角を検出する角度検出部と、を有する。ロボットアーム６は、制御装置４と電気的に接続されている。これにより、制御装置４は、各関節の回転角を独立して制御し、ロボットアーム６の先端を任意の位置に移動させることができる。

ロボットアーム６の先端には、カメラ３が取り付けられている。したがって、本実施形態に係る三次元形状計測装置１では、制御装置４により、カメラ３を任意の位置に移動させ、その位置で保持することができる。

なお、ロボットアーム６は、垂直多関節型のロボットアームに限定されず、水平多関節型のロボットアームであってもよい。また、ロボットアーム６が有する関節の数は、特に限定されず、１つであっても、複数であってもよい。
また、ロボットアーム６は、三次元空間の任意の位置にカメラ３を移動させることができる。したがって、ロボットアーム６は、カメラ３を基準面９１と平行に移動させる平行駆動部６１と、カメラ３を基準面９１に対して垂直に移動させる垂直駆動部６２と、を含む。

なお、カメラ３を１つの方向にのみ、例えばｘ軸方向にのみ移動させる場合には、リニアアクチュエーター等で代替可能である。本実施形態では、後述するように、プロジェクター２とカメラ３との距離を必要に応じて変更する。この場合、ロボットアーム６に代えて、ｘ軸に沿って直動するリニアアクチュエーターを用いるようにしてもよい。
また、本実施形態では、ロボットアーム６がカメラ３のみを移動させるように構成されているが、ロボットアーム６は、カメラ３ではなく、プロジェクター２を移動させるものであってもよく、カメラ３とプロジェクター２の双方を移動させるものであってもよい。

制御装置４は、制御部４１と、演算部４２と、記憶部４３と、表示部４４と、を有する。
制御部４１は、プロジェクター２による格子パターンの投影、カメラ３による格子パターンの画像の撮像、ロボットアーム６によるカメラ３の移動、といった動作を、互いに協調させつつ制御する。
演算部４２は、撮像画像の格子像に対して位相解析を行う。これにより、各カメラ画素における格子像の位相を求め、物体面９２の三次元形状を算出する。
記憶部４３は、プロジェクター２に投影する格子パターンの制御データ、カメラ３で撮像した撮像画像、演算部４２による演算結果等を記憶する。
表示部４４は、必要に応じて設けられ、カメラ３の撮像画像、演算部４２による演算結果等を表示する。

制御部４１、演算部４２および記憶部４３の一部または全部は、情報を処理するプロセッサーと、プログラムやデータを記憶するメモリーと、外部インターフェースと、を有するハードウェアで構成される。プロセッサーは、メモリーに記憶された各種プログラムやデータを読み込んで実行することにより、各機能を実現する。

プロセッサーとしては、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等が挙げられる。メモリーとしては、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリー、ＲＯＭ（Read Only Memory）等の不揮発性メモリー、着脱式の外部記憶装置等が挙げられる。外部インターフェースとしては、例えば、ＵＳＢ（Universal Serial Bus）、ＲＳ－２３２Ｃ、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）等が挙げられる。

また、制御部４１および演算部４２の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されていてもよい。

以上のような三次元形状計測装置１では、物体９に投影された格子パターンを撮像し、格子像の位相解析を行う。そして、解析結果から基準面９１から物体面９２までの高さを算出し、物体面９２の三次元形状を求める。

格子像の位相解析方法としては、撮像画像に含まれる格子像に対して位相解析を行い、位相分布を求められる方法であれば、特に限定されず、例えば、サンプリングモアレ法、位相シフト法、１ピッチ位相解析法等が挙げられる。
本実施形態では、１ピッチ位相解析法を用いる。１ピッチ位相解析法の原理については、国際公開第２０１６／００１９８５号明細書に記載されている。

１ピッチ位相解析法では、プロジェクター２の光学系およびカメラ３の光学系が、基準面９１に対してそれぞれ平行になっている。このような光学系をモアレトポグラフィー光学系ともいう。かかる光学系によれば、物体９に投影された格子パターンをカメラ３で撮像して得られる撮像画像上では、物体面９２の高さに関係なく、格子パターンの周期は一定になる。一方、物体面９２の高さによって、カメラ画素での格子パターンの位相が変わることになる。したがって、１ピッチ位相解析法により、各カメラ画素での格子パターンの位相変化を解析することで、物体面９２の三次元形状を求めることができる。

また、１ピッチ位相解析法のような位相解析方法では、１枚の撮像画像における１つの格子ピッチの輝度分布から位相解析を行うことができる。このため、物体９が動いている場合でも、位相分布を求めることができる点で有用である。これに対し、例えば位相シフト法のように複数枚の撮像画像が必要な解析法の場合には、動いている物体９について三次元形状計測を精度よく行うことは難しい。

図２は、図１の三次元形状計測装置１の光学系を模式的に示す側面図である。
三次元形状計測装置１では、図２に示すように、プロジェクター２およびカメラ３が、ｘ軸に沿って互いに離間している。
プロジェクター２で投影される格子パターンは、レンズ２３の中心から基準面９１に向かって広がる範囲に投影される。ここでは、レンズ２３の中心をプロジェクター２の主点Ｏ２とする。また、カメラ３の撮像範囲も、レンズ３２の中心から基準面９１に向かって広がる範囲となる。ここでは、レンズ３２の中心をカメラ３の主点Ｏ１とする。

図２では、プロジェクター２から基準面９１に向かう多数の直線によって、プロジェクター２で投影される格子パターンを模式的に表現している。格子パターンを表す直線のうち、実線は、格子パターンの輝度が高い領域を投影している光の光路を示し、破線は、格子パターンの輝度が低い領域を投影している光の光路を示している。
また、図２では、基準面９１からカメラ３に向かう多数の直線によって、基準面９１に投影されている格子パターンの輝度が高い領域から出射した光が、撮像素子３１のカメラ画素に至る光路を示している。

図２から分かるように、理想的なモアレトポグラフィー光学系では、基準面９１から物体面９２までの高さによらず、カメラ３の撮像画像には、格子像の１周期が同じ大きさで映る。つまり、撮像画像における格子像の１周期の長さは、プロジェクター２やカメラ３の内部のパラメーターによって定まり、基準面９１や物体面９２までの距離には原理上影響されない。一方、物体面９２の高さによって格子像の位相が変化する。したがって、この光学系では、格子像の位相を解析することにより、物体面９２の三次元形状計測を行うことができる。

１．２．計測方法
次に、第１実施形態に係る三次元形状計測方法について説明する。
図３は、第１実施形態に係る三次元形状計測方法を説明するためのフローチャートである。

図３に示す三次元形状計測方法は、投影ステップＳ１０２と、撮像ステップＳ１０４と、演算ステップＳ１０６と、計測レンジ判断ステップＳ１１２と、カメラ位置調整ステップＳ１１４と、終了判断ステップＳ１１６と、を有する。

１．２．１．投影ステップ
投影ステップＳ１０２では、プロジェクター２で基準面９１上に載置された物体９に向けて格子パターンを投影する。

図４は、プロジェクター２で投影された格子パターン５１をカメラ３で撮像して得られた撮像画像である。図４には、一次元格子である格子パターン５１の縞模様が並ぶｘ軸と、それに直交するｙ軸と、を表す矢印と、カメラ３の画素間を表す破線と、を併せて図示している。破線で囲まれた四角形が、カメラ画素３０に対応している。
また、図４では、カメラ画素３０の座標を（ｉ，ｊ）で表す。撮像素子３１のｉ軸とｘ軸とが重なり、撮像素子３１のｊ軸とｙ軸とが重なるように、光学系が設定されている。

格子パターン５１は、ｙ軸に沿って延在し、相対的に低い輝度で光が照射されている帯状の領域５１１と、ｙ軸に沿って延在し、相対的に高い輝度で光が照射されている帯状の領域５１２と、をそれぞれ複数有している。帯状の領域５１１および帯状の領域５１２は、ｘ軸に沿って交互に並んでいる。領域５１１の幅および領域５１２の幅は、互いに同じである。

格子パターン５１の１周期に対応するプロジェクター画素の画素数は、特に限定されない。つまり、領域５１１の幅および領域５１２の幅に対応するプロジェクター画素の画素数は、１であっても、２以上であってもよい。
また、プロジェクター２のプロジェクター画素は、通常、ｘ軸およびｙ軸に沿って行列状に配列しているが、プロジェクター画素の配列方向は、ｘ軸およびｙ軸に対して傾いていてもよい。

次に、位相解析の対象となる格子像１周期分の範囲について説明する。
本実施形態では、ｊ軸に沿って連続したＮ個のカメラ画素３０に格子パターン５１の１周期が映るように、プロジェクター２およびカメラ３で構成される光学系が設定されている。Ｎは３以上の整数である。

図４に示す格子パターン５１では、ｊ軸に沿って連続した８つのカメラ画素３０の長さが１周期である。したがって、図４の例では、８つのカメラ画素３０の長さと、格子パターン５１の１周期と、が一致するように光学系が設定されている。これにより、８つの画素で１周期となる格子像を含む撮像画像が得られる。このように、三次元形状計測装置１では、プロジェクター２で投影される格子パターン５１の１周期が、カメラ画素３０の整数倍分の長さになるように、光学系が設定されている。

１．２．２．撮像ステップ
撮像ステップＳ１０４では、物体９に投影されている格子パターン５１をカメラ３で撮像する。撮像によって得られた撮像画像は、カメラ３から演算部４２に伝送される。なお、撮像画像を、一旦、記憶部４３に格納した後、演算部４２から読み出すようにしてもよい。

一方、本実施形態では、前述した投影ステップＳ１０２より以前に、物体９を配置していない基準面９１に対して、投影ステップＳ１０２および撮像ステップＳ１０４と同様の工程を行っておく。これにより、基準面９１についての撮像画像を演算部４２に伝送するとともに、撮像画像または演算結果を記憶部４３に格納しておく。

１．２．３．演算ステップ
演算ステップＳ１０６は、位相解析ステップＳ１０８と、形状算出ステップＳ１１０と、を有している。

１．２．３．１．位相解析ステップ
位相解析ステップＳ１０８では、まず、演算部４２が撮像画像に含まれる格子像に対して位相解析を行う。本実施形態では、一例として、既知の１ピッチ位相解析（ＯＰＰＡ：One-Pitch Phase Analysis）法により、位相解析を行う。具体的には、格子パターン５１を撮像した撮像画像から、格子像１周期分の輝度値を抽出する。

図４では、一例として、ｘ軸、ｙ軸の原点を含み、ｘ軸に沿って連続する８つのカメラ画素３０について注目している。この８つのカメラ画素３０を「１ピッチ格子ＯＰ１」という。１ピッチ格子ＯＰ１のｘ軸に沿う長さが、格子パターン５１の１周期に相当する。

１ピッチ位相解析法では、１ピッチ格子ＯＰ１を、１カメラ画素ずつ、ｘ軸に沿ってシフトさせながら、１ピッチ格子ＯＰ１の輝度値のデータセットについて、順次、位相解析を行う。ｘ軸に沿ったシフトが全て終わったら、続いて、１ピッチ格子ＯＰ１を、１カメラ画素ずつ、ｙ軸に沿ってシフトさせながら、順次、同様に位相解析を行う。

１ピッチ格子ＯＰ１の位相解析で得られた位相情報は、１ピッチ格子ＯＰ１中の１つの代表カメラ画素の座標に対応させた状態で、制御装置４の記憶部４３に格納する。
これらの工程の順序は、上記に限定されず、変更してもよい。このようにして、全てのカメラ画素３０で格子像の位相情報を取得することができる。

１．２．３．２．形状算出ステップ
形状算出ステップＳ１１０では、演算部４２が、物体面９２についての位相情報と、基準面９１についての位相情報と、を比較して位相差を求める。そして、この位相差から、基準面９１から物体面９２までの高さ情報を算出する。また、高さ情報の分布から物体面９２の位置を算出する。このようにして、物体面９２の三次元形状が求められる。

１．２．４．計測レンジ判断ステップ
計測レンジ判断ステップＳ１１２では、演算ステップＳ１０６で算出した位相情報または高さ情報に基づいて、物体面９２の高さを計測するレンジ（計測レンジ）が適当か否かを判断する。計測レンジが適当であるとは、例えば、求めた格子像の位相値が２πの幅に収まっている状態をいう。計測レンジが適当であると判断した場合には、終了判断ステップＳ１１６に移行する。

これに対し、求めた格子像の位相値が２πの幅に比べて非常に小さい場合や、位相値が２πの幅に収まっていないとみなせる場合等には、分解能が低かったり、高さ情報の分布が不連続になったりするため、計測レンジが適当ではないと判断する。計測レンジが適当でないと判断した場合には、カメラ位置調整ステップＳ１１４に移行する。

図２の例では、格子像の位相値が基準面９１から２πの幅の範囲を、計測レンジＨとする。図２の例では、物体面９２の高さが計測レンジＨを超えている。このため、図２の例では、算出される位相値が２πの幅を超えて不連続な値になるため、それを踏まえて、位相値が２πの幅に収まっていないとみなすことができる。したがって、図２の例は、計測レンジＨが適当ではないと判断することができる。

１．２．５．カメラ位置調整ステップ
カメラ位置調整ステップＳ１１４では、カメラ３の位置を調整することにより、計測レンジＨを変更する。
図５は、カメラ３の位置を図２に示す位置よりもｘ軸に沿ってプロジェクター２側に近づけたときの、三次元形状計測装置１の光学系を模式的に示す側面図である。

図５に示すように、プロジェクター２とカメラ３との距離、具体的には、主点Ｏ２と主点Ｏ１との主点間距離ｖを図２に比べて短くすると、計測レンジＨを図２に比べて大きくすることができる。これにより、図５の例では、物体面９２の高さが計測レンジＨに収まっている。このように、高さ情報の計測レンジＨを大きくする場合には、主点間距離ｖを短くすればよい。反対に、高さ情報の計測レンジＨを小さくする場合には、主点間距離ｖを長くすればよい。

なお、主点間距離ｖと計測レンジＨとの間には、相関関係がある。したがって、この相関関係をあらかじめ取得し、記憶部４３に格納しておくことにより、制御部４１は、必要な計測レンジＨに基づいて、主点間距離ｖを素早く算出することができる。
また、制御部４１は、算出した主点間距離ｖを実現するため、ロボットアーム６の動作を制御する。これにより、カメラ３を目的とする位置に移動させ、算出した主点間距離ｖを確保する。

以上のようにして主点間距離ｖを変更した後、撮像ステップＳ１０４に戻る。撮像ステップＳ１０４では、主点間距離ｖを変更した状態で、再び、物体９に投影されている格子パターン５１をカメラ３で撮像する。続いて、演算ステップＳ１０６では、撮像画像に含まれる格子像に対して位相解析を行い、基準面９１から物体面９２までの高さ情報を算出する。この高さ情報は、計測レンジＨが適当な値に変更された状態で取得された位相情報に基づくため、不連続な分布を含まず、また、分解能も高い。したがって、物体面９２の三次元形状を精度よく計測することができる。

また、本実施形態では、前述したように、プロジェクター２の光学系およびカメラ３の光学系が、基準面９１に対してそれぞれ平行になっている。より具体的には、プロジェクター２の主点Ｏ２と、カメラ３の主点Ｏ１と、を結ぶ直線が、基準面９１と平行になっている。このため、カメラ３をｘ軸に沿って移動させた場合でも、前述した理想的なモアレトポグラフィー光学系は維持される。これにより、原理上、カメラ３を移動させても、格子像の位相解析の精度は維持されることになる。

なお、本実施形態では、プロジェクター２を固定した状態でカメラ３の位置のみを調整しているが、カメラ３を固定した状態でプロジェクター２の位置のみを調整するようにしてもよいし、プロジェクター２の位置とカメラ３の位置の双方を調整するようにしてもよい。ただし、プロジェクター２よりもカメラ３の方が小型、軽量であることが多いため、カメラ３の位置を調整する方が容易である。

１．２．６．終了判断ステップ
終了判断ステップＳ１１６では、物体面９２の三次元形状の計測を終了するか否かを判断する。計測を継続する場合には、撮像ステップＳ１０４に戻る。

以上のように、本実施形態に係る三次元形状計測方法は、投影ステップＳ１０２と、撮像ステップＳ１０４と、演算ステップＳ１０６と、カメラ位置調整ステップＳ１１４と、を有する。投影ステップＳ１０２では、基準面９１上に載置された対象物である物体９に向けてプロジェクター２から光による格子パターン５１を投影する。撮像ステップＳ１０４では、物体９に投影された格子パターン５１を、カメラ３が撮像し、撮像画像を得る。演算ステップＳ１０６では、撮像画像について、格子像の位相解析を行い、物体９の高さ情報を算出する。カメラ位置調整ステップＳ１１４では、高さ情報の計測レンジＨを大きくする場合には、プロジェクター２とカメラ３との距離を短くし、高さ情報の計測レンジＨを小さくする場合には、プロジェクター２とカメラ３との距離を長くするように、プロジェクター２またはカメラ３の位置を調整する。

このような構成によれば、計測レンジＨを容易に変更することができる。計測レンジＨを変更する方法としては、上述した方法以外にも、格子パターン５１の格子ピッチを変更したり、カメラ３から物体面９２までの距離を変更したりする方法がある。しかしながら、前者の方法では、格子ピッチを大きくした場合には物体面９２の外縁部近傍で計測精度が低下し、格子ピッチを小さくすることはプロジェクター２の高精細化を必要とするため、容易ではない。後者の方法では、プロジェクター２とカメラ３の双方を物体面９２に近づけることが必要になるため、装置の大掛かりな変更を伴う。これに対し、本実施形態では、プロジェクター２とカメラ３との距離を変更する方法を採用しているので、計測レンジＨを比較的容易に変更することができる。その結果、物体９の大きさや形状によらず、物体面９２の三次元形状を容易に精度よく計測することができる。

また、本実施形態に係る三次元形状計測装置１は、プロジェクター２と、カメラ３と、平行駆動部６１を含むロボットアーム６と、演算部４２を有する制御装置４と、を備える。プロジェクター２は、基準面９１上に載置された対象物である物体９に向けて光による格子パターン５１を投影する。カメラ３は、物体９に投影された格子パターン５１を撮像し、撮像画像を得る。演算部４２は、撮像画像について、格子像の位相解析を行い、物体９の高さ情報を算出する。平行駆動部６１は、プロジェクター２またはカメラ３を基準面９１と平行に移動させる。

このような構成によれば、平行駆動部６１により、主点間距離ｖを容易に変更することができる。これにより、計測レンジＨを容易に変更することができるので、物体９の大きさや形状によらず、物体面９２の三次元形状を容易に精度よく計測することができる。

また、本実施形態に係る三次元形状計測装置１は、平行駆動部６１の機能を有するロボットアーム６を備える。
このような三次元形状計測装置１では、プロジェクター２またはカメラ３の位置を、ロボットアーム６によって容易にかつ精度よく変更することができる。このため、物体面９２の三次元形状をより容易にかつより精度よく計測可能な三次元形状計測装置１を実現することができる。

２．第２実施形態
次に、第２実施形態に係る三次元形状計測方法について説明する。
図６は、プロジェクターが基準面に投影した格子パターンを撮像した画像の例である。図７および図８は、それぞれ第２実施形態に係る三次元形状計測方法を説明するため、三次元形状計測装置の光学系を模式的に示す側面図である。

以下、第２実施形態について説明するが、以下の説明では、第１実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。なお、図６ないし図８において、第１実施形態と同様の構成については、同一の符号を付している。

図６は、左右方向に延在し、上下方向に並ぶ縞模様で構成された格子パターン５１Ａを撮像した画像である。この画像の中央部ＣＴでは、格子パターン５１Ａの１周期がカメラ画素の整数倍分の長さになるようにカメラ３の焦点距離が設定されている。中央部ＣＴとは、図６の上下方向の中間および左右方向の中間に位置するカメラ画素を含む格子パターン５１Ａの１周期分の範囲を指す。

しかしながら、プロジェクター２の光学系において光学収差をゼロにすることは困難である。このため、図６に示す格子パターン５１Ａには、光学収差に伴う格子ピッチの面内バラつきが発生する。格子ピッチの面内バラつきは、図６に示す画像の上端部Ｅ１や下端部Ｅ２のような、投影範囲の端部Ｅにおいて発生しやすい。換言すれば、投影範囲の中央部ＣＴを優先してカメラ３の焦点距離を設定した場合、端部Ｅの格子ピッチが犠牲になる。上端部Ｅ１とは、例えば図６の上端から格子パターン５１Ａの１周期分の範囲を指し、下端部Ｅ２とは、例えば図６の下端から格子パターン５１Ａの１周期分の範囲を指す。

光学収差に伴う格子ピッチの面内バラつきは、例えば数％程度であり、図示できない程度に小さいが、例えば、図６の場合、上端部Ｅ１の格子ピッチが、中央部ＣＴの格子ピッチより短くなっている一方、下端部Ｅ２の格子ピッチは、中央部ＣＴの格子ピッチより長くなる傾向がある。このような格子ピッチの面内バラつきは、例えば図７に示すように、物体９の位置が、図５の位置よりも外側（ｘ軸マイナス側）にある場合、物体面９２の三次元形状の計測精度を低下させる原因となる。

前述した第１実施形態に係る三次元形状計測方法では、図２および図５に示すように、基準面９１に対して平行にカメラ３を移動させることにより、物体面９２の高さ情報の計測レンジＨを調整する。この場合、カメラ３を移動しても、カメラ３の焦点距離は変化しないため、格子ピッチの面内バラつきに伴う計測精度の低下を解消することはできない。

これに対し、第２実施形態に係る三次元形状計測方法では、図７および図８に示すように、基準面９１に対して垂直にカメラ３を移動させる。これにより、カメラ３の焦点距離を調整することができる。その結果、図６に示すような投影範囲の端部Ｅにおいても、格子パターン５１Ａの１周期をカメラ画素の整数倍分の長さに合わせることができる。したがって、端部Ｅに物体９が置かれた場合でも、物体面９２の三次元形状を精度よく計測することができる。つまり、本実施形態に係る三次元形状計測方法によれば、プロジェクター２の光学収差に伴う計測精度の低下を補償することができる。

このような光学収差の補償には、図１に示すロボットアーム６が効果的に用いられる。図１に示す三次元形状計測装置１は、垂直駆動部６２の機能を有するロボットアーム６を備える。垂直駆動部６２は、カメラ３を基準面９１に対して垂直に移動させる。

このようなロボットアーム６によれば、格子ピッチの面内バラつきが発生した場合でも、面内バラつきが発生した格子ピッチに合わせるように、カメラ３の焦点距離を容易かつ厳密に調整することができる。その結果、光学収差の補償を短時間で容易に行うことができる。

なお、図８に示す垂直移動量Δｚは、格子ピッチの面内バラつきとの間で相関関係を有している。垂直移動量Δｚは、カメラ３を基準面９１に近づける方向に移動させる場合には負の値となり、カメラ３を基準面９１から遠ざける方向に移動させる場合には正の値となる量である。

本実施形態では、一例として、中央部ＣＴにおける格子ピッチを「基準値」とする。この基準値は、中央部ＣＴにおける格子ピッチに限定されるものではなく、中央部ＣＴから外れた位置の格子ピッチであってもよい。
そして、基準値に比べて端部Ｅの格子ピッチが大きい場合には、垂直移動量Δｚが正の値になるように、カメラ３を基準面９１から遠ざける。これにより、カメラ画素３０の画素ピッチに理論上合う格子ピッチが大きくなる。その結果、端部Ｅの格子ピッチと、カメラ画素３０の整数倍分の長さと、を合わせることができる。

一方、基準値に比べて端部Ｅの格子ピッチが小さい場合には、垂直移動量Δｚが負の値になるように、カメラ３を基準面９１に近づける。これにより、カメラ画素３０の画素ピッチに理論上合う格子ピッチが小さくなる。その結果、端部Ｅの格子ピッチと、カメラ画素３０の整数倍分の長さと、を合わせることができる。

ここで、前述した理想的なモアレトポグラフィー光学系では、カメラ３から物体面９２までの距離によらず、撮像画像における格子像の１周期の長さは変わらない。しかしながら、上述したように、カメラ３と基準面９１との距離を変化させた場合、その光学系は、理想的なモアレトポグラフィー光学系から外れることになる。このため、物体面９２に投影される格子パターン５１Ａの格子ピッチは、理想的なモアレトポグラフィー光学系の場合の格子ピッチに対してずれることになる。

ただし、カメラ３と基準面９１との距離を変化させた場合の格子ピッチのずれは、前述したプロジェクター２の光学収差に伴う格子ピッチの面内バラつきに比べて十分に小さい。具体的には、一般的な液晶プロジェクターで基準面９１に格子ピッチ４ｍｍの格子パターンを投影したとき、格子ピッチの面内バラつきは、±３％程度発生することがある。

これに対し、前述した垂直移動量Δｚをゼロ以外の値にした場合、物体面９２に投影される格子パターンの格子ピッチのずれは、面内バラつきに比べて小さく抑えられる。

図９は、基準面９１から物体面９２までの高さに対する、格子ピッチのずれの変化を、垂直移動量Δｚごとにプロットしたグラフである。このグラフは、カメラ３から基準面９１までの距離を１０００ｍｍとし、垂直移動量Δｚを±０、＋１００ｍｍ、－１００ｍｍとしたとき、基準面９１から物体面９２までの高さに対する、格子ピッチのずれをシミュレーションし、得られた値をプロットしたものである。

図９に示すように、カメラ３から基準面９１までの距離を１０００ｍｍとし、垂直移動量Δｚを＋１００ｍｍまたは－１００ｍｍとしたとき、基準面９１から高さ１００ｍｍの物体面９２における格子ピッチのずれは、概ね１．５％以下に抑えられている。このような、カメラ３と基準面９１との距離の１／１０という垂直移動量Δｚは、格子ピッチの面内バラつきを補正するのに十分な移動量である。そして、１．５％以下というずれ量は、前述した格子ピッチの面内バラつきより小さい。

以上のシミュレーション結果から、垂直移動量Δｚを調整することによって、格子ピッチの面内バラつきを低減させることが可能であるとわかる。したがって、本実施形態によれば、投影範囲の端部Ｅに物体９が位置している場合でも、物体面９２の三次元形状を精度よく計測することができる。

また、垂直移動量Δｚをゼロ、正の値、負の値の３値に切り替えつつ、物体面９２についての位相情報を取得するようにしてもよい。この場合、中央部ＣＴについては、垂直移動量Δｚがゼロであるときの位相情報を採用し、端部Ｅについては、垂直移動量Δｚがゼロ以外にあるときの位相情報を採用して、１つの位相分布を作成することができる。このようにして作成された位相分布は、格子ピッチの面内バラつきが抑制されているため、投影範囲の全体で位相値の精度が高くなり、高さ情報の高精度化に寄与する。

以上のように、本実施形態に係る三次元形状計測方法では、基準面９１に投影された格子パターンの格子ピッチが基準値よりも小さい領域、例えば図６の上端部Ｅ１について、高さ情報を算出する場合には、基準面９１とカメラ３との距離を短くし、基準面９１に投影された格子パターンの格子ピッチが基準値よりも大きい領域、例えば図６の下端部Ｅ２について、高さ情報を算出する場合には、基準面９１とカメラ３との距離を長くするように、カメラ３の位置を調整する。

このような構成によれば、格子パターンの投影範囲の端部Ｅにおいて格子ピッチの面内バラつきが発生した場合でも、面内バラつきが発生した格子ピッチに合わせるように、カメラ３の焦点距離を容易に調整することができる。その結果、光学収差の補償を行うことができ、例えば図６の端部Ｅに物体９が位置している場合でも、物体面９２の三次元形状を精度よく計測することができる。

なお、上述した基準値は、好ましくは、図６に示すような、格子パターン５１Ａの投影範囲の中央部ＣＴにおける格子ピッチとされる。これにより、実際に投影されている格子パターン５１Ａの格子ピッチに基づいて基準値を決めることができる。その結果、実測値に即して、格子ピッチの面内バラつきを特に小さく抑えることができる。

また、前述したように、垂直移動量Δｚの異なる２枚以上の撮像画像を用いて、物体面９２（対象物の表面）の高さ情報を算出するようにしてもよい。具体的には、基準面９１とカメラ３との距離が第１距離にあるとき、例えば垂直移動量Δｚがゼロであるときにカメラ３で撮像された第１撮像画像と、基準面９１とカメラ３との距離が第１距離とは異なる第２距離にあるとき、例えば垂直移動量Δｚがゼロ以外にあるときにカメラ３で撮像された第２撮像画像と、を用いて、物体面９２の高さ情報を算出する。

このような方法によれば、格子ピッチの面内バラつきが抑えられた部分同士を組み合わせて、１つの位相分布を得ることができる。このため、この位相分布に基づいて高さ情報を算出すれば、物体面９２の三次元形状をより精度よく求めることができる。
以上のような第２実施形態においても、第１実施形態と同様の効果が得られる。

以上、本発明の三次元形状計測方法および三次元形状計測装置を図示の実施形態に基づいて説明したが、本発明の三次元形状計測方法は、前記実施形態に限定されるものではなく、例えば、前記実施形態に任意の目的の工程が追加されたものであってもよい。また、本発明の三次元形状計測装置は、前記実施形態に限定されるものではなく、例えば、前記実施形態の各部が同様の機能を有する任意の構成のものに置換されたものであってもよく、前記実施形態に任意の構成物が付加されたものであってもよい。

１…三次元形状計測装置、２…プロジェクター、３…カメラ、４…制御装置、６…ロボットアーム、９…物体、２１…光源、２２…光変調素子、２３…レンズ、３０…カメラ画素、３１…撮像素子、３２…レンズ、４１…制御部、４２…演算部、４３…記憶部、４４…表示部、５１…格子パターン、５１Ａ…格子パターン、６１…平行駆動部、６２…垂直駆動部、９０…載置台、９１…基準面、９２…物体面、５１１…領域、５１２…領域、ＣＴ…中央部、Ｅ…端部、Ｅ１…上端部、Ｅ２…下端部、Ｈ…計測レンジ、Ｏ１…主点、Ｏ２…主点、ＯＰ１…１ピッチ格子、Ｓ１０２…投影ステップ、Ｓ１０４…撮像ステップ、Ｓ１０６…演算ステップ、Ｓ１０８…位相解析ステップ、Ｓ１１０…形状算出ステップ、Ｓ１１２…計測レンジ判断ステップ、Ｓ１１４…カメラ位置調整ステップ、Ｓ１１６…終了判断ステップ、ｖ…主点間距離、Δｚ…垂直移動量

Claims (7)

1. 基準面上に載置された対象物に向けてプロジェクターから光による格子パターンを投影するステップと、
   前記対象物に投影された前記格子パターンを、カメラが撮像し、撮像画像を得るステップと、
   前記撮像画像について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
   前記高さ情報の計測レンジを大きくする場合には、前記プロジェクターと前記カメラとの距離を短くし、前記計測レンジを小さくする場合には、前記プロジェクターと前記カメラとの距離を長くするように、前記プロジェクターまたは前記カメラの位置を調整するステップと、
   を含むことを特徴とする三次元形状計測方法。
2. 前記基準面に投影された前記格子パターンの格子ピッチが基準値よりも小さい領域について、前記高さ情報を算出する場合には、前記基準面と前記カメラとの距離を短くし、
   前記格子ピッチが前記基準値よりも大きい領域について、前記高さ情報を算出する場合には、前記基準面と前記カメラとの距離を長くするように、
   前記カメラの位置を調整するステップを含む請求項１に記載の三次元形状計測方法。
3. 前記基準値は、前記格子パターンが投影された範囲の中央部における前記格子ピッチである請求項２に記載の三次元形状計測方法。
4. 前記基準面と前記カメラとの距離が第１距離にあるときに前記カメラで撮像された第１撮像画像と、前記基準面と前記カメラとの距離が前記第１距離とは異なる第２距離にあるときに前記カメラで撮像された第２撮像画像と、を用いて、前記高さ情報を算出する請求項２または３に記載の三次元形状計測方法。
5. 基準面上に載置された対象物に向けて光による格子パターンを投影するプロジェクターと、
   前記対象物に投影された前記格子パターンを撮像し、撮像画像を得るカメラと、
   前記撮像画像について、格子像の位相解析を行い、前記対象物の高さ情報を算出する演算部と、
   前記プロジェクターまたは前記カメラを前記基準面と平行に移動させる平行駆動部と、
   を備えることを特徴とする三次元形状計測装置。
6. 前記平行駆動部を有するロボットアームを備える請求項５に記載の三次元形状計測装置。
7. 前記カメラを前記基準面に対して垂直に移動させる垂直駆動部を備える請求項５または６に記載の三次元形状計測装置。

Images