JP6923915B2 - カラー物体の３次元形状とカラー情報とを同時に取得可能な計測方法、計測装置、計測プログラムを記録した、コンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、大型構造物や工業製品、シート状構造物、人体や動植物、自然の造形物等の三次元の表面形状を有する測定対象物の表面の三次元形状計測を非接触かつ高速・高精度で行うことが可能な三次元形状計測装置に関する。また、非接触の振動面位置計測や変位分布計測に用いることもできる。

計測対象物に格子パターンを投影し、計測対象物に投影された格子パターンを撮像して得られた格子パターン像の画素毎の位相を求めることにより三次元形状計測を行う格子投影法が公知である。

図１に一次元格子投影法による形状計測装置の光学系の例を示す。

基準面に対して、カメラレンズの中心とプロジェクタの光源の高さが同じであり、カメラ撮像面および格子の面は基準面に平行であるモアレトポグラフィの光学系である。この図の場合、基準面の位置において、投影された格子の１ピッチと基準面上で撮像される画素ピッチが一致しており、図１のＷの位置には白い線が、Ｂの位置には黒い線が等高線として撮影できる。カメラの画素ピッチが細かくなっても投影された格子の画像の１ピッチの画素数はどの高さでも一定である。

格子投影法では格子の位相を解析することにより高精度でその変形を解析でき、面外変形や三次元形状を高精度に計測することができる。従来の位相解析法としては、位相シフト法やフーリエ変換法が用いられている。

格子投影法やモアレトポグラフィ法では、格子の位相を解析することによって高精度で対象の形状や変形を解析することができ、面内変形や三次元形状の高精度の計測が可能である（非特許文献１，２）。従来の位相解析法としては、位相シフト法やフーリエ変換法が用いられている。これらの中で、サンプリングモアレ法（非特許文献３）やフーリエ変換法（非特許文献４，５）は１枚の画像で位相を解析できるため、運動物体などの解析に有用である。
全空間テーブル化手法は、各画素に対して位相と高さ（さらにはｘ，ｙ，ｚ座標）との関係を予め求めてテーブルとし、位相が求められれば、そのテーブルを見るだけで、高さ情報が得られる（非特許文献６）。

運動物体をリアルタイムに計測するには計算を高速に行う必要があり、できるだけ少ない画像データで位相計算をするほうが良い。しかしながら、サンプリングモアレ法は２周期のデータを用いて位相計算を行ない、またフーリエ変換法は全画素のデータを用いて位相の解析を行っており、少ない画像データにより動画像での計測をすることができなかった。

この問題を解決するため、本出願人は特許文献１に開示されるように、格子１周期分の画像データをフーリエ変換などにより位相を解析する新しい格子投影法を出願している。これにより１枚の画像から位相分布を高速に解析することができ、動画像の解析も可能となる。

この特許文献１に開示される技術の特徴を以下に示す。
（１）位相解析による計測であるため精度が良い。
（２）１枚の画像で位相解析できるので、運動する物体の形状計測が可能である。
（３）フーリエ変換により周波数１のみを抽出しているので、正確な余弦波の輝度分布をもつ格子を投影しなくても良い。
（４）また、フーリエ変換により周波数１のみを抽出しているので、高周波部分に現れるノイズは自動的に削除されるためノイズに強い。
（５）処理が簡単で、高速に処理ができる。
（６）ゲージ長が整数Ｎ画素となり、サンプリングモアレ法よりも短い。一般的に、デジタル画像相関法よりもゲージ長が短い。
（７）サンプリングモアレ法では直線補間によりモアレ縞を生成しているが、本発明は余弦波と相関をとっていることになるため、精度がより高い。

しかしながら、特許文献１に開示される技術はｘ方向にＭ画素（Ｍは２以上の整数）、ｙ方向に１画素の横長の画像データを用いて位相解析を行う必要がある。そのため、ｘ方向の空間分解能が十分ではなく、ｘ方向に段差のある部分など位相変化の大きいところでは広い範囲にわたって誤差が大きくなっていた。

そこで、本出願人は、特許文献２に開示されるように、位相解析に特許文献１に開示される技術と同じ画素数を使っても、ｘ方向にＭｘ画素、ｙ方向にＮｙ画素（Ｍｘ、Ｎｙは２以上の整数）の２次元領域のデータを使うことにより、ｘ方向とｙ方向の空間分解能をほぼ同じ程度に小さくでき、段差のある部分でも、誤差の大きくなる部分の幅を狭くできる位相解析方法、および、前記位相解析方法を利用した装置についても出願している。

再表２０１６／００１９８６ 再表２０１６／００１９８５

新井泰彦，倉田忠雄，縞走査干渉計の手法による高速かつ高精度なモアレトポグラフィ法，光学，Vol.15，No.5，402-406 (1986). 森本吉春，藤垣元治，米山聡: モアレ法・格子法による形状・変形計測の最近の研究，非破壊検査，52-3(2003)，116-121. 李志遠，森本吉春，藤垣元治，サンプリングモアレ法による構造物の非接触変位分布計測、日本工業出版 検査技術，14(5)，(2009)，1-6 Takeda, M. and Mutoh, K., Fourier transform profilometry for the automatic measurement of 3-D object shapes, Applied Optics, 22-24, 3977-3982(1983). Morimoto, Y., Seguchi, Y. and Higashi, T., Two-dimensional Moire Method and Grid Method Using Fourier Transform, Experimental Mechanics, Vol. 29, No. 4, 399-404(1989). 藤垣元治，森本吉春，全空間テーブル化手法による格子投影三次元形状計測，実験力学，8-4, 92-98(2008).

特許文献１、特許文献２に開示される技術により構成される計測装置は、モノクロカメラを用いており、対象物の表面のカラー情報を収集することができない。カラー情報を収集する場合は、形状計測を行なうカメラと別に、カラーデータを収集するカメラを用いる必要がある。そして、形状計測で得られた形状計測データと、カラーデータとを合成することにより、３次元形状計測結果に色付けを行なっていた。そのため、装置が高価となり、データの合成のためのソフトウェアの製作も困難なことも多く、また、計測誤差も大きい問題があった。
そこで、本発明の目的は、３次元物体の３次元形状データとカラーデータとを１台のカメラを用いて同時に収集することが可能な、計測方法、計測装置、計測プログラムを記録した、コンピュータ読み取り可能な記録媒体を提供することである。

＜請求項１＞
モアレトポグラフィ光学系において、ベイヤー配列のＲＧＢを受光する２次元撮像素子を備えたカメラを用い、ＲＧＢ成分を含む光源光を用い、格子を用い、前記光源光により３次元物体に投影された前記格子の格子模様を撮像し、前記３次元物体の表面の形状データを取得する計測方法であって、
前記格子模様の画像からＲＧＢ成分ごとに奇数行と奇数列の各画素を抽出し、前記抽出した各画素の位相が前記各画素を順番に並べた場合に、等間隔で２πまで変わるように前記格子の格子線の方向を、前記カメラの前記２次元撮像素子の画素の配列方向に対して斜めに向けて投影する工程と、
前記物体に投影された格子模様を撮像する工程と、
前記ＲＧＢ成分ごとに前記抽出した各画素の位相を用いて位相解析を行い、位相解析により求められた位相を前記抽出した各画素のうちのいずれかの画素の位相とする工程と、
前記いずれかの画素の位相を求めることを前記撮像した前記格子模様のうちの少なくとも前記形状データを求める画素に対して行い位相分布を求める工程と、
前記求めた位相分布を用いて前記３次元物体の形状データを求める工程と、
を含む、
前記３次元物体の表面の形状データを取得する計測方法。
＜請求項２＞
ベイヤー配列のＲＧＢを受光する２次元撮像素子を備えたカメラを用い、ＲＧＢ成分を含む光源光を用い、前記光源光により３次元物体に描画された格子の格子模様を撮像し、前記３次元物体の表面の変位データを取得する計測方法であって、
前記格子模様の画像からＲＧＢ成分ごとに奇数行と奇数列の各画素を抽出し、前記抽出した各画素の位相が前記各画素を順番に並べた場合に、等間隔で２πまで変わるように前記格子模様の格子線の方向を、前記カメラの前記２次元撮像素子の画素の配列方向に対して斜めに向けて前記３次元物体に描画された格子模様を撮像する工程と、
前記抽出した各画素の位相を用いて位相解析を行い、位相解析により求められた位相を前記抽出した各画素のうちのいずれかの画素の位相とする工程と、
前記いずれかの画素の位相を求めることを前記撮像した前記格子模様のうちの少なくとも前記変位データを求める画素に対して行い位相分布を求める工程と、
前記位相分布を前記３次元物体の変形の前と後で求め、前記物体の変形前後の位相差に基づいて物体面の変位を求める工程と、
を含む計測方法。
＜請求項３＞
前記モアレトポグラフィ光学系において、前記カメラの撮像面が前記格子と平行ではない場合、前記抽出された画像に対して射影変換を行う工程を含む請求項１または２に記載の計測方法。
＜請求項４＞
前記請求項１乃至２のいずれか一つの計測方法を行う計測装置。
＜請求項５＞
請求項１乃至３のいずれか一つの計測方法を実行する計測プログラム。
＜請求項６＞
請求項５に記載の計測プログラムを記憶した、コンピュータ読み取り可能な記録媒体。

本発明により、３次元物体の３次元形状データとカラーデータとを１台のカメラを用いて同時に収集することが可能な、計測方法、計測装置、計測プログラムを記録した、コンピュータ読み取り可能な記録媒体を提供できる。

格子投影法の光学系（モアレトポグラフィ）である。 モアレトポグラフィの光学系の説明図である。 カメラ撮像面の１画素が見る物体の位相と基準面の位相の関係の説明図である。 カメラ撮像面の１画素が見る物体の位相と基準面の位相の関係の説明図である。 本発明を実施するのに用いる装置全体の構成である。 カメラ撮像面に映る格子の影像である。 格子の処理手順である。 格子の処理手順である。 格子の処理手順である。 従来技術であるサンプリングモアレ法や前提技術で用いられている格子画像である。 本発明で用いられる格子画像の例１の画像を示す図である。 本発明で用いられる格子画像の例２の画像を示す図である。 本発明で用いられる格子画像の例３の画像を示す図である。 本発明で用いられる格子画像の例４の画像を示す図である。 本発明で用いられる格子画像の例５の画像を示す図である。 本発明で用いられる格子画像の例６の画像を示す図である。 投影された周波数２の格子を説明する図である。 投影された周波数−３の格子を説明する図である。 図１４と図１５を足し合わせることにより得られた周波数２と周波数−３の格子を合成した格子 ＯＰＰＡ法で用いているモアレトポグラフィの光学系を説明する図である。 ＯＰＰＡ法で用いているモアレトポグラフィの光学系において、物体上に投影された格子の画像は、物体の高さに関係なく、カメラ内の撮像面では一定の長さとなり、高さにより格子の位相だけが異なることを示す図である。 ＯＰＰＡ法により、基準面に投影した格子模様を示す図である。 ＯＰＰＡ法により、基準面に投影した格子模様を撮影した等間隔の格子画像を示す図である（格子面に垂直な光軸をもつカメラから撮影したとき）。 本発明の実施形態の一つであるカメラの光軸方向が格子面に垂直でない場合の光学系を示す図である（ＨＯＰＰＡ法）。 図３Ａにおいて、基準面と計測面での点光源Ｌから出射された光がカメラ撮像面に到達するまでの光路を示す図である（ＨＯＰＰＡ法）。 基準面に投影した格子を示す図である。 基準面に投影した格子を、カメラで撮影した不等間隔の格子画像を示す図である（格子面に対して、光軸が斜め方向であるカメラから撮影したとき）。 射影変換により、斜め方向から撮影した格子画像（左図）のピッチを整数Ｎ画素となるように射影変換した格子画像（右図）を示す図である。 図１の光学系において、基準面が格子面に平行でない場合の光学系を示す図である。 １辺が整数Ｎ画素となる場所にある仮想基準面に投影されている格子画像を作ることができることを説明する図である。 基準面が傾いている場合の撮影した格子と仮想基準面上に射影変換した格子画像の例を示す図である。 図３Ａ，図３Ｂの光学系において、さらに基準面が格子面に平行でない場合の光学系を示す図である。 ＲＧＢ３板式のカメラを用いる計測装置を説明する図である。 ベイヤー配列を備えた単板のカラーカメラを説明する図である。 ベイヤー配列を用いたＨＯＰＰＡ法を説明する図である。 ベイヤー配列からのＲＧＢの各画素の抽出を説明する図である。

本発明は、発明が解決しようとする課題を克服し、高速、高精度な方法を提供可能である。本発明は物体面の格子をカメラにより撮影して解析し、計測する方法である。本発明は、物体に投影された格子像あるいは、物体に描画された格子を撮像した画像の輝度データをもとに、高精度に位相値を求めることが可能となる位相解析方法に関する。そして、高精度に求めた位相をもとに、物体面の高さを計測して物体面形状を計測するだけでなく、物体面に設けた格子模様をカメラによって撮影することにより、物体面の面内方向への変位を計測することもできる。
さらに、本発明は、３次元物体の物体面の形状計測や変位計測だけではなく、同時に、物体面のカラー情報を収集することができる。本発明では、カラーカメラ１台を用いて、３次元形状データとそのカラーデータとを同時に取得する。

まず、本発明の測定原理を説明する。

本発明は、格子投影法で一次元格子を投影し、その格子画像の１ピッチが常に一定のＭ画素となることを利用して、そのＭ画素の輝度データより位相を解析し、位相から高さなどの情報を得る方法である。
＜光学系と座標＞
図２，図３Ａ，図３Ｂに形状計測装置の格子投影機構と計測対象物の説明用概略図を示す。

まず、図２でモアレトポグラフィの光学系についてさらに説明する。

Ｌは光源の位置、Ｖはカメラレンズの中心を表す。格子は光源Ｌの位置からｄの距離にあり、１周期の幅はｐである。

この光学系では、基準面に対して、カメラレンズの中心Ｖとプロジェクタの光源Ｌの高さが同じであり、カメラ撮像面および格子面は基準面に平行である。

光源Ｌから距離ｚ１離れた位置に物体面が、距離ｚ２離れた位置に基準面があり、光源Ｌからｄ離れた位置には格子面がある。格子面は基準面に平行であり、周期がｐである等間隔の一次元格子線が描かれている。光源には点光源を用いるが、格子線に平行な１ライン線光源を用いてもよい。

光源Ｌを含み基準面に平行な面を光源面と呼ぶ。説明のために光源を原点としてｘ，ｙ，ｚ座標をとり、基準面に垂直な方向をｚ方向とする。図２では下方がｚ方向の正になっている。

格子の面に描いた格子線に垂直な方向がｘ方向、格子線に平行な方向がｙ方向である。カメラレンズの中心は光源面内にあり、ｘ方向に距離ｖだけ光源Ｌから離れている。カメラ撮像面は基準面と格子面に平行であり、カメラ撮像面の画素座標（ｉ，ｊ）のｉ方向，ｊ方向は各々ｘ方向とｙ方向と一致している。

この光学系では、物体面や基準面がどの高さにあってもカメラ撮像面での格子１周期の像は同じ幅になる。したがって、デジタルカメラ撮像面の整数Ｎ画素に格子の１周期が映るように設定すると、物体面や基準面がどの高さでも格子の１周期の像が整数Ｎ画素に映ることになる。このことを図２で説明すると以下の通りになる。

投影された格子１周期の影は、物体面ではｘ１に、基準面ではｘ２になる。光源面からの距離は、物体面ではｚ１、基準面ではｚ２、カメラ撮像面ではｚ３、格子面ではｄである。
格子の１周期ｐの影は、物体面ではｐをｚ１／ｄ倍したｘ１となり、基準面ではｐをｚ２／ｄ倍したｘ２となる。カメラ撮像面での大きさｘ４はｘ１をｚ３／ｚ１倍したものであり、ｘ５はｘ２をｚ３／ｚ２倍した大きさであるから、ｘ４とｘ５はともにｐのｚ３／ｄ倍になる。すなわち、カメラ撮像面に映る格子の１周期の大きさは光源面から格子までの距離と、カメラレンズの中心からカメラ撮像面までの距離の比によって定まり、物体面や基準面までの距離には影響されない。

このことから、格子１周期の像を捉えるカメラのセンサー画素数は基準面からの計測対象物体の高さによらず一定となる。すなわち、格子１周期をＮ画素に映るように設定すると、連続するＮ画素には常に格子１周期分が映っていることになる。

一方で、図１においてｘ４とｘ５の位置がずれていることから判るように、物体面や基準面までの距離が変化すると格子がカメラ撮像面に映る位置は変化する。換言すると、基準面から物体面までの高さにより、カメラ撮像面の画素に映る格子の位相が変わることになる。

以上のことから、位相解析を行えばその高さを求めることができる。すなわち、Ｎ画素をフーリエ変換し、最大のパワースペクトルをもつ周波数１を抽出し、その周波数１の位相を求めれば、物体面等の高さを計測できることになる。また、実際の測定に際しては、光学系に応じて、前記周波数を予め設定しておき、その予め設定した周波数の位相を求めることにより、物体面等の高さを計測することもできる。

なお、上記したように、基準面に投影された格子の１周期がデジタルカメラの整数Ｎ画素となるようにレンズの拡大率を調整しておくことが好ましい。

次に、図３を用いて基準面から物体面までの高さを求める方法を説明する。

図３Ａは図３Ｂの上部を拡大したものである。

まず、カメラレンズの中心Ｖをｘ軸上の座標（ｖ，０，０）の位置に置く。すなわちカメラレンズの中心Ｖは距離ｖだけ光源Ｌから離れている。基準面の点Ｒが映るカメラ撮像面の画素には、物体を置いた際に物体面の点Ｓが映る。図３Ｂでは、この画素および点Ｓ、点Ｒを通る線を、カメラ視線として示す。物体面における点Ｓをｚ軸に垂直に投影した点を点Ｂ、基準面における点Ｒをｚ軸に垂直に投影した点を点Ｉとする。また、光源の位置Ｌから点Ｒへの光が格子面を通過する点を点Ｑとし、光源の位置Ｌから点Ｒへの光が物体面の点Ｓからｚ軸に垂直に投影した線をその光が横切る点を点Ｐとする。さらに、光源の位置Ｌから点Ｓへの光が格子面を通過する点を点Ｇとする。ｚ軸と格子面の交点を点Ｃとする。点Ｅは格子の原点であり、点Ｃと点Ｅの距離をｅとする。そして、点Ｉと点Ｂの距離、すなわち基準面から物体面までの高さをｈとする。

＜投影格子の位相＞
いま、ｚ＝ｄにある格子の透過率分布Ｉ_ｇは余弦波状になっており、次の式で示される。

ここで、ａ_ｇは振幅、Φは格子の位相、ｂ_ｇは背景である。光源が格子を照射して、格子の影が基準面または物体面に投影される。その格子の影がカメラ撮像面に映る際の輝度分布は、格子１周期に相当する連続したＮ画素に対して、基準面や物体面等の高さｚにおいて、次の式で表される。

ここで ｎ＝０，１，・・・Ｎ である。

数式２において、

と、置き直すと、数２式は数６式で表すことができる。

となる。

物体面の場所Ｓ（ｘ，ｙ，ｚ）からｘ方向の格子の影の１周期は、カメラ撮像面の連続するＮ画素に映るように、カメラレンズにより調整されている。

そこで、このＮ個のデータに対して離散的フーリエ変換を行ない、その周波数１を抽出し、それより位相を求めると、滑らかな余弦波状の波の位相θを得ることができ、非常に精度の良い位相解析を行うことができる。

この位相θ（−π＜θ≦π）は、次の式を用いて計算できる。

ｘ方向の全画素について上記の位相θを求めてｘ方向に位相接続すると、格子の位相Θを得ることができる。

＜等高線を表すモアレ縞の位相＞
モアレトポグラフィにおいては、等高線を表すモアレ縞の位相Θ_Ｍは、基準面に投影された格子の位相Θ_Ｒと物体の上に投影された格子の位相Θの差Θ_Ｍ＝Θ−Θ_Ｒとして求められる。これよりｚが求められ、あるいは基準面からの高さｈ＝ｚ_R−zが求められる。

この計算式は次のように求められる。

基準面上の点Ｒに投影された格子の影の位相Θ_Ｒは

となる。

ここで、△ＬＩＲと△ＬＣＱとの相似より

となり、数式９を数式８に代入すると

となる。

同様に△ＬＢＳと△ＬＣＧとの相似を用いると、物体上の点Ｓに投影された格子の影の位相Θ_Ｓは以下のようになる。

数式１０の点Ｒの位相と数式１１の点Ｓの位相の差として、次の式のようにモアレ縞の位相Θ_Ｍが得られる。

一方、二つの三角形△ＬＰＳおよび△ＬＱＧの相似より

また、△ＲＬＶおよび△ＲＰＳの相似より

これらから、

これより

このように、基準面の格子と物体面の格子の位相差としてモアレ縞の位相を計測することにより、基準面から物体面までの高さｈが求められる。

ここで、物体面の高さを求めることにより物体面形状を計測する方法を説明する。

図４に計測装置全体の構成を示す。

１はＬＥＤ等のランプであり、光源に相当する。２は格子、３は計測対象の物体、４は載置台、５はデジタルカメラ、６は撮像素子、７はレンズ、８はコンピュータ、９は出力装置である。計測結果を得るだけであればコンピュータ８などに結果を記憶すればよいので、出力装置９はなくてもよい。また、ランプ１と格子２としては、市販の液晶プロジェクタなどのプロジェクタを用いてもよい。この場合、液晶表示素子等で格子を表示して格子２を形成する。プロジェクタを用いると、格子の幅や方向を自在に変更することができる。

物体３をランプ１で照射すると、物体面に格子２の影が投影され、レンズ７を介してデジタルカメラ５の撮像素子６に影の像が映る。映った像はデジタルカメラ５からコンピュータ８に送られる。そして、コンピュータ８では、記憶されている本発明の方法を実現するプログラムにより前記像が解析されて計測値が得られる。得られた計測値はコンピュータ８に記憶されるとともに、必要であれば出力画像などに加工され、出力装置９に送られて出力される。出力装置は具体的には表示装置や印刷装置などである。

コンピュータ８には、後述する全空間テーブル化法を実行するためのデータテーブル８ａをメモリに記憶することも可能である。また、本発明に係るプログラムをコンピュータ８で実行することができる。また、本発明に係るプログラムを記録した記録媒体８ｂをコンピュータ８に装着することで、本発明に係る計測方法を実行することができる。

基準面を載置台４の表面としても良く、載置台４の上に基準面を有する物体を載置しても良い。基準面と物体面があれば計測できるので、基準面の代わりに物体面を有した物体を置いても良い。また、ランプ１、格子２、物体３、載置台４、デジタルカメラ５を含んだ全体を横にした状態とし、横方向で物体面形状を計測することも可能であり、斜め方向で計測することも可能である。

＜位相解析手順＞
基準面に一次元格子を投影する。これをデジタルカメラで撮影する。図５はこのようにして撮影した画像の一部の拡大説明図である。この例の場合、格子の１周期をカメラ撮像面のＮ画素（ここではＮ＝８）となるように倍率を調節している。カメラ撮像面の画素が黒い長方形で表現されている。この図の斜線で示される部分は格子の輝度の低い部分を示し、その他の部分は格子の輝度の高い部分を示している。格子線に直角な方向をｘ方向、それに垂直な方向をｙ方向とする。カメラ撮像面における画素の座標を（ｉ，ｊ）とする。そして、ｉ方向、ｊ方向をそれぞれｘ方向およびｙ方向に合わせて撮影する。

この画像を次のように処理する。
（１）連続するＮ画素の画像データ（図６Ａ）を一次元フーリエ変換する。
（２）これにより−Ｎ／２〜Ｎ／２の周波数スペクトル（図６Ｂ）が得られる。この中で最大のパワースペクトルをもつ、Ｎ画素を一周期とする周波数１または周波数−１の成分を抽出する。図６Ｂでは、周波数１だけを取り出している。
（３）その抽出した周波数の位相計算を行えば位相が得られる。そして、そのＮ画素の格子の先頭の画素に対応して記憶する。（図６Ｃ）
（４）次に、Ｎ画素の格子の組み合わせをｘ方向に１画素だけずらして（１）〜（３）の位相計算と記憶を繰り返す。
（５）ｘ方向の移動がすべて終わったら（１）〜（４）の走査をすべてのｙ方向について行う。

なお、数式７を用いて位相を直接求める場合は（１）〜（３）の手順をまとめて行っていることになる。このようにして得られたほぼ１画面分の位相がこの格子の基準面の位相分布となる。

物体の格子の位相を解析する場合は、カメラはそのままにして、基準面の代わりに物体を置くなどして同様に（１）〜（５）の計算を繰り返す。このようにして得られた位相分布が物体面の位相分布となる。

次に、得られた物体面の位相および基準面の位相をそれぞれ位相接続する。格子投影法の場合、格子の位相は基本的に単調関数となる。そのため、位相のジャンプが起こる毎に２πを増加あるいは減少させることにより容易に位相接続ができる。

位相接続の後に、各画素に物体の位相と基準面の格子の位相との位相差であるモアレ縞の位相Θ_Ｍを求める。これより数式１７を用いて高さｈを求めることができる。ここでは、フーリエ変換してから周波数１等の位相を得ているため、正確な余弦波の輝度分布をもつ格子を投影することなく、ノイズに強い計測を行うことができる。

上述の計測方法は、ｘ方向にＮ画素、y方向に１画素の横長の画像データを用いて位相解析をしていた。そのため、ｘ方向の空間分解能が悪く、ｘ方向に段差のある部分など位相変化の大きいところでは広い範囲にわたって誤差が大きくなる。

そこで、本発明の他の計測方法は、位相解析に同じ画素数を使っても、ｘ方向にMx画素、ｙ方向にNy画素（Mｘ,Nｙは２以上の整数）の２次元領域のデータを使うことにより、ｘ方向とｙ方向の空間分解能をほぼ同じ程度に小さくでき、段差のある部分でも、誤差の大きくなる部分の幅を狭くできる。

そこで、モアレトポグラフィの光学系においてz=0の基準面に格子を投影し、基準面上のｘ方向Mｘ画素、ｙ方向Nｙ画素からなる長方形（正方形を含む）内において、投影されている格子の位相が２πをMｘ×Nｙ等分されるように光学系を調節する。そうすると、すべての画素の位置において、ｘ方向Mｘ、ｙ方向Nｙ画素からなるMｘ×Nｙ画素の長方形領域において、２πをMｘ×Nｙ等分した位相に対応する輝度値が得られ、この輝度データより各画素における位相を求めることができる。

図１に示すモアレトポグラフィの光学系において、光源Ｌから出た光は、格子を通って格子の影を対象物の上に投影する。対象物の形状に応じて歪んだ格子の影をカメラが撮影する。

上述の光学系では、基準面に投影した１次元の格子線が図７に示すように、x軸に垂直となるように設置し、図７に示すようにカメラで撮影された格子の１ピッチがｘ方向にM画素（図７の場合M=9）となるように光学系を配置しておく。図７はサンプリングモアレ法やＯＰＰＡ法で用いられている格子画像である。格子は、ｘ方向に垂直な格子線からなり、ｘ方向M画素（この図ではM=9）で１ピッチとなるように光学系を調整している。ｘ方向のＭ画素（この図では、Ｍ＝９）のデータを用いて位相解析を行う。符号９０で示される領域の９画素を用いて位相解析を行う。

一方、本発明の他の光学系では、基準面に投影した格子が図８に示すようにｘ軸に垂直とはならず斜めとなっている。それでも格子の１ピッチがｘ方向にM画素で１ピッチとなるように調整している。ただし、y方向に格子の１ピッチがNy画素（図８の場合、Mx=3、Ny=3）となるように調整している。

結果的に、ｘ方向にMx画素、ｙ方向にNｙ画素、Mx×Ny＝M（M,Mx,Nyは２以上の整数）となるように光学系を配置しておくと、１周期の位相をN等分した位相の輝度データがMx×Nyの領域の輝度データとして得られる。

格子線１００は投影されている格子の位相０の線、格子線１０１は投影されている格子の位相π／２（９０度）の線、格子線１０２は投影されている格子の位相π（１８０度）の線、格子線１０３は投影されている格子の位相３π／２（２７０度）の線を表す。

図７の各画素に書いてある数字は、投影されている格子の位相の番号を示しており、０は位相０（０度）、数字が増えるごとに位相が２π／（Mx×Ny）ずつ増える。この図の場合、２π／９（４０°）ずつ増える。

図８は本発明で用いられる格子画像の例１の画像を示す図である。格子は、斜めに等間隔に投影されている。符号９１のM×１画素の領域を見ると、ｘ方向の１ピッチはM画素である。ｙ方向の１ピッチはN_ｙ画素となるように投影する格子の向きを調整している。すなわち、格子線のピッチや方向をうまく調整すると、Ｍｘ×Ｎｙの長方形領域の各画素の位相の変化が等間隔で得られる位置がある。図８では、Ｍｘ×Ｎｙ＝Ｍ画素のデータが２πをＭ分割した位相変化となっており、これを用いて位相解析を行うことが可能である。

格子線１１０は投影されている格子の位相０の線、格子線１１１は投影されている格子の位相π／２（９０度）の線、格子線１１２は投影されている格子の位相π（１８０度）の線、格子線１１３は投影されている格子の位相３π／２（２７０度）の線を表す。

図８において各画素に書いてある数字は投影されている格子の位相の順番を示す。この図の各画素に書いてある数字は、位相の番号を示しており、０は位相０（０度）、数字が増えるごとに位相が２π／（Mx×Ny）ずつ増える。具体的には、ｘ方向に９画素とｙ方向に１画素で１周期となり、この９画素（符号９１で示される領域）から位相解析が可能である。一方、ｘ方向に３画素、ｙ方向に３画素の計９画素（符号９２で示される領域）をみると、どちらも１周期を９分割した同じ位相のデータが得られている。ｘ方向もｙ方向も３画素の空間分解能となり、ｘ方向も、ｙ方向も、同じ等方性の精度の良い位相解析が可能である。

図８の場合も、符号９１で示される領域のM画素を解析しても位相が求められるが、符号９２で示される領域のMx×Nｙ（＝M）画素を解析しても同じように画素データが得られており、こちらを解析しても位相が得られる。この符号９２で示される領域のｘ方向の領域の長さが、符号９１で示される領域のｘ方向の長さよりも短く領域が正方形に近いため、空間分解能の方向性が少なく急な段差があってもその影響の及ぶ範囲が小さくてすむ。

具体的には図８に示すように、Mx=3,Ny=3,M=9に選ぶと、領域９１であるｘ方向にM（＝９）画素、ｙ方向に１画素の輝度データと、ｘ方向にMx（＝３）画素、ｙ方向にNy（＝３）画素の輝度データとが同じ位相配置となる。領域９１の輝度データを使う代わりに領域９２の輝度データを使えば、同じように解析できることになり、細長い領域９１の輝度データよりも正方形に近い領域９２の輝度データを使う方が、空間分解能が良くなるといえる（なぜなら、領域９１ではｘ方向に９画素のデータを使って位相を求めているが、領域９２ではｘ方向に３画素のデータを使っているだけであり、ｘ方向の空間分解能が良くなる。）。

つぎに、撮影した格子画像のｘ方向Mｘ画素、ｙ方向Nｘ画素となる領域のM＝Mx×Ny個の輝度データを取り出し、その輝度データより数１８式を用いて（初期）位相θの解析を行う。

得られた画像の各画素ごとに位相解析の処理を行う。処理する画素の周辺にMx×Ny画素領域をとり、その領域の各画素の輝度データを各画素の位相の順（図８の場合、各画素に書いてある番号の順）に並べ、その輝度データを用いて数１８式により位相θを求める。その位相θと基準面の位相θ_Rの差Θ（Θ＝θ−θ_R）に対応する高さ情報を計算により求める。あるいは全空間テーブル化手法により予め求めておいたテーブルより求める。
位相差Θと高さｈの関係は図３より数１９式で与えられる。

この作業を１画素ずつずらしながら行う。すべての画素において、高さが求められれば形状が計測されたことになる。

なお、１次元に複数に並んだ画素を基に、基準面から物体面までの高さｈを数１７式で求めたが、２次元に並んだ画素を基に、基準面から物体面までの高さｈも数１７式と同じように、数１９式によって求めることができる。

図９は本発明で用いられる格子画像の例２の画像を示す図である。図８と格子の向きが異なっているが、図８と同様に符号９１で示される領域のM(=９)画素を解析しても位相が求められる。符号９２で示される領域（Mx＝３，Nｙ＝３の場合）の９画素を解析しても同じように輝度データが得られており、こちらを解析しても位相が得られる。

図１０は本発明で用いられる格子画像の例３の画像を示す図である。図８と格子の向きが異なっているが、図８と同様に符号９１で示される領域のN（=９）画素を解析しても位相が求められる。符号９２で示される領域（Mx＝３，Nｙ＝３）の９画素を解析しても同じように輝度データが得られており、こちらを解析しても位相が得られる。

図１１は本発明で用いられる格子画像の例４の画像を示す図である。図８と同様に符号９３で示される領域のM(=25)画素を解析しても位相が求められるが、符号９４で示される領域（Mx＝５、Nｙ＝５）の２５画素を解析しても同じように輝度データが得られ、こちらを解析しても位相が得られる。

図１２は本発明で用いられる格子画像の例５の画像を示す図である。図８と同様に符号９５で示される領域のM(=15)画素を解析しても位相が求められる。符号９６で示される領域領域（Mx＝３、Nｙ＝５）の１５画素を解析しても同じように輝度データが得られ、こちらを解析しても位相が得られる。図１２に示されるように、長方形の領域でも位相を求めることができる。

図１３は本発明で用いられる格子画像の例６の画像を示す図である。図８と同様に符号９７で示される領域のM(=20)画素を解析しても位相が求められる。符号９８で示される領域の（Mx＝４、Nｙ＝５）の２０画素を解析しても同じように輝度データが得られ、こちらを解析しても位相が得られる。
次に、全空間誤差テーブルを用いた形状計測法を説明する。上述した方法では、位相と高さの関係を計算により求めているが、全空間テーブル化手法を用いて各画素の位相を求めることが可能である。なお、全空間テーブル化法は、特開２０１１−２３７８号公報（和歌山大学）に記載されているように公知の技術である。

全空間テーブル化手法は、各画素に対して位相と高さ（さらにはｘ，ｙ，ｚ座標）との関係を予め求めてテーブルとし、位相が求められれば、そのテーブルを見るだけで、高さ情報が得られる。このため三角測量による計算が不要となり高速計測となり、光学系のもつ誤差もテーブルを参照することによりキャンセルされ高精度となる。

本発明では、モアレトポグラフィに適用するので、位相と高さの関係は理論式で得られ、すべての画素で同じ式となる。しかし、光学系などの誤差により、理論と合わず、画素毎に誤差が出てくる。

そこで、全空間テーブルの代わりに、実際の計測高さと理論高さの比Qあるいは実際の計測高さと理論高さの差Ｓをテーブル化した全空間誤差テーブルを作成し、位相より得られた理論高さにこのテーブル値Qを掛け算することにより、あるいは理論高さにSを加えることにより、高さを求める方法とする。この全空間誤差テーブルは、画素毎の誤差分布を表しており、この表のデータを可視化し、誤差が小さくなるように光学系を調節することにより、光学系の調整などがし易くなる。

上述したように本発明では、長方形領域（正方形を含む、具体的には３×３画素）の領域の画像データを使って位相解析を行っている。本発明では、同じ領域にｘ方向ピッチの異なる２種類の格子を用い、それぞれの位相を解析し、その結果より位相接続を行い、ダイナミックレンジの広い位相解析方法を実現できる。

長方形（正方形を含む）領域の画素においてｘ方向に周波数の異なる２種類以上の波を入れ、その領域の画像の輝度データより、それぞれの波を、フーリエ変換などを用いて分離抽出し、それらの波の位相を求める（実際にはフーリエ変換をしなくても直接位相を求める周波数１に対応した位相を求める数７式やより高い周波数に対応した同等の式に代入すれば良い）。

求めた２つ以上の波の位相より位相接続を行い、ダイナミックレンジの広い形状計測法とすることができる。本発明の実施形態１、２では、ｘ方向の格子ピッチが１種類の格子だけを投影したため、ダイナミックレンジが狭い。本発明の方法は、２種類の格子を一度に投影することにより、ダイナミックレンジを広げる方法を提供する。その技術内容を以下に示す。

図１４はカメラの各画素に映った格子の画像を示す模式図であり、一番小さな正方形が１画素の大きさ、斜めの線が格子の位相を表している。符号１３０の格子の線が位相０の線、符号１３１の格子の線が位相π／２の線、符号１３２の格子の線が位相πの線、符号１３３の格子の線が位相３π／２の線を表している。符号１２０の領域に示す横１ライン９画素のデータを見ると、画素が隣へ移動するたびに位相が増えていき、９画素で２周期分の位相変化となっている。

この場合、符号１２１で示される３×３画素の領域を見ると、１行目は符合１２０の領域で示される９×１画素の領域の最初の３画素、２行目は次の３画素、３行目はその次の３画素の位相と同じデータが並んでおり、符合１２０の領域を解析しても、符合１２１の領域を解析しても同じように位相が得られることになる。

図１５の場合は、符合１２２の領域で位相が３周期変化している。符号１２３で示される３×３画素の領域を見ると、１行目は符合１２２の領域の最初の３画素、２行目は次の３画素、３行目はその次の３画素の位相と同じデータが並んでおり、符合１２２の領域を解析しても、符号１２３の３×３の領域を解析しても同じ位相が得られることになる。

図１４の９個のデータを用いてフーリエ変換を行うと、周波数２あるいは−２のみが存在することになる。図１５の９個のデータを用いてフーリエ変換を行うと、周波数３あるいは−３のみが存在することになる。

図１４の格子と図１５の格子を重ねて（輝度を足しあわせて）、図１６のように投影すると、符合１２４の領域のデータには、周波数２の格子と周波数３の格子が重なりあっており、この画像データをフーリエ変換すると周波数２と３の成分が出てくる。

この周波数の位相を解析すると、それぞれの波の位相を得ることができる。周波数の異なる波２つの位相から、位相接続することができ、２つの位相の差が２πになるまでの範囲を広げて解析できる。
本発明による位相解析方法は、物体のひずみ解析に適用できる。例として、平面内での面内１次元微小変形を考える。面外変形がなく、微小変形であるので、この場合も、格子のピッチはかわらず位相のみが変化すると考えることができる。ｘ方向のピッチをｐｘとすると、位相の変化量がΔΘのとき、ｘ方向の変位ｕは、数２０式で与えられる。

上記の位相の変化量は、次のようにして求める。変形を測定する物体に格子を描画する。そして、描画された格子を撮像する。撮像手段は先述のとおりの装置を用いることができる。

前記物体に描画された格子を撮像した画像のｘ方向Ｍｘ画素、ｙ方向Ｎｙ画素からなる長方形内（Ｍｘ、Ｎｙは２以上の整数）において、描画されている格子の位相が２ｍπ（ｍは整数）をＭｘ×Ｎｙ（＝Ｍ）等分されているように光学系を調節する。

物体に描画された格子を撮像した画像のｘ方向Ｍｘ画素、ｙ方向Ｎｙ画素からなる長方形内（Ｍｘ、Ｎｙは２以上の整数）において、描画されている格子の位相が２ｍπ（ｍは整数）をＭｘ×Ｎｙ等分した輝度値を得る。そして、得られた輝度値を用いて、前記長方形内における位相を数１８式により算出する。前記物体に描画された格子を撮像した画像の画素ごとに前記長方形の領域をずらして画素ごとに位相を求める。

次に、物体の変形後に、物体に描画された格子の変更後の模様を撮像する。前記物体に描画された格子の変形後の模様を撮像した画像の、ｘ方向Ｍｘ、ｙ方向Ｎｙ画素からなるＭｘ×Ｎｙ画素の長方形領域において、２ｍπをＭｘ×Ｎｙ等分した輝度値を得る。そして、得られた輝度値を用いて、変形後の前記長方形内における位相を数１８式により算出する。物体の変形後の格子模様を撮像した画像の画素ごとに前記長方形の領域をずらして画素ごとに位相を求める。

そして、前記物体の変形前後の各画素における位相差に基づいて物体面の変位を数２０式に基づいて算出することができる。

格子を描画する物体の面は平面に限らない。物体表面の面内での変位を測定するので、物体の表面が曲面であってもよい。

次に、射影変換の技術を用いる本発明の方法について説明する。
本発明は、射影変換を用いて変形格子を長方形格子や正方形格子に変換して位相解析を行なう形状および／または変形計測法に適用できる。

本発明は物体面の格子をカメラにより撮影して解析し、計測する方法に適用できる。本発明は、物体に投影された格子像あるいは、物体に描画された格子を撮像した画像の輝度データをもとに、高精度に位相値を求めることが可能となる位相解析方法に関する。そして、ＯＰＰＡ法に適用して、高精度に求めた位相をもとに、基準とする面からの物体面の高さを計測して物体面形状を計測するだけでなく、物体面に設けた格子模様をカメラによって撮影することにより、物体面の面内方向への変位を計測することもできる。
以下、本発明の実施形態を図面と共に説明する。

＜ＯＰＰＡ法＞
図１、図１７Ａ，図１７Ｂに示すように、格子投影法の一つであるモアレトポグラフィの光学系において、物体上に投影された格子２の画像は、物体の高さに関係なく、カメラ内の撮像面では一定の長さとなり、高さにより格子の位相だけが異なる（以下、「ＯＰＰＡ法」という。）。撮影した格子１ピッチの輝度データより位相を解析することにより、すべての画素の位相の解析が可能となる。

図１７Ａ，図１７Ｂにおいて、格子２は光源１である点光源Ｌと基準面Ｒあるいは計測面Ｍとの間に配置される。点光源Ｌから出射した光は、基準面Ｒでは例えば、光路Ａ―Ｅ−Ｃ―レンズ７−G(カメラ撮像面６Ｓ上)というように、カメラ撮像面６Ｓに到達する。
計測面Ｍの高さである基準面Ｒからの高さｈと基準面Ｒからの位相差Θ_Ｍの関係は、数２１式に示される関係があり、格子に平行な面のｘ，ｙ座標には関係しない。ここで、ｐ’は基準面Ｒでの格子２の影の格子のピッチ、ｚ_Ｒは光源１の点光源から基準面Ｒまでの距離、ｖは点光源とカメラレンズ中心の距離である。

この式において、位相差Θ_Ｍが２πとなるときの高さＨが計測可能範囲ダイナミックレンジを示し、数２２式で表される。

図１７Ａ，図１７Ｂのモアレトポグラフィの光学系はデジタルカメラ５を含む。デジタルカメラ５はカメラ撮像面６Ｓおよびカメラのレンズ７を有する。デジタルカメラ５において、デジタルカメラ５を見ると、カメラのレンズ７とのカメラ撮像面６Ｓは平行であり、デジタルカメラ５の光軸はレンズ面に垂直である。この図の場合、撮像面中心はカメラレンズ中心から右方向にずれている。すなわちレンズ７がシフトしている。このためカメラレンズ中心が撮像面中心に対してずれていない普通のカメラを使った場合は、計測範囲が狭くなる。計測範囲を広くしたい場合は普通のカメラは使えず、シフトレンズなどを使った特殊なカメラが必要となる。

このとき、基準面Ｒに投影された格子と、カメラ撮像面６Ｓに撮影された格子画像を図１８Ａ，図１８Ｂに示す。図１８ＡはＯＰＰＡ法により、基準面Ｒに投影した格子模様を示す図である。図１８ＢはＯＰＰＡ法により、基準面Ｒに投影した格子模様を撮影した等間隔の格子画像を示す図である（格子面に垂直な光軸をもつカメラから撮影したとき、カメラ撮像面６Ｓに撮像される格子模様）。

基準面Ｒ上で正方形である格子模様はカメラ撮像面６Ｓの画像面でも正方形となっており、１ピッチをＮ（例えばＮ＝９）画素に合わせると、計測面Ｍがどの高さにおいても１ピッチがＮ画素となり、計測面の高さにより、位相のみが異なる。そこで、ＯＰＰＡ法を用いて、１ピッチ（Ｎ画素）のフーリエ変換を行い、その部分の位相を求めると、高さｈがわかる。

図１９Ａ，図１９Ｂは本発明による光学系を示す図である（ＨＯＰＰＡ法）。本発明の実施形態における光学系において、カメラの光軸は格子２の格子面に対して傾いており、シフト機構を持たない普通のカメラを用いて、広範囲を撮影することができる。

図２０Ａは図１９Ａにおいて基準面に投影した格子を示す図である。図２０Ｂは基準面に投影した格子を、カメラで撮影した不等間隔の格子画像を示す図である（格子面に対して、光軸が斜め方向であるカメラから撮影したとき）。この場合、撮影した画像は図２０Ｂに示すように、１ピッチがＮ画素の正方形（ｘ，方向とｙ方向でＮの画素数が異なる長方形でも良い）とならず、４角形となっている。

この場合、図２０Ａと図２０Ｂの２つの格子画像は、ホモグラフィ変換などの射影変換により対応付けができる。射影変換は公知の数学的な変換方法である。この射影変換を用いると、図２１の左図に示すように、斜め方向のカメラから撮影した扁平した４角形の格子画像が、正方形の格子画像になる。これにより、公知のＯＰＰＡ法による位相解析が可能となる。この場合、格子画像は、基本的に整数画素ピッチの格子画像となっているため、ＯＰＰＡ法で使用する周波数１の基本周波数はかなり正確に抽出することができ、精度良い位相解析が可能となる。

つぎに、図２２Ａに示すように、基準面が格子面に対して平行に配置されていない場合を考える。図２２Ａに示されるように、基準面Ｒ’は格子２の格子面に対して平行に配置されていない。この場合も、図２３に示すように、射影変換により、左図の斜め方向の基準面Ｒ’に投影された格子２を撮影した格子画像が、右図に示される正方形の格子画像に変換される。１辺が整数Ｎ画素となる場所にある仮想基準面Ｒ’’に投影されている格子画像を作ることができる（図２２Ｂ参照）。このようにして撮影してもカメラに映った画像は基準面Ｒ’からの高さを表す。図７は基準面Ｒ’が傾いている場合の撮影した格子と射影変換した格子画像の例を示す図である。

図２４に示すように、カメラ撮像面６Ｄと基準面Ｒ’両方が格子２の格子面に平行でない場合も、撮影した画像を射影変換することにより、仮想基準面Ｒ’’の画像に変換することができ、計測面における位相解析を高精度に行なうことが可能となる。
格子２が正しく投影される仮想基準面Ｒ’’に対してずれた位置に置かれた実際の基準面Ｒ’に格子２が投影される。この基準面Ｒ’に投影された格子像をデジタルカメラ５で撮影し、そのカメラ撮像面６Ｄに記録される。物体３の物体表面に投影された格子模様はカメラ撮像面６Ｄで記録されるが、これを仮想基準面Ｒ’’で記録されたと考えても、位相は同じである。

カメラ撮像面６Ｄで記録された格子像を仮想基準面Ｒ’’に射影して、その位相を求めても良い。すなわち、カメラ撮像面６Ｄの画像を仮想基準面Ｒ’’の座標に変換して、位相を解析すればよい。これにより、仮想基準面Ｒ’’上では等間隔となり、位相のみが異なってくる。したがって、ＯＰＰＡ法による位相解析が可能となる。

射影変換の方法を用いる場合も、図４に示される計測装置を使用することができる。前述のとおり、１はＬＥＤ等のランプであり、光源に相当する。２は格子、３は計測対象の物体、４は載置台、５はデジタルカメラ、６は撮像素子、７はレンズ、８はコンピュータ、９は出力装置である。計測結果を得るだけであればコンピュータ８などに結果を記憶すればよいので、出力装置９はなくてもよい。また、ランプ１と格子２としては、市販の液晶プロジェクタなどのプロジェクタを用いてもよい。この場合、液晶表示素子等で格子を表示して格子２を形成する。プロジェクタを用いると、格子のピッチや格子線の方向を自在に変更することができる。

物体３をランプ１で照射すると、物体面に格子２の影が投影され、レンズ７を介してデジタルカメラ５の撮像素子６に影の像が映る。映った像はデジタルカメラ５からコンピュータ８に送られる。そして、コンピュータ８では、記憶されている本発明の方法を実現するプログラムにより前記像が解析されて計測値が得られる。得られた計測値はコンピュータ８に記憶されるとともに、必要であれば出力画像などに加工され、出力装置９に送られて出力される。出力装置は具体的には表示装置や印刷装置などである。

コンピュータ８には、公知の全空間テーブル化法を実行するためのデータテーブル８ａをメモリに記憶することも可能である。また、本発明に係るプログラムをコンピュータ８で実行することができる。また、本発明に係るプログラムを記録した記録媒体８ｂをコンピュータ８に装着することで、本発明に係る計測方法を実行することができる。
本発明に係る格子像の射影変換により格子像を変換する方法を、例えば、特許文献１や特許文献２に開示される計測方法および計測装置に適用し、計測対象物の形状あるいは変形を測定することができる。また、本発明は、特許文献１や特許文献２に限定されず、計測面での位相解析をもとに、計測対象物の形状あるいは変形を測定する方法や装置に適用できる。

基準面を載置台４の表面としても良く、載置台４の上に基準面を有する物体を載置しても良い。基準面と物体面があれば計測できるので、基準面の代わりに物体面を有した物体を置いても良い。また、ランプ１、格子２、物体３、載置台４、デジタルカメラ５を含んだ全体を横にした状態とし、横方向で物体面形状を計測することも可能であり、斜め方向で計測することも可能である。

上述したように、本発明によれば、精度良く解析するため、撮影した格子画像を座標変換により、格子ピッチが一定の整数画素となるように長方形格子や正方形格子に変換し、変換された格子画像をサンプリングモアレ法やＯＰＰＡ法により位相解析する。これにより、精度が良くなるだけでなく、撮影時に格子画像が長方形や正方形となるように光学系を調整する必要がなく、格子画像の撮影が容易になる。

ＯＰＰＡ法はモアレトポグラフィの光学系を用いている。この光学系は光源とカメラレンズ高さが格子面から同じ高さであり、さらに、基準面とカメラ撮像面が格子面に平行である必要があり制限が多かった。本発明の方法はこの制限を緩和し、光学系の融通性を広くするもので、格子画像が長方形や正方形となる仮想の基準面を使うことができ、カメラ撮像面は格子面に平行でなくても良い方法で、光学系の配置が容易になる。

基準面に投影された格子を斜め方向から撮影しても、撮影された格子画像と、カメラ撮像面が基準面に平行な場合の撮像面の画像とは１：１の対応関係があり、撮影された格子画像をホモグラフィ変換などの射影変換によりカメラ撮像面が基準面に平行な場合の撮像面の格子画像に対応付けることができる。

物体面に格子を投影した場合も同じ対応関係を使うことにより、撮像した画像から、カメラ撮像面が基準面に平行な場合の撮像面の画像を生成することができ、この格子画像の位相解析により高さを解析することが可能となる。すなわち、カメラ光軸が格子面に垂直でなくても、また、基準面の位置が正確に決まっていなくても、撮像した画像はすべて、ＯＰＰＡ法の１ピッチが整数Ｎ画素となる格子面に平行な仮想基準面の画像に対応させることができ、この対応した格子画像の位相を解析することにより。高さを求めることができるようになる。

サンプリングモアレ法においては、材料に描いた格子の位相を解析することにより、格子面の面内の変位を求めることができる。カメラの光軸が格子面に垂直でない場合は、撮影された格子画像の場所により、格子の１ピッチの長さが異なって撮影され、位相の解析が困難となり、誤差も大きくなる。ところが、本発明に係る射影変換を用いる方法により、撮影した画像を、１ピッチの間隔が整数Ｎ画素となる平面に対応付けておくと、特許文献１や特許文献２に開示されるＯＰＰＡ法による格子の位相の解析が簡単となり、精度も良くなる。

ＯＰＰＡ法を用いて形状計測を行なうモアレトポグラフィの光学系では、カメラ光軸は格子面に垂直であるなどの制限があり、カメラの光軸が対象物の中心にない場合は、カメラレンズをシフトさせる機構などが必要で制限があった。本発明を用いることにより、その制限が緩和され、光学系の組み方の自由度が増え、コンパクトな３次元形状計測装置となる。

サンプリングモアレ法において、カメラ光軸を格子面に垂直にしていない場合は、位相解析の誤差が大きくなるが、本発明により斜め方向からの撮影も可能となり、撮影の自由度が増え、計測が容易になる。このＯＰＰＡ法は、モアレトポグラフィの光学系を満足しないと形状計測ができなかった。すなわち、改良型のＯＰＰＡ法はその拘束を緩和するもので、カメラの光軸が格子面に対して垂直でなくても解析できる方法を提供できる。

従来のサンプリングモアレ法は１ピッチの画素数が整数からずれると位相解析の誤差が大きかった。カメラで撮影した格子画像を射影変換により１ピッチが整数となるように変換してから位相解析を行なうと位相の精度が良くなる。また、これにより、物体面に垂直な光軸方向から撮影した画像として得られ、ＯＰＰＡ法による位相解析が可能となる。

モアレトポグラフィの光学系は大きなものを撮影する場合、装置が大きくなる。逆に、対象物が小さい場合にはカメラとプロジェクタが近づきすぎ、その配置ができない。本発明の方法を用いることにより、コンパクトな装置を組むことができるようになる。

格子を描画する物体の面は平面に限らない。物体表面の面内での変位を測定するので、物体の表面が曲面であってもよい。

次に、対象物体の３次元形状データと対象物からのカラーデータを同時に取得する本発明の実施形態を説明する。
対象物を撮像するカメラとして、ＲＧＢ３板式のカメラを用いることができる。または、ベイヤー型の受光素子を備えた単板式のカメラを用いることができる。

３ＣＣＤなどのＲＧＢ３板式のカメラの場合（図２５を参照）は、それぞれの輝度情報から上述の位相解析方法を採用して形状を計測すれば良い。図２５に示す計測装置は、分光手段１０により分光された光成分を、３つの撮像素子６Ｒ，６Ｇ，６Ｂで受光する。ＲＧＢそれぞれの光の受光成分により、形状が独立して求められる。この場合は、それぞれの形状データを平均化すれば精度良い結果が得られる。なお、ＲＧＢそれぞれの形状データは上述の位相解析の方法を用いることができる。

上述の計測方法において一実施形態として、ＲＧＢ３板のカメラを用いることができる（図２５参照）。例えば、図１０のように３×３（９画素）で、ＲＧＢのそれぞれの９画素の平均値を求めると、格子の影響がなくなり、その物体の色が得られる。高画質の３Ｄ画像がリアルタイムで得られるため、用途が広く、医療、美容、服飾関連、スポーツ、芸術、コンピュータグラフィックスなどの分野で活用できる。

本発明の一実施形態では、カラーカメラ１台を用いて３次元形状とそのカラー情報とを取得する。１台のカラーカメラがベイヤー型の単板式のものであると、よりコンパクトでコストを抑えた計測装置を構成できる。
一般に、デジタルカメラやビデオカメラ、スキャナなどは撮像素子を使ってカラー画像を記録する。これらの機器に用いられているシングルチップのＣＣＤイメージセンサなど、単板式デジタル撮像素子はほとんどがベイヤー配列のカラーフィルターを採用している。ベイヤー配列には緑（Ｇ）・青（Ｂ）・赤（Ｒ）のフィルタがそれぞれ２：１：１の比率で含まれている。

ベイヤー型の受光素子を有するカメラにおいて、その受光素子は、図２６に示すように、Ｒ（赤），Ｇ（緑），Ｂ（青）それぞれの画素が千鳥パターンのように並んでいる。そのため、ＲＧＢのデータを別々に取り出さない場合は、物体の色により輝度が異なるので、本発明による正確な形状計測はできない。また、ＲＧＢそれぞれの画素を別々に取り出すと、他の色の画素はデータが無いことになり、連続的なデータが得られず、位相解析ができなかった。

特許文献１と特許文献２に開示される方法は、ｘ軸，ｙ軸に平行な格子線の場合は９×１画素、あるいは、勾配が１／３の斜めの方向の格子を使う場合は、３×３画素などの連続する輝度データを使用して位相解析を行なっている。
サンプリングモアレ法の場合は連続する数画素の輝度データを間引いたり補間したりして位相シフト画像を作り、位相計算をしている。

ベイヤー型の単板式のカメラは図２６に示すように、Ｒ，Ｇ，Ｂそれぞれの画素が千鳥パターンのように並んでいる。勾配が１／３の格子を使う場合、図２７に示すように、この１部分を取り出す。そして、図２８に示すように、領域Ｗａの画素データを除外し、それぞれの奇数行と奇数列の輝度データを用いると同じ色の輝度データのみとなる。そして、この９個の輝度データを用いて特許文献２に開示される位相解析方法により位相解析を行なうことができる。

すなわち、従来の方法では、１ピッチ９画素となるように設定していた特許文献１や特許文献２に開示される方法を、１ピッチ１８画素とし、光源光として、ＲＧＢ成分を含む光源光、例えば、白色光を用いる。
位相解析にあたっては、１７×１画素または、各画素の周り５×５画素の輝度データより、ｘ，ｙ方向に１画素ずつ飛ばすと同じ色の９画素となり、それぞれ位相が２π／９だけ異なっている。これを用いれば、特許文献１や特許文献２に開示される方法による位相解析が可能となる。ＲＧＢを分離しなくても、周辺の５×５画素の奇数行および奇数列のデータを用いて位相解析を行なえばよい（図２８参照）。

特許文献２に開示される方法で位相解析する場合、ベイヤー型の撮像素子で撮像した画像に対して、６×６画素を取り出さなくても（図２６参照）、５×５画素を取り出し（図２７参照）、その奇数行、奇数列のデータを取り出す（抽出する）と同じ色のフィルタを持つ画素となる（図２８参照）。図２６に示すように、縦と横の番号１〜６で特定される画素から、Ｒ、Ｇ、Ｂに対応する５×５画素を取りだす。
図２８に示すように、この９個のデータより、位相解析を行い、その結果を、前記の抽出した複数の画素のうちのいずれかの画素、例えば、中央の画素の位相とする。この操作を１画素ごとに繰り返していくと位相分布を求めることができる。
なお、位相分布はフィルタの色で変わることがないので、異なるフィルタで得られた位相分布を合成することが可能である。

ここで、５×５画素の輝度データの奇数行、奇数列の９画素の輝度データより、位相を解析する方法を説明したが、３×３画素、７×７画素、９×９画素、・・・、３×５画素、３×７画素、・・・、５×３画素、５×７画素、・・・などいろいろな組み合わせが考えられる。この中での奇数行奇数列を取り出して、その各画素の位相が順番に並べられた場合に、ちょうど等間隔で２πまで変わるように格子線の方向を斜めに向けて投影しておけばよい。このデータより位相解析を行い、その位相値を中央の画素に割り当て、それを全ての画素に対して行なうことで、位相分布が得られる。これにより、３次元形状計測ができる。なお、全ての画像ではなく、形状データやカラーデータを必要とする領域の画素のみに限定して処理してもよい。

射影変換を用いて格子を補間するＨＯＰＰＡ法の場合は、まず、ＲＧＢの各成分を抽出して９画素１ビッチとなるように射影変換する。つまり、特許文献２に開示される方法で解析する場合は、撮影した画像を、Ｒ，Ｇ１，Ｇ２，Ｂを４枚の画像に分離し、画像全体において、９画素１ピッチとなるように射影変換（ホモグラフィ変換）により割り付けてから、それぞれの画像に対して位相解析を行なう。
すなわち、ＲＧＢそれぞれ単色のデータを取り出し、そのデータを、射影変換後の座標に割り付ける。ベイヤー配列のＲＧＢを図２８に示すように分離し、４つの５×５画素の奇数行の輝度データ９個を用いて位相解析を行い、その結果を中央の画素の位相とする。領域Ｗａのデータを用いない。つまり、射影変換された画像に対して、例えば、図２８に示すように、３×３画素を取り出して、この９個のデータより、位相解析を行い、その結果を中央の画素の位相値として割り当てる。この操作を１画素ごとに繰り返していくと位相分布が求められる。なお、位相分布はフィルタの色で変わることがないので、異なるフィルタで得られた位相分布を平均化して合成することにより、精度の良い位相分布が求められる。ベイヤー配列の撮像素子を用い、ＲＧＢの画素データを抽出し、位相解析や色情報を取得する処理は、コンピュータ８によって行うことができる。
なお、１板式あるいは３板式の１台のカメラを用いて、対象物の表面の形状データとカラーデータとを同時に計測してもよいし、２枚の撮像画像を時差で撮影し、１枚目の撮像画像のデータを用いて形状データを計測し、２枚目の撮像画像のデータを用いてカラーデータを計測してもよい。また、形状データのみの計測、あるいは、カラーデータのみを計測の用途にも適用できる。

１ 光源
２ 格子
３ 物体
４ 載置台
５ デジタルカメラ
６ 撮像素子
６Ｒ Ｒ撮像素子
６Ｇ Ｇ撮像素子
６Ｂ Ｂ撮像素子
６Ｓ カメラ撮像面
６Ｄ カメラ撮像面
７ レンズ
８ コンピュータ
８ａ データテーブル
８ｂ 記録媒体
９ 出力装置
１０ 分光手段
Ｌ 光源の位置
Ｖ カメラレンズの中心
Ｒ 基準面の点
Ｒ’ 基準面の点（基準面が格子面に対して平行ではない場合）
Ｒ’’ 仮想基準面（格子１ピッチが整数Ｎ画素となる面）
Ｓ 物体面の点
Ｃ ｚ軸と格子面の交点
Ｅ 格子の原点
Ｑ 光源から点Ｒへの光が格子面を通過する点
Ｇ 光源から点Ｓへの光が格子面を通過する点
Ｂ 物体面における点Ｓをｚ軸に垂直に投影した点
Ｐ 光源から点Ｒへの光が、物体面の点Ｓからｚ軸に垂直に投影した線を横切る点
Ｉ 基準面における点Ｒをｚ軸に垂直に投影した点
Ｗａ 領域

Claims (6)

1. モアレトポグラフィ光学系において、ベイヤー配列のＲＧＢを受光する２次元撮像素子を備えたカメラを用い、ＲＧＢ成分を含む光源光を用い、格子を用い、前記光源光により３次元物体に投影された前記格子の格子模様を撮像し、前記３次元物体の表面の形状データを取得する計測方法であって、
   前記格子模様の画像からＲＧＢ成分ごとに奇数行と奇数列の各画素を抽出し、前記抽出した各画素の位相が前記各画素を順番に並べた場合に、等間隔で２πまで変わるように前記格子の格子線の方向を、前記カメラの前記２次元撮像素子の画素の配列方向に対して斜めに向けて投影する工程と、
   前記物体に投影された格子模様を撮像する工程と、
   前記ＲＧＢ成分ごとに前記抽出した各画素の位相を用いて位相解析を行い、位相解析により求められた位相を前記抽出した各画素のうちのいずれかの画素の位相とする工程と、
   前記いずれかの画素の位相を求めることを前記撮像した前記格子模様のうちの少なくとも前記形状データを求める画素に対して行い位相分布を求める工程と、
   前記求めた位相分布を用いて前記３次元物体の形状データを求める工程と、
   を含む、
   前記３次元物体の表面の形状データを取得する計測方法。
2. ベイヤー配列のＲＧＢを受光する２次元撮像素子を備えたカメラを用い、ＲＧＢ成分を含む光源光を用い、前記光源光により３次元物体に描画された格子の格子模様を撮像し、前記３次元物体の表面の変位データを取得する計測方法であって、
   前記格子模様の画像からＲＧＢ成分ごとに奇数行と奇数列の各画素を抽出し、前記抽出した各画素の位相が前記各画素を順番に並べた場合に、等間隔で２πまで変わるように前記格子模様の格子線の方向を、前記カメラの前記２次元撮像素子の画素の配列方向に対して斜めに向けて前記３次元物体に描画された格子模様を撮像する工程と、
   前記抽出した各画素の位相を用いて位相解析を行い、位相解析により求められた位相を前記抽出した各画素のうちのいずれかの画素の位相とする工程と、
   前記いずれかの画素の位相を求めることを前記撮像した前記格子模様のうちの少なくとも前記変位データを求める画素に対して行い位相分布を求める工程と、
   前記位相分布を前記３次元物体の変形の前と後で求め、前記物体の変形前後の位相差に基づいて物体面の変位を求める工程と、
   を含む計測方法。
3. 前記モアレトポグラフィ光学系において、前記カメラの撮像面が前記格子と平行ではない場合、前記抽出された画像に対して射影変換を行う工程を含む請求項１または２に記載の計測方法。
4. 前記請求項１乃至２のいずれか一つの計測方法を行う計測装置。
5. 請求項１乃至３のいずれか一つの計測方法を実行する計測プログラム。
6. 請求項５に記載の計測プログラムを記憶した、コンピュータ読み取り可能な記録媒体。

Images