JP5956218B2 - 形状計測装置、形状計測方法及び形状計測装置における校正処理方法 - Google Patents

形状計測装置、形状計測方法及び形状計測装置における校正処理方法 Download PDF

Info

Publication number
JP5956218B2
JP5956218B2 JP2012078443A JP2012078443A JP5956218B2 JP 5956218 B2 JP5956218 B2 JP 5956218B2 JP 2012078443 A JP2012078443 A JP 2012078443A JP 2012078443 A JP2012078443 A JP 2012078443A JP 5956218 B2 JP5956218 B2 JP 5956218B2
Authority
JP
Japan
Prior art keywords
light source
phase
dimensional
pitch
grating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012078443A
Other languages
English (en)
Other versions
JP2013205407A (ja
Inventor
吉春 森本
吉春 森本
明大 柾谷
明大 柾谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4D Sensor Inc
Original Assignee
4D Sensor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4D Sensor Inc filed Critical 4D Sensor Inc
Priority to JP2012078443A priority Critical patent/JP5956218B2/ja
Publication of JP2013205407A publication Critical patent/JP2013205407A/ja
Application granted granted Critical
Publication of JP5956218B2 publication Critical patent/JP5956218B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、物体の形状計測を非接触且つ高精度で行い得る形状計測装置、形状計測方法及び形状計測装置における校正処理方法に関する。
従来、物体や人体等の計測対象物体の形状を非接触且つ三次元的に計測する方法として、位相シフト法を用いた方法がある。位相シフト法は、位相を変化させながら格子画像や干渉縞画像を1台のカメラで順次撮影し、これら位相を変化させた複数枚の格子画像や干渉縞画像に基づいて格子の位相分布を求めるものである。
位相シフト法を用いた方法として、例えば、カメラとプロジェクタを用いて、これらのカメラ又はプロジェクタのレンズ収差の影響を受けることなく高精度な形状計測を行うために、格子が描かれた基準平板の画像からカメラ又はプロジェクタのレンズ中心座標を算出するのではなく、複数の基準面における各基準面に固定された二次元格子から、カメラの画素毎の視線が通る光路と、プロジェクタから投影される光の光路とをそれぞれ全て求めて、これらの光路の交点として空間座標を算出する形状計測方法及び形状計測装置が知られている(例えば、特許文献1参照)。
また、カメラとプロジェクタを用いて複数の基準面を基に物体の形状計測を行う別の技術がある。例えば、互いに直交するX、Y軸平面を有する基準面を、基準面の法線方向(即ち、X、Y軸平面に垂直なZ軸方向)に所定の間隔で複数設定しておき、計測すべき物体を当該複数の基準面のうち、両端に位置する基準面の間に配置し、その後、物体の表面上の点Sの座標を求めるために、物体上の点Sを撮影するカメラの視線と物体上の点Sを通るプロジェクタからの光線の各々が当該複数の基準面にそれぞれ交わる点を算出し、カメラの視線上の当該交わる点からなる直線と、プロジェクタからの光線上の当該交わる点からなる直線との交点を求め、この交点のZ座標からその点に最も近接した2つの基準面を選出し、選出した2つの基準面を用いて物体の形状を計測する技術が知られている(例えば、特許文献2参照)。
他方、カメラとプロジェクタを用いて複数の基準面を基に物体の形状計測を行う更に別の技術として、X、Y軸平面を有する基準面をその法線方向に微小量ずつ平行移動させたときの複数の基準面について、所定の二次元パターンや空間分割パターンを利用することにより、物体に投影する空間分割パターンの輝度分布が余弦波状でなくても、さらには物体に投影する空間分割パターンのピッチが不等間隔であっても、精度良く形状計測を行い得る形状計測装置が知られている(例えば、特許文献3参照)。
また、格子模様を投影するための一列に並んだ3以上の光源、及び投影用光を通過させて格子模様を形成する格子模様プレートを有する投影装置(プロジェクタ)により格子模様を光源切り替えによって位相シフトさせて投影し(このような光源切替方式の位相シフト法を、光源切り替えで等間隔に位相をステッピングさせることから「光ステッピング法」とも称している。)、それぞれの格子模様の位相と三次元空間座標とを1対1に対応づける表あるいは近似式を用いて計測対象の形状を決定する形状計測装置が開示されている(例えば、特許文献4参照)。
特許第2913021号明細書 特許第3446020号明細書 特許第4873485号明細書 特開2011−242178号公報
上述の特許文献1〜3に開示される技術では、位相シフトを行うための格子を描いた基板(格子基板)の移動機構を用いることが代表的な実施形態として考えられる。例えば、特許文献1に開示される技術では、位相シフトを行うために格子基板を移動機構上に設けて格子基板を機械的に移動させることになる。この移動機構は、例えばピエゾステージ等で構成され非常に高価なものとなるだけでなく、格子の位相シフトを高速に行うことに不向きであり、高速で移動する物体の形状を計測することが困難な構成要素となる。
また、上述の特許文献4の技術において、全空間テーブル化技法は投影した格子の位相と計測対象物体の高さzの関係が単調増加であれば、予め画素ごとに、格子模様の位相と高さzを含む三次元空間座標の関係を表あるいは近似式にしておくと(以下、この表又は近似式を用いて三次元空間を校正する技法を「全空間テーブル化技法」と称する)、位相から高さzの値を求めることができる。LEDを用いた光源切替位相シフト法は位相シフト量が格子からの距離にほぼ比例するため、2πを整数で分割した値とならず、普通の2πを整数Nで分割する位相シフト法で解析した位相値は誤差を持つが、全空間テーブル化技法と組み合わせることにより、この誤差を打ち消すことができる。しかし、上述の特許文献4の技術では、全空間テーブル化技法を用いたとしても実際の位相シフト量として2π/Nの値からのずれが大きいほど精度が悪くなり、位相解析できる計測距離の範囲(位相変化と高さzの関係が単調増加である範囲)も狭くなる。
本発明は、上述の問題に鑑みて為されたものであり、本発明の目的は、広いダイナミックレンジの計測距離の範囲で物体の形状計測を可能とする形状計測装置、形状計測方法及び形状計測装置における校正処理方法を提供することにある。
本発明では、新たに整数Mを導入し、位相シフト量が2πM/Nとなる場合も採用して、正確に位相解析できる場所を増やすことにより、広い範囲で全空間テーブル化技法を適用できるようにする。
即ち、本発明の形状計測装置は、計測対象物体の形状を非接触で計測する形状計測装置であって、複数種の位相シフト回数に対応する少なくとも3つの等間隔に配置された点光源あるいは直線状光源からなる光源アレイと、前記少なくとも3つの等間隔と同じ方向に等間隔に並んだ直線からなる光透過領域を有する格子プレートと、前記少なくとも3つの光源の順次点灯により前記一次元格子がそれぞれ投影される計測対象物体を撮影するカメラと、前記少なくとも3つの光源のうち、計測距離の範囲に応じてN(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に、当該投影する一次元格子の位相シフトを行う光源を決定し、当該決定した各光源を順次点灯してそれぞれ前記計測対象物体上に投影される一次元格子を撮影するよう前記カメラを制御し、前記決定した各光源による前記計測対象物体上に投影された前記一次元格子の位相を前記カメラの画素ごとにそれぞれ算出し、前記N倍の光源ピッチとM倍の格子ピッチの組み合わせに応じて予め前記画素ごとに用意した前記一次元格子の位相と三次元空間座標とを1対1に対応づける表又は近似式を基に前記計測対象物体に関する三次元空間座標を求める制御ユニットと、を備えることを特徴とする。
また、本発明の形状計測装置において、前記制御ユニットは、前記計測距離の範囲として、前記少なくとも3つの光源を配列した直線上の1点を原点として、前記格子プレートのそれぞれの光透過領域の配列方向をX軸、前記光透過領域の直線をY軸、及び前記格子プレートの格子面の法線方向をZ軸とし、前記光源アレイの原点から前記計測対象物体の表面までの前記Z軸方向の距離をz、前記光源アレイの各光源の間隔をl、前記光源アレイの原点から前記格子面までのZ軸方向の距離をd、前記一次元格子の間隔をpとしたとき、後述する式(22)に基づいて、前記(N,M)の組み合わせを決定することを特徴とする。
また、本発明の形状計測装置において、前記N(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に決定した計測距離の範囲について、前記一次元格子の位相と前記三次元空間座標とを1対1に対応づける表又は近似式を基に前記計測対象物体に関する高さ座標を当該計測対象物体の形状の計測前に予め記憶保持する手段を更に備えることを特徴とする。
さらに、本発明の形状計測方法は、複数種の位相シフト回数に対応する少なくとも3つの等間隔に配置された点光源あるいは直線状光源からなる光源アレイと、前記少なくとも3つの等間隔と同じ方向に等間隔に並んだ直線からなる光透過領域を有する格子プレートと、前記少なくとも3つの光源の順次点灯により前記一次元格子がそれぞれ投影される計測対象物体を撮影するカメラと、制御ユニットとを備える形状計測装置によって、計測対象物体の形状を非接触で計測する形状計測方法であって、前記制御ユニットは、前記少なくとも3つの光源のうち、計測距離の範囲に応じてN(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に、当該投影する一次元格子の位相シフトを行う光源を決定するステップと、当該決定した各光源を順次点灯してそれぞれ前記計測対象物体上に投影される一次元格子を撮影するよう前記カメラを制御するステップと、前記決定した各光源による前記計測対象物体上に投影された前記一次元格子の位相をそれぞれ算出し、前記N倍の光源ピッチとM倍の格子ピッチの組み合わせに応じて予め前記画素ごとに用意した前記一次元格子の位相と三次元空間座標とを1対1に対応づける表又は近似式を基に前記計測対象物体に関する三次元空間座標を求めるステップと、を含むことを特徴とする。
さらに、本発明の形状計測装置における校正処理方法は、複数種の位相シフト回数に対応する少なくとも3つの等間隔に配置された点光源あるいは直線状光源からなる光源アレイと、前記少なくとも3つの等間隔と同じ方向に等間隔に並んだ直線からなる光透過領域を有する格子プレートと、前記少なくとも3つの光源の順次点灯により前記一次元格子がそれぞれ投影される計測対象物体を撮影するカメラと、制御ユニットとを備える形状計測装置における校正処理方法であって、(A)計測対象物体に関する計測距離の範囲を決定するステップと、(B)当該計測距離の範囲における格子ピッチ、光源ピッチ及びN(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを決定するステップと、(C)前記決定した格子ピッチ及び光源ピッチを基に、前記光源アレイ及び前記格子プレートを配置するステップと、(D)前記格子ピッチ、前記光源ピッチ及び前記(N,M)の組み合わせを基に決定される複数の高さ座標zのうちの1つ高さ座標zの位置に、二次元平面座標x,yを有する所定の基準面を配置するステップと、(E)前記制御ユニットにより、前記格子ピッチ、前記光源ピッチ及び前記(N,M)の組み合わせを基に決定される複数の光源のうちの1つの光源を点灯し、前記基準面上に一次元格子の像を投影するステップと、(F)前記カメラにより、前記基準面上に投影した一次元格子の像を撮影するステップと、(G)前記制御ユニットにより、前記格子ピッチ、前記光源ピッチ及び前記(N,M)の組み合わせを基に決定される複数の高さ座標zのすべてについて、前記ステップ(D),(E),(F)を繰り返し、当該撮影した前記一次元格子の像から算出する位相のうち前記基準面の高さ座標zに対して1:1の対応関係がある位相の値を前記カメラの画素ごとに算出するステップと、(H)前記制御ユニットにより、前記カメラの画素ごとに前記基準面における二次元平面座標x,yを算出し、前記カメラの画素ごとに該位相の値に対応する当該高さ座標z及び二次元平面座標x,yからなる三次元空間座標の表又は近似式をそれぞれ作成し、記憶保持するステップと、を含むことを特徴とする。
本発明によれば、広いダイナミックレンジの計測範囲で高速且つ高精度に計測対象物体の形状計測を行うことができるようになる。
本発明による一実施形態の形状計測装置の構成とその動作原理を示す図である。 (a),(b)は、本発明による一実施形態の形状計測装置における光源アレイと格子プレートの配置例を示す図である。 (a),(b),(c)は、本発明による一実施形態の形状計測装置に係る格子(干渉縞)の輝度と位相分布の一例を示す図である。 本発明による一実施形態の形状計測装置に係る位相シフト量と輝度との関係を示す図である。 本発明による一実施形態の形状計測装置に係るカメラの或る1画素における位相と高さの関係を示す図である。 本発明による一実施形態の形状計測装置に係る全空間テーブル化技法におけるカメラの或る1画素の位相と三次元空間座標の関係を示す図である。 本発明による一実施形態の形状計測装置に係る多数の基準面を用いた全空間テーブル化手法におけるカメラのある1画素の位相と計測対象物体の高さ(計測位置)の関係を示す図である。 本発明による一実施形態の形状計測装置における制御ユニットのブロック図である。 本発明による一実施形態の形状計測装置における動作フローの一例を示す図である。 本発明による一実施形態の形状計測装置に係る位相シフト量が2π/Nとなる計測位置zの値についてNの値を種々変えた場合の一例を示す図である。 本発明による一実施形態の形状計測装置に係る計測距離の範囲(計測する高さzの範囲)に応じて原点OからN倍の光源ピッチlの位置と、原点OからM倍の格子ピッチpの位置に関する組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせの一例を示す図である。 本発明による一実施形態の形状計測装置に係る位相シフトを行う光源を決定するための計測距離の範囲の一例を示す図である。 本発明による一実施形態の形状計測装置に係る光源を切り替えたときの或る1点に集まる光線の例を示す図である。 本発明による一実施形態の形状計測装置に係るN倍の光源ピッチlと、M倍の格子ピッチpの組み合わせ例を示す図である。 本発明による一実施形態の形状計測装置に係る三次元形状データの計測例を示す図である。
以下、本発明による一実施形態の形状計測装置について、それぞれ図面を参照して説明する。
〔装置構成〕
図1は、本発明による一実施形態の形状計測装置1の構成とその動作原理を示す図である。本実施形態の形状計測装置1は、計測対象物体21の三次元形状を計測する装置であり、等間隔且つ一列に並べられた5つの光源L−2,L−1,L,L及びLからなる光源アレイ11と、一次元格子からなる格子面を有する格子プレート12と、カメラ13と、制御ユニット50とを備える。
X軸、Y軸及びZ軸からなる座標点x、y、zで三次元空間を規定するために、光源アレイ11を構成する5つの光源L−2,L−1,L,L及びLのうちのいずれかの光源の位置(図1に示す例では、Lの位置)を原点O(即ち、x=0、y=0、z=0)とし、格子プレート12のそれぞれの光透過領域12bの配列方向をX軸、光透過領域12bの直線をY軸、及び格子プレート12の格子面の法線方向をZ軸とする。計測対象物体21は、Z軸方向に配置される。尚、原点Oの位置は、光源アレイ11における両端の光源間の中央位置として規定することもできるが、ここでは5つの光源のうちのいずれかの位置を原点Oとする。
光源アレイ11は、5つの光源L−2,L−1,L,L及びLを等間隔に直線状に配列した構成となっている。図1では、光源アレイ11として、X軸方向に等間隔で配列した5つの光源からなる例を代表的に説明するが、少なくとも3つ以上の光源であればよく、後述する広いダイナミックレンジの計測範囲とするべく9つ以上の光源とするのが好適である。また、光源として発光ダイオード(LED)を用いており、各LEDは線光源又は点光源として構成することができる。即ち、LEDチップの出力は小さいため、複数のLEDチップをY軸方向に並べてY軸に対して平行となる線光源とし、この各線光源をX軸方向に等間隔で配列して5つの光源L−2,L−1,L,L及びLを構成することができる。更に、複数のLEDチップを集約して1つの点光源とすることもできる。例えば、図2(a)に示すように、各光源は、複数のLEDチップ11cをY軸方向に配列し、必要に応じて指向性レンズ11dを設けることで線光源として構成することができる。また、図2(b)に示すように、各光源は、複数のLEDチップを集約して1つの点光源として構成することができる。また、5つの光源間の間隔はlである。以下、5つの光源L−2,L−1,L,L及びLを含むz=0の面(X軸及びY軸からなるX、Y軸平面に平行でz=0となる面)を「光源面」と称する。つまり、光源アレイ11上から計測対象物体21の表面までのZ軸方向の距離をz(換言すれば、光源面からZ軸方向の位置を「高さ」を表す座標点z)とすることができる。
格子プレート12は、5つの光源L−2,L−1,L,L及びLを配列した方向(図1及び図2に示す例では、X軸方向)に対して垂直方向(即ち、Y軸方向)の直線からなる光透過領域12bを光遮蔽領域12aに対して等間隔で並べて構成された一次元格子の格子面を有する。例えば、格子プレート12は、透明のガラス又はプラスチック材の表面に黒色の一次元格子の格子面を印刷することで構成することができるほか、光を遮蔽する部材(光遮蔽領域12a)にスリット(光透過領域12b)を設けて構成することもできる。この格子プレート12は、光源アレイ11から照射された光が格子プレート12を通過することにより、一次元格子が計測対象物体21上に投影されるように構成されている。一次元格子を構成する各光透過領域12bの格子間隔はpであり、図1に例示する態様では光源面と格子面は平行であり、光源面と格子面との間隔はdである。また、一次元格子を構成する各光透過領域12bの中央位置のうちZ軸からの距離が最短なものを基準点E(位相φ=0)とし、格子プレート12の格子面とZ軸との交点をCとする。尚、当該投影される一次元格子の輝度分布は余弦波状である必要がある。このため、格子プレート12上の輝度分布(透過率分布)が矩形波状であっても、距離dの位置に設けた光源アレイ11の光源から照射された光によって計測対象物体21に投影される一次元格子は、カメラ13による撮像画像上において、ほぼ余弦波状になる。尚、厳密に余弦波とならなくともよい。特に、後述する全空間テーブル化技法を使うことによりその誤差を打ち消すこともできる。このような光源アレイ11及び格子プレート12によって、一次元格子を投影するプロジェクタ15が構成される。
以下の説明では、これらの光源L−2,L−1,L,L及びLの明るさ分布が観測範囲内でz=一定のx,y方向に対して、均一で等しいと仮定する。尚、均一でない場合は、その分布を係数として考慮すればよい。
本実施形態では、図2(a)に示すように、各光源をX軸方向に等間隔で配列して5つの光源L−2,L−1,L,L及びLを構成する光源アレイ11と格子プレート12をX、Y軸平面で平行となるようにZ軸方向に配置している。ただし、光源アレイ11をz=0のX、Y軸平面内において原点Oを中心にしてX軸に対して傾けて配置することができる。つまり、光源アレイ11は、X軸に対して平行である必要はない。この場合、上記の説明における5つの光源間の間隔lとしては、X軸方向(即ち、一次元格子を構成する光透過領域12bの直線に垂直な方向)の光源間の間隔(即ち、5つの光源間の間隔のX軸方向の成分)を用いる。光源間の間隔を物理的に狭めることは困難であるが、上記のように光源アレイ11をX軸に対して傾けることにより、X軸方向の光源間の間隔を容易に狭めることができるようになる。また、格子プレート12は、光透過領域12bの直線がY軸に平行であればよい。
また、図1において、光源アレイ11以外の構成の配置をX軸、Y軸、Z軸の三次元空間で全て固定した状態で、z=0の面内において、光源アレイ11を構成する光源L−2,L−1,L,L及びLの各々を、Y軸方向の任意の位置に配置することもできる。つまり、光源アレイ11を構成する光源L−2,L−1,L,L及びLは、X軸方向の距離成分として等間隔に並んでいればよい。
図1を参照するに、カメラ13は、5つの光源L−2,L−1,L,L及びLのうちの1つの点灯によってそれぞれ一次元格子が投影された計測対象物体21を撮影する。カメラ13としては、CCDセンサーやCMOSセンサー等を使用したものとすることができる。x、y座標については、例えばフーリエ変換格子法により、X軸方向及びY軸方向の位相をそれぞれ求め、更に位相接続を行うことにより、各点におけるx座標及びy座標をそれぞれ得ることができる(例えば、特許第3281918号明細書参照)。
尚、光源と格子プレート12との間や、格子プレート12と計測対象物体21との間に、レンズ等の像の拡大や縮小を行う部材を配置することもできる。
次に、位相シフト法に関する説明を基に、本発明に係る一実施形態の形状計測装置1について詳細に説明する。
(位相シフト法)
まず、格子投影法による形状計測において、格子縞の位相解析を行うことは物体の形状や変形を高精度に解析するために非常に有効である。一般に一点の位相を解析するには、位相シフト法が使われている。最もよく使われている一般の位相シフト法は、1周期2πをN等分(Nは3以上の整数)した2π/Nずつ位相をシフトさせる位相シフト法が使われている。しかし、位相シフトを高精度に行うためにピエゾステージ等の移動ステージを用いた位相シフト装置を用いるとすると、この移動ステージは非常に高価となるだけでなく、位相シフト速度も高速にすることは困難で高速で移動する物体の計測には使えない。
そこで、光源として複数のライン状のLED光源を用い、1ラインごとに順次点灯することにより、その前においた格子の影を位相シフトさせる技法が開示されている(例えば、特許文献4参照)。この場合、移動する部品がなく電子的にスイッチを切り替えるだけなので、高速・高精度・安価・コンパクト・高安定性の形状計測装置となる。しかしながら、このような光源切り替えにより位相シフトを実現する場合、位相シフト量が光源からの距離により単調増加で変わることになり、従来の位相シフト量を用いた計算は誤差を持ち厳密でなくなる。ただし、特許文献4に開示されるように、全空間テーブル化技法を用いると、位相シフト量からではなく位相から距離を求めるようにすることで所定の解析範囲内であればその誤差を打ち消して使用できる。しかしながら、この全空間テーブル化技法により誤差を打ち消すことができる範囲は、位相シフト量が2π/Nからあまりずれない範囲である。即ち、この詳細については特許文献4に開示されているが、全空間テーブル化技法により誤差を打ち消すことができる範囲は、厳密には解析で得られた誤差を持つ位相と高さzとの関係が1価関数となる範囲である。
このため、特許文献4に開示される技法では、光源切り替えによる位相シフトの利点を生かしながらも、計測距離の範囲としてダイナミックレンジが狭い装置となっていた。そこで、本発明に係る形状計測装置1では、複数種の位相シフト回数に対応する光源の数、光源ピッチ、及び格子プレートの格子ピッチを構成し、計測距離の範囲(計測する高さzの範囲)に応じて位相シフトを行う光源の切り替え点灯を制御し、計測距離の範囲に応じた位相シフト回数とこれによって投影される位相との関係を求め、この位相から計測対象物体21の高さzを求めるようにすることで、広いダイナミックレンジの計測距離の範囲を持つように構成した。以下、より具体的に、その計測原理について説明する。
(格子画像と位相との関係)
図3(a)に示すように、格子や干渉縞の輝度I(x,y)は一般に空間(x,y)上に余弦波状に分布している。これを式で表すと式(1)のようになる。
ここで、点(x,y)は撮影された画像内の一点で、a(x,y)及びb(x,y)は、それぞれ輝度振幅及び背景輝度を表し、φ(x,y)は格子の位相を表す。
カメラ13で撮像した格子画像に関して、格子線や縞の中心位置を求める画像処理により計測対象物体21の形状計測を行うことも考えられるが、この場合、位相が0又はπとなる画素位置を求めて形状解析することになり、位相が0又はπとなる画素位置間の距離を密にすることができない箇所が生じ精度が悪い。したがって、カメラ13で撮像した格子画像に関して位相解析を行うようにすることで、すべての画素位置で位相を実数値で解析することができるようになり、大幅に精度が向上する。
格子画像の場合、位相は実数全体で表すことができるが、計算機で出力される位相は、−πからπまでの2π周期の繰り返しである。図3(b)は位相の分布を−πからπまでの繰り返しとして表現したもので、図3(c)は位相の分布を実数全体として表したものである。図3(b)の位相をラッピングされた位相と呼び、θ(−π≦θ<π)で表現する。図3(c)の位相をアンラッピングされた位相または連続化された位相、位相接続後の位相と呼び、φで表現する。このφから、幾何学的な関係を用いて、あるいはキャリブレーションにより、三次元空間座標や変位や歪みの計算を行うことができる。
(位相シフト法による形状計測に関する位相の抽出)
式(1)は未知数がa(x,y),b(x,y),φ(x,y)の3つであるので、基本的には3つ以上の独立した実験データがあれば未知数を決定できる。位相シフト法は、格子の位相を一定間隔で変化させながら一周期分位相シフトする間に複数枚の格子画像を撮影し、得られた複数の画像から位相分布を求める技法である。すべての画素において輝度は1周期分変化するため、その輝度変化から各点ごとに独立して、即ち周囲の画素の輝度変化の情報を使わずに位相を求めることができる。そのため、段差や不連続のある物体の形状計測に有効な技法と云える。ここでは、まず、最も一般的に用いられている位相シフト量αをπ/2(90度)ごとに位相シフトされた4つの輝度から位相を求める位相シフト法の原理を説明することにする。その後、位相シフト回数を増加させた解析法について説明する。
式(1)をφの代わりにθで位相を示した格子の輝度分布の式に位相シフト量Ψ=kα(kは整数)を追加すると式(2)となる。
図4に初期位相θをもつ点における位相シフト量kαと輝度Iとの関係を示す。或る1点における初期位相をθとする。初期位相とは、位相シフト量kα=0の時の格子の位相のことである。位相シフト量がπ/2ごとの輝度をI,I,I,Iとすると、これらは式(3)に示すように表すことができる。尚、以下の式では(x,y)は省略する。
これらより式(4)が導かれ、この関係式より位相θを求めることができる。
また、位相シフト回数を多くすることでノイズの影響を減らすことができる。位相シフト回数をN、位相シフト量が2πk/N(kは整数)のときの輝度をIとすると式(5)が導かれ、この式(5)から位相θを求めることができる。
(全空間テーブル化技法による形状計測)
図5に、多数の基準面を用いた全空間テーブル化技法による校正処理で形状計測を行う原理を示す。z軸に垂直に設置された基準面をz軸方向に少しずつ平行移動させる。カメラ13とプロジェクタ15は、基準面の上方に固定しておく。プロジェクタ15からは一次元格子が基準面に投影される。投影される格子の位相は位相シフト法によって容易に算出することができる。カメラ13の或る1画素は図5に示す直線L上の点を撮影しているとする。その画素は、基準面R,R,R,・・・,Rに応じて、それぞれ点P,P,P,・・・,P を撮影することになる。それぞれの点における位相θ,θ,θ,・・・,θは、プロジェクタ15によって投影される格子の位相をずらして撮影した格子画像より、位相シフト法によって求めることができる。
図6に、1画素の撮影ラインLと基準面上のx,y,z座標の関係を示す。或る1画素が撮影している各基準面上の点P,P,P,・・・,Pについては、基準面に固定された二次元状のパターンからx座標及びy座標を得て、基準面の位置からz座標を得る。基準面に固定された二次元状のパターンは、そのパターンからx座標及びy座標が得られるようなパターンが必要である。この例では、二次元格子パターンからx方向及びy方向の位相値を得る技法として基準面の表面に光拡散板を貼付けた液晶パネルを用いている。このため、格子パターンを基準面上に表示することができ、撮影した画像から位相シフト法によって位相分布を求めることができる(更なる詳細については、特許文献3参照)。
このようにすることで、各基準面の位置ごとに投影格子の位相θに対する三次元空間座標(x,y,z座標)が、それぞれ画素ごとに得られることになる。投影格子の位相θは、基準面の位置でしか得られないが、必要に応じて基準面の間隔を小さくして、その間を補間することで、全ての位相に対する三次元空間座標を精度よく求めることができる。この校正技法によって、位相θ,θ,θ,・・・,θとx座標x,x,x,・・・,x、y座標y,y,y,・・・,y 及びz座標z,z,z,・・・,zの関係が画素ごとにそれぞれ得られる。次に、この対応関係をもとにして、予め等間隔の位相θに対応するx座標、y座標及びz座標の表又は近似式をそれぞれ作成しておく。図7に、或る画素における位相θと計測位置である高さzの関係をグラフとして示す。これにより、計測対象物体21を撮影して得られた位相から即座にその点の空間座標(x,y,z座標)を得ることが可能となる。例えば、図5における点Pの場合、図7に示す位相θとz座標の対応関係を示す表又は近似式を用いることで、zが求められる。
(全空間テーブル化技法の利点)
全空間テーブル化技法は、カメラ13におけるレンズの歪曲収差の影響を受けず、投影格子の輝度むらによる位相誤差の影響がなく、ランダムノイズ以外のほとんどの誤差要因を取り除くことができる。全空間テーブル化技法では、キャリブレーション時に位相と三次元空間座標の対応関係を示す表又は近似式を作成し、形状計測時に当該表又は近似式を参照して三次元空間座標分布を得ることができる。このため、投影する格子が歪んでいたとしても、キャリブレーション時と形状計測時に光学系が変わっていなければ、その歪みなどの影響は打ち消され、正しい三次元空間座標が得られる。また、全空間テーブル化技法を用いることで、三次元形状計測時には、予め作成しておいた位相と空間座標の対応関係を示す表又は近似式を参照するだけでよく、幾何学的関係から座標を求める複雑なマトリックス計算をせずに、高速に三次元空間座標分布を得ることが可能である。尚、形状計測前に上述の校正処理を行うように制御ユニット50を構成することができ、位相と空間座標の対応関係を示す表又は近似式は、制御ユニット50におけるメモリ52の所定の格納領域に記憶しておき、形状計測時に読み出すように制御ユニット50を構成することができる。
(光源切替位相シフト法)
前述したように、特許文献1〜3に開示される格子をピエゾステージなどで動かして位相シフトを行う格子移動による位相シフト法では、格子の位相シフトを行うとすべての点で同じ量の位相シフトが行われる。例えば、図4に示す例のように、位相シフト量はπ/2である。一方、特許文献4に開示される光源切替方式の位相シフト法では、位相シフト量は光源からの距離に比例し、従来の2πの位相を等分する一定の位相シフト量である位相シフト法と異なる。このため、特許文献4では、光源切替方式の位相シフト法において、光源からの距離に依存する誤差を打ち消すべく、前述の全空間テーブル化技法を併用することが有効であることが示されている。
光源切替方式の位相シフト法に全空間テーブル化技法を併用することで、形状計測前の校正処理により、式(4)や式(5)を用いて、計算された位相と高さとの1:1の対応関係を予め表又は近似式として記憶保持することができ、位相シフト量と理論値との間で誤差があったとしても位相と高さとの1:1の対応関係を基に計測対象物体21の形状を計測するとき、同じ光学系が使われるなら、これらの誤差は打ち消される。光源切替方式の位相シフト法として、例えば図2(a)に示すように、複数のライン状LED光源を用いて光源切り替えにより位相シフトを行なう。
(制御ユニット)
本発明に係る形状計測装置1では、より広いダイナミックレンジの計測距離の範囲を持つ構成とするために、複数種の位相シフト回数に対応する光源の数、光源ピッチ、及び格子プレートの格子ピッチを構成し、制御ユニット50は、計測距離の範囲(計測する高さzの範囲)に応じて位相シフトを行う光源の切り替え点灯を制御し、計測距離の範囲に応じた位相シフト回数とこれによって投影される位相との関係を求め、この位相から計測対象物体21の高さzを求める。
図8に示すように、制御ユニット50は、計測距離の範囲(計測する高さzの範囲)に応じて位相シフトを行う光源の切り替え点灯を制御し、各光源を順次点灯したことによる計測対象物体21上に投影される一次元格子を撮影するためのカメラ制御信号をカメラ13に供給してカメラ13から一次元格子を撮影した画像信号を取得する。更に、制御ユニット50は、撮影した画像信号から得られる画素毎の輝度値を基に、それぞれの光源による計測対象物体21上に投影される一次元格子の位相をそれぞれ算出し、この位相から予め用意した表又は近似式による全空間テーブル化技法に基づいて計測対象物体21に関する高さ座標を求める。より具体的には、制御ユニット50は、制御部51と、メモリ52とを備える。制御部51は、計測距離範囲設定部511と、光源決定部512と、カメラ撮影処理部513と、画素別輝度算出部514と、位相算出部515と、三次元空間座標算出部516とを備える。
計測距離範囲設定部511は、計測対象物体21に関する計測距離の範囲(計測する高さzの範囲)を設定し、その計測距離の範囲について光源決定部512に指示する。ここで、計測可能な距離範囲と、位相シフト回数Nに対応する光源の数、光源ピッチl、及び格子プレート12の格子ピッチpとの関係は、事前に形状計測装置1の構成として決定しておくことができる。
光源決定部512は、計測距離の範囲に応じて位相シフトのための点灯切り替えを行う光源の組み合わせ(3つ以上の光源)を決定し、決定した各光源を順次点灯するための光源切替制御信号を光源アレイ11に供給する。より具体的には、光源決定部512は、計測距離の範囲(計測する高さzの範囲)に応じて原点OからN倍の光源ピッチlの位置と、原点OからM倍の格子ピッチpの位置に関する組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に、位相シフトを行う光源を決定する。
カメラ撮影処理部513は、各光源を順次点灯したことによる計測対象物体21上に投影される一次元格子を撮影するためのカメラ制御信号をカメラ13に供給してカメラ13から撮影した画像の画像信号を取得する。
画素別輝度算出部514は、取得した画像信号から、各画素位置における輝度値を算出する。
位相算出部515は、撮影画像の画像信号から得られる画素毎の輝度値を基に、それぞれの光源による一次元格子の位相を算出する。以下、位相φを求める処理を「位相解析処理」と称する。また、例えばフーリエ変換格子法による位相解析によって、この位相から画素毎にx、y座標を求める。
三次元空間座標算出部516は、計測対象物体21における画素毎に得られた位相から予め用意した表又は近似式による全空間テーブル化技法に基づいて高さ座標zを求め、計測対象物体21の三次元空間座標データをメモリ52に記憶する。
この位相解析処理には、全空間テーブル化技法を適用して、一次元格子の位相φと空間座標(x,y,z)とを関連づける表又は近似式を予め画素毎に作成しておき、距離計測時には、この表又は近似式を参照して、各画素から得られる一次元格子の位相から空間座標(即ち、計測対象物体21上の点Sの座標)を求めることができる。より具体的には、制御ユニット50における三次元空間座標算出部516の一機能として、カメラ13の画素位置で定まるX軸及びY軸のx、y座標とZ軸のz座標からなる三次元空間座標について、特許文献1で開示されるような所定の基準平板(以下、「基準面」とも称する)を用いて計測された一定間隔のz座標毎に表又は近似式による全空間テーブルを作成してメモリ52に保持しておき、計測対象物体21について算出した一次元格子の位相φから、メモリ52に保持したこれらの表又は近似式を参照して計測対象物体21に関する三次元空間座標を導出するように構成すればよい。
つまり、制御ユニット50は、カメラ13の撮影画像から得られる各画素位置の輝度から各光源による一次元格子の位相を算出し、予め用意した表又は近似式による全空間テーブル化技法に基づいて計測対象物体21に関する高さ座標zを求める処理を行う。x、y座標については、例えばフーリエ変換格子法による位相解析から求めることができる。したがって、カメラ13の画素毎に、z座標が得られ、また、x、y座標も得られる。
以下、計測原理について、図1を参照してより具体的に説明する。
以下の説明では、5つの光源L−2,L−1,L,L及びLのそれぞれの発光輝度分布(発光の指向特性)は、観測範囲内において均一で等しいと仮定する。尚、均一でない場合は、その分布を係数として撮影画像から得られる輝度値を補正すればよい。また、光源面と格子面を平行に配置した例について説明する。ここで、光源面と格子面が平行でない場合、光源面と格子面との間の距離dは、光源アレイ11の原点Oから格子プレート12の格子面までZ軸方向の距離として、これに伴う各光源の発光輝度分布(発光の指向特性)の不均一性も同様に輝度値を補正すればよい。
図1において、図2(a)のようなライン状光源Lに添字番号nをつけ、n番目のライン状光源をL(n=−2,−1,0,1,2)としている。n番目のライン状光源Lのみがnを変えて順次点灯され、格子が計測対象物体21上に投影されることを考える。このとき、z=dにある格子線の透過率分布は余弦波状(余弦波でなくても解析できるが、ここでは理論的取り扱いが簡単となる余弦波と考える)になっており、光源Lで照射された格子の影の輝度分布は、以下の式で表される。
ここで、φは一次元格子の位相、aは振幅、bは背景輝度、xは格子面におけるx座標、eは格子面における基準点(格子の原点)E(φ=0)と点Cとの間の距離である。尚、格子プレート12の一次元格子を構成する各光透過領域12bの中央位置のうちZ軸からの距離が最短なものを基準点E(φ=0)とし、格子プレート12の格子面とZ軸との交点をCとしている。
まず、5つの光源L−2,L−1,L,L及びLのうち、光源Lの点灯により一次元格子が投影された計測対象物体21上の位置S(x、y、z)における輝度Iは、近似的に次式で表される。
ここで、任意の点の輝度は、光源からの距離の2乗に反比例することを考慮している。また、図1に示すように、計測対象物体21上の1点Sには、図1における格子面上の一次元格子のG点の影が投影されている。
このとき、点S,B,Oからなる三角形(以下、このような三角形を「△SBO」と表す)と、点G,C,Oからなる△GCOの相似性より、次式の関係がある。
次に、光源をLからLに切り換えると、G点の影は、距離zの(x,y)面では、A点に向かって投影される。このとき、点Sには一次元格子のF点の影が投影され、位相シフトが生じている。したがって、点Sでは光源の切り替えによって生じる位相シフト量に起因して異なる輝度値となる。
1番目の光源Lによる位置S(x、y、z)における輝度と位相シフト量Ψとの関係は、次のようにして定式化することができる。即ち、光源をLからLに切り替えたことにより、計測対象物体21に投影される一次元格子の位相(アンラッピングされた位相)は、以下の式(9)で与えられる量だけシフトする。
この位相シフト量Ψは、以下のようにして求められる。即ち、図1における点L,L,Gからなる△LGと、点S,A,Gからなる△SAGとが相似であるため、次式となる。
また、点S,A,Lからなる△SALと、点F,G,Lからなる△FGLとの相似性により、次式となる。
式(10)及び式(11)から、次式が得られる。
また、式(9)及び式(12)から、次式が得られる。
こうして、光源をLからLに切り替えたときの、計測対象物体21に投影された一次元格子の位相シフト量Ψの値を定式化することができる。この位相シフト量Ψは、zに依存することが分かる。
同様に、光源Lから光源Lに切り替えることにより、n番目の光源Lによる位置S(x,y,z)における輝度Iは、式(7)に比べて位相がnΨだけシフトするため、次式となる。尚、nは、原点Oを0とした光源の位置を示す−2、−1、0、1、2として与えられる。
この式(14)について、式(13)及び式(15)〜(17)を用いて置き直すと、式(18)が得られる。
こうして、光源Lを点灯したときの、位置S(x,y,z)における輝度Iと位相φ及び位相シフト量Ψとの関係を定式化することができる。
尚、計測対象物体21の反射率rを考慮する場合は、式(18)におけるa及びbに反射率rを乗じればよいが、ここでは説明を簡単化するために省略している。
したがって、計測対象物体21までの高さ座標zを求めるためには、位相シフト量Ψ又は位相φが分かればよい。ただし、本実施形態の形状計測装置1においては、位相θを位相接続して位相φとし、この位相φから式(17)に定める高さzの位置を基準面とした全空間テーブル化技法を採用することで、更なる高精度化を図るようにしている。
〔形状計測装置1の校正処理方法及び制御ユニットによる制御方法〕
次に、図9を参照して本実施形態の形状計測装置1の校正処理方法及び制御方法について説明する。
(校正処理)
まず、形状計測装置1の装置構成を決める計測対象物体に関する計測距離の範囲を決定する(ステップS1)。
計測距離の範囲における格子ピッチp、光源ピッチl及び(N,M)を決定して、形状計測装置1を構成する(ステップS2)。具体的には、当該計測距離の範囲における格子ピッチ、光源ピッチ及びN(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを決定し、決定した格子ピッチ及び光源ピッチを基に、光源アレイ11及び格子プレート12を配置する。
次に、格子ピッチp、光源ピッチl及び(N,M)の値を基に、校正処理を実行する(ステップS3)。具体的には、格子ピッチp、光源ピッチl及び(N,M)の組み合わせを基に決定される複数の高さ座標zのうちの1つ高さ座標zの位置に、二次元平面座標x,yを有する所定の基準面を配置する。制御ユニット50は、格子ピッチp、光源ピッチl及び(N,M)の組み合わせを基に決定される複数の光源のうちの1つの光源を点灯し、配置した基準面上に一次元格子の像を投影する。カメラ13は、基準面上に投影した一次元格子の像を撮影する。続いて、制御ユニット50、格子ピッチp、光源ピッチl及び(N,M)の組み合わせを基に決定される複数の高さ座標zのすべてについて、一次元格子の像の撮影を繰り返し、当該撮影した一次元格子の像から算出する位相のうち基準面の高さ座標zに対して1:1の対応関係がある位相の値をカメラ13の画素ごとに算出する。
次に、制御ユニット50は、1:1の対応関係がある高さzと位相φについて、全空間テーブルを作成し、メモリ52に記憶保持する(ステップS4)。具体的には、制御ユニット50は、カメラ13の画素ごとに基準面における二次元平面座標x,yを算出し、カメラ13の画素ごとに当該算出した位相の値に対応する高さ座標z及び二次元平面座標x,yからなる三次元空間座標の表又は近似式をそれぞれ作成して全空間テーブルとして構成し、メモリ52に記憶保持する。これにより、校正処理が終了する。
(制御ユニットによる制御方法)
実際の計測対象物体21の計測にあたって、制御ユニット50の計測距離範囲設定部511は、計測対象物体21に関する計測距離の範囲(計測する高さzの範囲)を設定し、その計測距離の範囲について光源決定部512に指示する(ステップS5)。
続いて、制御ユニット50の光源決定部512は、計測距離の範囲に応じて位相シフトのための点灯切り替えを行う光源の組み合わせ(3つ以上の光源)を決定し、決定した各光源を順次点灯するための光源切替制御信号を光源アレイ11に供給することにより、5つの光源のうち1つを点灯する(ステップS6)。
続いて、制御ユニット50のカメラ撮像処理部513は、格子プレート12を介して一次元格子が投影された計測対象物体21をカメラ13で撮影する(ステップS7)。
続いて、制御ユニット50のカメラ撮像処理部513は、ステップS2で決定した位相シフトを行う光源の全てについて撮影したか否かを判定する(ステップS8)。位相シフトを行う光源の全てについて撮影していた場合(ステップS8:Y)、ステップS9に移行する。他方、位相シフトを行う光源の全てについて撮影していない場合(ステップS8:N)、その全ての撮影が完了するまでステップS6,S7を繰り返す。これにより、位相シフトを行う光源を順次点灯させて、計測対象物体21に投影される一次元格子の位相をシフトさせながら計測対象物体21を撮影した画像信号を得ることができる。この画像信号は、画素別の輝度値として得ることが可能となる。
即ち、制御ユニット50の画素別輝度算出部514は、当該位相シフトによるそれぞれの輝度値をカメラ13の画素毎に決定する(ステップS9)。
続いて、制御ユニット50の位相算出部515は、当該算出した輝度値から計測対象物体21に投影された一次元格子の位相φを算出する(ステップS10)。
続いて、制御ユニット50の位相算出部515は、得られた位相φを基に全空間テーブルを参照し、計測対象物体21の三次元空間座標を決定する(ステップS11)。このようにして、撮影された画像に対して位相解析処理を施して、計測対象物体21の形状を求めることができる。
以下、計測距離の範囲(計測する高さzの範囲)に応じて原点OからN倍の光源ピッチlの位置と、原点OからM倍の格子ピッチpの位置に関する組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に、位相シフトを行う光源を決定する方法について詳細に説明する。
(正確な位相解析ができる高さzの位置)
式(5)を用いて位相を求めるには、位相シフト量Ψが2π/Nでなければならない。一方、光源切替方式による位相シフト法では、式(17)の位相φで与えられる高さzにおける厳密な位相シフト量Ψは式(13)で与えられる。この値が2π/Nと一致する位置S(x,y,z)では、式(5)を用いて得られた位相値は正確である。この位置S(x,y,z)におけるzの値は、式(13)の位相シフト量Ψを2π/Nと置くことにより求められる。
これをNが整数のときのzを求めると、次式となる。
このように位相シフト量が2π/Nと一致する位置S(x,y,z)は、式(20)で示されるように形状計測装置1の構成によって定めることができることから、位相シフト量が2π/Nと一致する位置S(x,y,z)について式(5)を用いて計測対処物体21の計測を行うことで、正確に位相が求まり、正確な計測対処物体21の高さzの値を得ることができる。しかしながら、このような位相シフト量Ψが2π/Nと一致する位置以外の位置S(x,y,z)では、式(5)を用いると位相の値は正確ではなく誤差をもつ。ただし、この値の近傍(zと位相φの関係が一価関数である範囲)のzの位置では、全空間テーブル化技法を用いることで、この誤差を打ち消すことができる。
具体的に、p=0.5mm,l=0.5mm,d=30mmのとき、位相シフト量Ψが2π/Nとなるzの値は、Nの値を種々変えた場合、図10に示すようになる。
図10に示す例の場合、これらの位置S(x,y,z)以外の場所では、位相シフト量Ψが2π/Nとはならず、即ち位相φの誤差が大きくなり、全空間テーブル化技法を併用したとしても位相φとzの関係が線形からずれる量が多くなり、計測の精度が悪くなる。また解析できる位相φとzの関係が単調増加となるzの範囲も狭くなる。このため、ダイナミックレンジの狭い計測距離となる。また、ダイナミックレンジの狭い計測距離は格子プレート12に近くとなり、カメラ13の視野に入るように構成するため、カメラ13の配置位置に配慮する必要が生じてしまう。
そこで、格子ピッチpの値が光源ピッチlの値より大きい場合を考え、zが大きい範囲でも使えるようにするために、位相2πの格子(原点Oから最も近い位置の格子の光透過領域12b)の点を通るN番目の光源がz軸と交わる場所として、位相シフト量Ψが2π/Nとなるzの値を予め検討することで、計測距離に応じた構成を設定することができる。例えば、式(20)において、N=3、p=3×lとなるように選ぶとzが無限大となり、このように計測距離に応じて、位相シフト回数Nに対応する光源の数、光源ピッチl、及び格子プレートの格子ピッチpを決定することで、より広いダイナミックレンジを持つ形状計測装置1を構成することができる。
さらに広いダイナミックレンジを持つ形状計測装置1を構成するために、「複数種の位相シフト回数N」に対応する光源の数、光源ピッチl、及び格子プレートの格子ピッチpを決定することで、更に広いダイナミックレンジを持つ形状計測装置1を構成することができる。例えば、格子ピッチpの値が光源ピッチlの値と同じ場合でも、計測距離をより大きくなるようにするには、位相シフト量Ψを2π/Nだけとせず、この2πに対してM(0を除く整数)倍の位相シフトとするのが好適である。mod(2πM/N,2π)が3個以上の異なる値を取るMが存在すれば、その位置でも位相解析が可能である。このとき、式(19)を書き換えると、式(21)となり、式(21)から式(22)が得られる。
いま、Mを1〜N−1まで変化させた場合を考える。ただし、Mを変えたときにmod(2πM/N,2π)が同じ値を取るMが存在すると、3個以上の独立したデータが得られなければ位相解析ができなくなる。逆に言えば、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせが存在すればよい。尚、3個以上の独立したデータが得られる場合でも、より小さいNの値で解析した位置S(x,y,z)と同じ結果が得られる(N,M)の組み合わせが存在しうる点に留意する。
位相解析ができ、式(22)が成り立つところでは、正確な位相シフトができ、この近傍で式(5)を用いて計算した位相と高さzの関係が一価関数である範囲では、全空間テーブル化技法を使うと形状計測が可能となる。
式(21)にp=0.5mm,l=0.5mm,d=30mmを代入すると、以下のようになる。
・N=3:z=45mm(M=1)、z=90mm(M=2)。
・N=4:z=40mm(M=1)、z=120mm(M=3)、M=2は式(22)にて分母が0となりzの値は不特定。
・N=5:z=37.5mm(M=1)、z=50mm(M=2)、z=75mm(M=3)、z=150mm(M=4)。
・N=6:z=36mm(M=1)、z=180mm(M=5)、M=2は(N=3,M=1)と同じである。M=3は式(22)にて分母が0となりzの値は不特定。M=4は(N=3,M=2)と同じである。
・N=7:z=35mm(M=1)、z=42mm(M=2)、z=52.5mm(M=3)、 z=70mm(M=4)、z=105mm(M=5)、z=210mm(M=6)。
・N=8:z=34.3mm(M=1)、z=48mm(M=3)、z=80mm(M=5)、 z=240mm(M=7)、M=2は(N=4,M=1)と同じである。M=4は式(22)にて分母が0となりzの値は不特定。M=6は(N=4,M=3)と同じである。
・N=9:z=33.8mm(M=1)、z=38.6mm(M=2)、z=54mm(M=4)、z=67.5mm(M=5)、z=135mm(M=7)、z=270mm(M=8)、M=3は(N=3,M=1)と同じである。M=6は(N=3,M=2)と同じである。
これらをまとめると図11となる。従来では、1種類の位相シフト回数Nしか想定していなかったことから計測距離の範囲が狭いものとなっていたが、図11に示すように、複数種の位相シフト回数Nと、2πのM倍との組み合わせで決まる位置S(x,y,z)を基準に形状計測が可能となる。図12は、図11について、位置S(x=0,y=0,z)における計測距離の範囲を示した図である。図12からも分かるように、(N,M)の組み合わせとして、グループGr1,Gr2,Gr3のように計測距離に応じて位相シフトを行う光源を選択して設定することができることも分かる。また、図11及び図12で示す例では光源ピッチl=格子ピッチpとしており、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせのうち、Nの値で解析した位置S(x=0,y=0,z)と同じ結果が得られる(N,M)の組み合わせが存在することが分かる。これは、広い計測距離であっても位相接続が容易になる利点も有する。尚、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせの位置として、位置S(x=0,y=0,z)に限定する必要はなく、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせの位置S(x,y,z)を基に、計測距離の範囲を定めることができる。また、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせの位置S(x,y,z)を基準面とした全空間テーブル化技法を用いて校正処理を行うことで、より高精度化させつつ、計測距離についてより広いダイナミックレンジの形状計測装置1を構成することができる。
このように、原点OからN倍の光源ピッチlの位置と、原点OからM倍の格子ピッチpの位置に関する組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に位相シフトを行う光源を決定し、決定した光源を順次点灯するのみで、複数種の位相シフト回数Nに対応する計測距離の範囲で位相φを求めることができ、位相φを求めることができれば、カメラ13の位置とは無関係に計測対象物体21の高さzを求めることができる。
複数種の位相シフト回数Nに対応する計測距離の範囲で、光源切り替えを行う例について更に説明する。図13にその一例を示す。図13における点Hは、z=120mmの位置であり、(N=4,M=3)あるいは(N=8,M=6)の場合に、光源を切り替えたときに点Hに各光源からの光線が集まる様子を示している。図13における点Iはz=240mmの位置であり、(N=8,M=7)の場合に、光源を切り替えたときに点Iに各光源からの光線が集まる様子を示している。格子の位置で光線が横切るときの格子の位相を見ると点Hでは6π/4、点Iでは14π/8ずつ位相がシフトしているのが分かる。この図では光源を9個示しているが実際の点灯は、点Hでの位相シフトに用いる光源は4個又は8個を選択することができ、点Iでの位相シフトに用いる光源は8個を選択することができる。
これらの位置S(x=0,y=0,z)ではないが、その近傍では、計算した位相φとzの関係が一価関数である範囲では、全空間テーブル化技法を使うことで前述した誤差は打ち消される。
位相シフト回数Nは多いほど計測精度が向上する傾向にあるが、その分、処理時間が遅くなる。そこで、位相シフト回数Nの値を例えば3として少なく設定した場合にも、Mの値を大きく設定することで、より遠方の計測対象物21の計測が可能となる。
さらに、格子ピッチpや光源ピッチlも計測距離に応じて変えて組み合わせを選択することにより、例えば、1μm〜500mmの厚さの形状計測や、遠方のビルディングの形状計測など、より広いダイナミックレンジで、高精度な計測が可能となる。
尚、図12に示すようなGr1,Gr2,Gr3のいずれかの範囲内のような特定範囲の計測のみでよい場合、一般化してM=N−1を採用し、次式を満足するようにN,p,l,dを決めるのが好適である。
計測距離zの無限大まで計測できるようにするには式(23)の分母を0とする場合を考えると次式となり、次式を満足する例として、図14に示すような光源及び格子の配置構成とすることができる。
これにより、例えば、図15に示すように、各光源により撮像して得られる輝度値から画素毎に位相φを算出し、高さ座標zを算出するとともに例えばフーリエ変換格子法による位相解析からx、y座標を求めることにより、三次元空間座標の計測結果を高精度に算出することができる。
本実施形態の形状計測装置1において、全空間テーブル化技法を使うと精度が良くなり計測速度が高速となる。前述の説明では、格子面に平行に配置された基準面を有する所定の基準面(例えば、平面座標を描いた基準平板)を用いる例について説明したが、この全空間テーブル化技法を使うことで、投影される一次元格子の位相と三次元空間座標の関係をテーブル化してメモリ52に保持しておくことができるので、この基準平板と格子プレート12における格子面とを平行に配置しなくともよくなる。例えば、基準平板上にX軸及びY軸を取り、その基準面に垂直な方向にZ軸を取るようにする。この全空間テーブル化技法により、座標値x、yを示す二次元格子を基準平板上に投影する液晶ディスプレイなどの平面座標表示装置(図示せず)を用いる場合においても、この平面座標表示装置、光源アレイ11及びカメラ13の位置を自由に配置することができるようになる。したがって、本発明に係る形状計測装置1で所定の基準平板を用いる場合に、全空間テーブル化技法を適用することは、この基準平板を格子面に平行に配置しなくてもよくなる点でも有効である。
前述したように、本実施形態では位相φを基に高さzを求める例について説明した。位相φではなく、位相シフト量Ψから高さzを求めるように構成すると、位相シフト量Ψは高さzに対してほぼ反比例となり、全範囲で一価関数となりおよその値を求める場合に使用することができるが、一定の解析範囲を決めると、位相φの変化に比べ位相シフト量Ψの変化が少なく精度が悪くなるためである。一方、位相φは位相シフト量Ψに比べ高さzに対して大きく変化するため、位相φを三次元空間座標の解析に使うほうが精度を向上させることができる。ただし、位相接続前の位相θはπ〜−πの間を変化するため、一価関数とならない部分も出てくることから、全空間テーブル化技法と組み合わせても計測可能範囲が限定され、広い範囲を解析するには位相接続を行うことが必要となる。このため、位相φから高さzを求めるために、式(13)よりも式(17)の関係から、各画素における位相φと高さz(x,yも同様)の表又は近似式(全空間テーブル)を予めキャリブレーション実験により作成して、これを基に計測を行うことが有効となる。
また、計測距離の範囲の決定に伴い、この範囲を満足するp,l,M,Nを決め、高さzと位相φとの間で1:1の対応関係がある部分を使って予め全空間テーブルを作っておき、計測対象物体21を設置したときの位相φから全空間テーブルを使って三次元空間座標を求める際に、2種類の(N,M)の組み合わせで得られるそれぞれの位相φ及びφより、それぞれに対応する高さz及びzを求めるようにして、より広い範囲の高さzを計測することが可能である。ここで、位相シフト量Ψを求めて高さzの計測に利用するように構成することもできる。例えば、この位相シフト量Ψを高さzの小さい範囲では位相φの位相接続(zの接続)に利用することで位相接続の精度を向上させることができ、或いは予め位相シフト量Ψで高さzのおよその値を求めておき、その付近の(N,M)を用いた位相φの値から正確な高さzを求めるのに利用することができる。
また、形状計測装置1における光源アレイ11における光源の配置や格子プレート12の配置にて使用可能な全範囲の(N,M)のすべての組み合わせについて、予め全空間テーブルを作成しておくことにより、2つ以上の(N,M)の組み合わせで一意に決まる計測距離の範囲にて位相接続(zの接続)を行うことができるようになる。
尚、制御ユニット50は、コンピュータとして構成することができ、制御ユニット50をコンピュータとして構成させる場合には、当該コンピュータに、制御ユニット50の各構成要素を実現させるためのプログラムをメモリ52に記憶する。当該コンピュータに備えられる中央演算処理部(CPU)が、各構成要素の機能を実現するための処理内容が記述されたプログラムや処理データを、適宜、メモリ52から読み込んで制御ユニット50の各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよいことは勿論である。
本発明によれば、広いダイナミックレンジの計測距離の範囲で少なくとも3つの光源を順次切り替えることにより位相シフトを高速に行うことができるので、ビルディングの形状計測、電子部品の検査、人体計測及び小型生物の立体計測や医療等の用途に有用である。
1 形状計測装置
11 光源アレイ
12 格子プレート
12a 格子の光遮蔽領域
12b 格子の光透過領域
13 カメラ
21 計測対象物体
50 制御ユニット
51 制御部
52 メモリ
511 計測距離範囲設定部
512 光源決定部
513 カメラ撮影処理部
514 画素別輝度算出部
515 位相算出部
516 三次元空間座標算出部

Claims (5)

  1. 計測対象物体の形状を非接触で計測する形状計測装置であって、
    複数種の位相シフト回数に対応する少なくとも3つの等間隔に配置された点光源あるいは直線状光源からなる光源アレイと、
    前記少なくとも3つの等間隔と同じ方向に等間隔に並んだ直線からなる光透過領域を有する格子プレートと、
    前記少なくとも3つの光源の順次点灯により前記一次元格子がそれぞれ投影される計測対象物体を撮影するカメラと、
    前記少なくとも3つの光源のうち、計測距離の範囲に応じてN(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に、当該投影する一次元格子の位相シフトを行う光源を決定し、当該決定した各光源を順次点灯してそれぞれ前記計測対象物体上に投影される一次元格子を撮影するよう前記カメラを制御し、前記決定した各光源による前記計測対象物体上に投影された前記一次元格子の位相を前記カメラの画素ごとにそれぞれ算出し、前記N倍の光源ピッチとM倍の格子ピッチの組み合わせに応じて予め前記画素ごとに用意した前記一次元格子の位相と三次元空間座標とを1対1に対応づける表又は近似式を基に前記計測対象物体に関する三次元空間座標を求める制御ユニットと、
    を備えることを特徴とする形状計測装置。
  2. 前記制御ユニットは、
    前記計測距離の範囲として、前記少なくとも3つの光源を配列した直線上の1点を原点として、前記格子プレートのそれぞれの光透過領域の配列方向をX軸、前記光透過領域の直線をY軸、及び前記格子プレートの格子面の法線方向をZ軸とし、前記光源アレイの原点から前記計測対象物体の表面までの前記Z軸方向の距離をz、前記光源アレイの各光源の間隔をl、前記光源アレイの原点から前記格子面までのZ軸方向の距離をd、前記一次元格子の間隔をpとしたとき、
  3. 前記制御ユニットは、
    前記N(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に決定した計測距離の範囲について、前記一次元格子の位相と前記三次元空間座標とを1対1に対応づける表又は近似式を基に前記計測対象物体に関する高さ座標を当該計測対象物体の形状の計測前に予め記憶保持する手段を更に備えることを特徴とする、請求項1又は2に記載の形状計測装置。
  4. 複数種の位相シフト回数に対応する少なくとも3つの等間隔に配置された点光源あるいは直線状光源からなる光源アレイと、前記少なくとも3つの等間隔と同じ方向に等間隔に並んだ直線からなる光透過領域を有する格子プレートと、前記少なくとも3つの光源の順次点灯により前記一次元格子がそれぞれ投影される計測対象物体を撮影するカメラと、制御ユニットとを備える形状計測装置によって、計測対象物体の形状を非接触で計測する形状計測方法であって、
    前記制御ユニットは、
    前記少なくとも3つの光源のうち、計測距離の範囲に応じてN(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを基に、当該投影する一次元格子の位相シフトを行う光源を決定するステップと、
    当該決定した各光源を順次点灯してそれぞれ前記計測対象物体上に投影される一次元格子を撮影するよう前記カメラを制御するステップと、
    前記決定した各光源による前記計測対象物体上に投影された前記一次元格子の位相をそれぞれ算出し、前記N倍の光源ピッチとM倍の格子ピッチの組み合わせに応じて予め前記画素ごとに用意した前記一次元格子の位相と三次元空間座標とを1対1に対応づける表又は近似式を基に前記計測対象物体に関する三次元空間座標を求めるステップと、
    を含むことを特徴とする形状計測方法。
  5. 複数種の位相シフト回数に対応する少なくとも3つの等間隔に配置された点光源あるいは直線状光源からなる光源アレイと、前記少なくとも3つの等間隔と同じ方向に等間隔に並んだ直線からなる光透過領域を有する格子プレートと、前記少なくとも3つの光源の順次点灯により前記一次元格子がそれぞれ投影される計測対象物体を撮影するカメラと、制御ユニットとを備える形状計測装置における校正処理方法であって、
    (A)計測対象物体に関する計測距離の範囲を決定するステップと、
    (B)当該計測距離の範囲における格子ピッチ、光源ピッチ及びN(0を除く整数)倍の光源ピッチと、M(0を除く整数)倍の格子ピッチの組み合わせのうち、mod(2πM/N,2π)が3個以上の異なる値を取る(N,M)の組み合わせを決定するステップと、
    (C)前記決定した格子ピッチ及び光源ピッチを基に、前記光源アレイ及び前記格子プレートを配置するステップと、
    (D)前記格子ピッチ、前記光源ピッチ及び前記(N,M)の組み合わせを基に決定される複数の高さ座標zのうちの1つ高さ座標zの位置に、二次元平面座標x,yを有する所定の基準面を配置するステップと、
    (E)前記制御ユニットにより、前記格子ピッチ、前記光源ピッチ及び前記(N,M)の組み合わせを基に決定される複数の光源のうちの1つの光源を点灯し、前記基準面上に一次元格子の像を投影するステップと、
    (F)前記カメラにより、前記基準面上に投影した一次元格子の像を撮影するステップと、
    (G)前記制御ユニットにより、前記格子ピッチ、前記光源ピッチ及び前記(N,M)の組み合わせを基に決定される複数の高さ座標zのすべてについて、前記ステップ(D),(E),(F)を繰り返し、当該撮影した前記一次元格子の像から算出する位相のうち前記基準面の高さ座標zに対して1:1の対応関係がある位相の値を前記カメラの画素ごとに算出するステップと、
    (H)前記制御ユニットにより、前記カメラの画素ごとに前記基準面における二次元平面座標x,yを算出し、前記カメラの画素ごとに該位相の値に対応する当該高さ座標z及び二次元平面座標x,yからなる三次元空間座標の表又は近似式をそれぞれ作成し、記憶保持するステップと、
    を含むことを特徴とする形状計測装置における校正処理方法。
JP2012078443A 2012-03-29 2012-03-29 形状計測装置、形状計測方法及び形状計測装置における校正処理方法 Expired - Fee Related JP5956218B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012078443A JP5956218B2 (ja) 2012-03-29 2012-03-29 形状計測装置、形状計測方法及び形状計測装置における校正処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012078443A JP5956218B2 (ja) 2012-03-29 2012-03-29 形状計測装置、形状計測方法及び形状計測装置における校正処理方法

Publications (2)

Publication Number Publication Date
JP2013205407A JP2013205407A (ja) 2013-10-07
JP5956218B2 true JP5956218B2 (ja) 2016-07-27

Family

ID=49524604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012078443A Expired - Fee Related JP5956218B2 (ja) 2012-03-29 2012-03-29 形状計測装置、形状計測方法及び形状計測装置における校正処理方法

Country Status (1)

Country Link
JP (1) JP5956218B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103591896B (zh) * 2013-11-29 2016-05-11 重庆理工大学 一种基于交变光场的时栅直线位移传感器
CN103822571B (zh) 2014-03-19 2016-11-02 重庆理工大学 基于单排多层结构的电场式时栅直线位移传感器
CN103968750B (zh) 2014-05-09 2017-01-18 重庆理工大学 一种电场式时栅角位移传感器
CN104019734B (zh) * 2014-06-19 2016-07-06 重庆理工大学 一种平面二维时栅位移传感器
CN104457544B (zh) * 2014-12-31 2016-11-02 重庆理工大学 时栅直线位移传感器
JP5854540B1 (ja) * 2015-01-09 2016-02-09 藤垣 元治 形状計測装置および形状計測方法
JP5854544B1 (ja) * 2015-04-07 2016-02-09 藤垣 元治 形状計測装置および形状計測方法
CN106052562B (zh) * 2016-05-27 2019-01-29 重庆理工大学 一种自适应动态比相的时栅位移测量方法及信号处理***
JP2018031607A (ja) * 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
JP6330162B2 (ja) * 2016-11-24 2018-05-30 株式会社新川 ボンディング装置およびボンディング対象物の高さ検出方法
CN110446618A (zh) * 2017-02-13 2019-11-12 维奥赖特有限公司 胎面线扫描器
CN108267072B (zh) * 2018-01-31 2019-09-13 重庆理工大学 一种时栅直线位移传感器
JP2019161278A (ja) * 2018-03-07 2019-09-19 株式会社リコー 校正基準点取得システム、及び校正基準点取得方法
JP7090446B2 (ja) * 2018-03-22 2022-06-24 株式会社キーエンス 画像処理装置
JP7212240B2 (ja) * 2018-06-11 2023-01-25 オムロン株式会社 計測システムおよび計測方法
JP7164461B2 (ja) * 2019-02-15 2022-11-01 株式会社キーエンス 画像処理装置
JP7231432B2 (ja) * 2019-02-15 2023-03-01 株式会社キーエンス 画像処理装置
CN110148171B (zh) * 2019-04-18 2021-03-23 北京森焱精创科技有限公司 动态投影方法、***、计算机设备和存储介质
CN110672037A (zh) * 2019-09-02 2020-01-10 南京理工大学 基于相移法的线性光源光栅投影三维测量***及方法
CN114923409B (zh) * 2020-01-02 2023-06-23 浙江大学台州研究院 一种基于不同高度零件尺寸测量的激光辅助标定装置
CN113310722A (zh) * 2021-05-26 2021-08-27 中南大学 一种对粉料进行网格分区自动随机取样的设备和方法
CN114234847B (zh) * 2021-12-08 2024-01-30 苏州恒视智能科技有限公司 一种光栅投影***及光栅相移高度测量自动校正补偿方法
CN116145239B (zh) * 2023-04-24 2023-07-07 苏州晨晖智能设备有限公司 单晶硅加料监测方法和单晶硅连续加料装置及其生长装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050112A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 三次元形状入力装置及び投影装置
JP4873485B2 (ja) * 2007-05-11 2012-02-08 国立大学法人 和歌山大学 多数の基準面を用いた形状計測方法および形状計測装置
JP5478122B2 (ja) * 2009-06-04 2014-04-23 ヤマハ発動機株式会社 位相シフト画像撮像装置、部品移載装置および位相シフト画像撮像方法
JP5657276B2 (ja) * 2010-05-14 2015-01-21 一般社団法人モアレ研究所 形状計測装置及び形状計測方法

Also Published As

Publication number Publication date
JP2013205407A (ja) 2013-10-07

Similar Documents

Publication Publication Date Title
JP5956218B2 (ja) 形状計測装置、形状計測方法及び形状計測装置における校正処理方法
KR101947935B1 (ko) 3차원 측정 시스템의 갱신 보정 방법
US10706562B2 (en) Motion-measuring system of a machine and method for operating the motion-measuring system
US20130088575A1 (en) Method and apparatus for obtaining depth information using optical pattern
KR20100085823A (ko) 삼차원 계측 장치
TWI512263B (zh) 形狀測量裝置以及形狀測量方法
JP5515432B2 (ja) 三次元形状計測装置
JP5770495B2 (ja) 形状計測装置および格子投影装置
JP5582267B1 (ja) 連続走査型計測装置
JP2008281491A (ja) 多数の基準面を用いた形状計測方法および形状計測装置
JP5657276B2 (ja) 形状計測装置及び形状計測方法
TWI589838B (zh) Three-dimensional measuring device
JP2010203867A (ja) 三次元形状測定方法及び三次元形状測定装置
JP5956296B2 (ja) 形状計測装置及び形状計測方法
TWI672481B (zh) 結構光投影機及三維影像感測模組
JP2005520142A (ja) 物体の絶対座標測定方法および装置
JP5853284B2 (ja) 形状計測装置及び形状計測方法
US20120056999A1 (en) Image measuring device and image measuring method
JP6420159B2 (ja) 形状計測装置および形状計測方法
JP5667891B2 (ja) 形状計測方法
KR101566129B1 (ko) 라인 스캔 방식의 모아레 3차원 형상 측정 장치 및 방법
JP2012237613A (ja) 形状計測装置及び形状計測方法
JP2006064590A (ja) ラインセンサ及びライン状プロジェクタによる形状計測方法と装置
JP2006084286A (ja) 3次元計測方法とその計測装置
JP5557131B2 (ja) 全空間テーブル化手法を適用した計測装置用のメモリボード、計測装置用の撮影装置、及び計測装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20150319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160616

R150 Certificate of patent or registration of utility model

Ref document number: 5956218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R255 Notification that request for automated payment was rejected

Free format text: JAPANESE INTERMEDIATE CODE: R2525

LAPS Cancellation because of no payment of annual fees