JP3922784B2 - ３次元形状計測装置 - Google Patents
３次元形状計測装置 Download PDFInfo
- Publication number
- JP3922784B2 JP3922784B2 JP01462298A JP1462298A JP3922784B2 JP 3922784 B2 JP3922784 B2 JP 3922784B2 JP 01462298 A JP01462298 A JP 01462298A JP 1462298 A JP1462298 A JP 1462298A JP 3922784 B2 JP3922784 B2 JP 3922784B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- measurement object
- phase
- imaging
- sine wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、移動する測定物体の３次元形状を位相シフト法を用いて測定する装置に関するものであり、特に外装材等の板状物体の３次元形状を高精度に計測する用途に適するものである。
【０００２】
【従来の技術】
工業製品の分野において、立体形状を定量的に評価するに当たっては、物理的接触を伴う計測方法では、接触により、傷等を発生し、外観を損ねる恐れがある。また、オフラインや抜き取りではなく、製造工程中のインラインで計測が行えることが望ましいので、移動しながらの非接触による計測が求められる。しかしながら、工業製品等の非接触３次元計測装置において、一般的によく使用される光切断法では、高速で移動する対象物体に対しては撮像される画像の中に有効とされるデータが少ないので、高精度な計測ができない。そこで、高速で移動する物体を非接触・高精度に計測することが可能な計測装置を実現するために、撮像された画像の全点を有効なデータとできる位相シフト法を用いた画像処理装置（特開平４−９８１１１号）が提案されている。
【０００３】
一般的なＣＣＤカメラを用いた位相シフト法による３次元形状計測の手順を図４３を用いて説明する。光源３と正弦波パターンのフィルタ５を組み合わせることにより、正弦波パターン状の光強度分布を有する照明を測定物体１に照射し、測定物体１上の点をＣＣＤカメラ６で観測した場合、ＣＣＤ画面上の点ｐ（ｘ，ｙ）の強度Ｉは下式で与えられる。
【０００４】
Ｉ＝ｅ＋ｆ・ｃｏｓφ
ｅ：直流光ノイズ
ｆ：正弦波のコントラスト
φ：物体の凹凸により与えられる位相
正弦波パターンを移動させて位相をφ＋０、φ＋π／２、φ＋π、φ＋３π／２と変化させ、これに対応する強度分布Ｉ０、Ｉ１、Ｉ２、Ｉ３をもつ画像を取り込み、位相を求める。
【０００５】
α＝ｔａｎ-1｛（Ｉ３−Ｉ１）／（Ｉ０−Ｉ２）｝
この位相を用いて測定物体上の点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）は下式で与えられる。
Ｘ＝−ｓｘ
Ｙ＝ｂ＋ｓ（−ｃ−ｙｃｏｓφ）
Ｚ＝ａ＋ｓ（−ｄ＋ｙｓｉｎφ）
ｓ＝（−ｂｃｏｓθ）／ｕ
θ＝ｔａｎ-1（ｌα／ａ）
ｕ＝（−ｃ−ｙｃｏｓφ）ｃｏｓθ＋（−ｄ＋ｙｓｉｎφ）ｓｉｎθ
φ＝ｔａｎ-1（ｂ／ａ）
ｃ＝ａｍ
ｄ＝ｂｍ
ｌ：基準面に投影された正弦波パターンのピッチ
ｍ：カメラ倍率
これらの式より測定物体に対する３次元形状を計測するものである。
【０００６】
【発明が解決しようとする課題】
上述のように、位相シフト法を用いたこれまでの装置は、正弦波パターンを移動させて高さを測定する装置のみで、物体を移動させて測定する装置はない。また、物体が移動している場合には、物体が固定している場合と違い、物体が移動することで、これまでの照明では生じなかった入射角度の変化による死角ができ、精度が落ちる場合がある。本発明の目的は、このような問題を解決できる３次元形状計測装置を提案すると共に、位相シフト法による３次元形状計測の操作を簡略化することにある。
【０００７】
【課題を解決するための手段】
本発明によれば、上記の課題を解決するために、図１及び図２に示すように、移動する測定物体１の３次元形状を計測する装置において、
測定物体１の移動方向に所定の周期の正弦波パターン状の光強度分布を有する略平行光な照明を測定物体１に上方から照射する照明手段（光源３、レンズ４、フィルタ５）と、
測定物体１を撮像する撮像手段（カメラ６、レンズ７、フレームグラバ８）と、
測定物体１が少なくとも４通りの位相（好ましくは位相０、π／２、π、３π／２）に相当する距離移動する毎に撮像された画像を格納する画像メモリ９と、
画像メモリ９内の画像から位相シフト法により高さを求める演算手段１０とを具備する。
ここで、正弦波パターンの周期と測定物体１の移動速度を適合させるには、撮像した正弦波パターン状の光強度分布から正弦波パターンの位相π／２分に相当する距離を測定し、この測定された距離を複数又は１回の撮像間隔の間に移動するように測定物体１の移動速度を自動的に設定すると良い。もしくは、測定物体の移動速度を実測し、該移動速度に適合するように、液晶プロジェクタよりなる照明手段により正弦波パターンの周期を設定すると良い。
【０００８】
【発明の実施の形態】
（実施例１）
以下、本発明を実施例により説明する。図１は本発明を実施するための装置の一例を示す図である。測定物体１は外装材であり、コンベア２により矢印Ｇに示す方向に移動されている。光源３とレンズ４より平行光を作成し、その前部に正弦波パターン状の濃淡を有するフィルタ５を配置して成る照明手段により、測定物体としての外装材１の真上から明暗が正弦波状に変化するパターンが投影される。カメラ６とレンズ７の光軸をずらすことで測定物体としての外装材１の表面に焦点が合うように斜め方向に配置された撮像手段により、外装材表面の凹凸により生じる投影パターンの変形が観測できるように光学系が構成される。コンベア２は正弦波状の光強度分布の位相π／２に相当する距離Ｌずつ移動し、カメラ６はコンベア２が距離Ｌ移動する毎に撮像する。図２は画像処理系のブロック図である。カメラ６の画像はフレームグラバ８に入力され、量子化されて画像メモリ９に転送される。画像メモリ９に転送された画像は処理装置１０により位相シフト法を用いて位相演算され、高さを計測される。
【０００９】
このような構成を用いることにより、移動による物体表面上の各点での照明の入射角の変化による補正をする必要がなく、また、照明の当たらない部分を無くすことができ、撮像した画像の全点をデータとして活用した画像処理が可能となり、移動する対象物体の形状を精度良く３次元測定できる。
【００１０】
図３は本実施例の装置により投影される正弦波パターンであり、正弦波パターンの明暗方向は、外装材１の移動方向と同一方向にする。図４は本装置のカメラ６により撮像され、画像メモリ９に記憶された移動距離０、Ｌ、２Ｌ、３Ｌで撮像された画像、すなわち正弦波状の光強度分布の位相を０、π／２、π、３π／２とずらして撮像された画像である。
【００１１】
（実施例２）
本発明の実施例２の動作を図５に示す。装置の構成は図１及び図２と同様である。図５はカメラによる撮像動作のタイミングを示しており、図中、ＡはＣＣＤカメラの電子シャッタ（すなわち光電変換部と電荷蓄積部の間の電子スイッチ）が開く露光のタイミング、ＢはＣＣＤカメラの電荷蓄積部から電荷転送部（すなわち電荷結合素子）への電荷読出のタイミングである。ここで、露光の間隔をＴとし、正弦波状の光強度分布の位相π／２に相当する測定物体の移動距離をＬとすると、本実施例では、コンベア速度Ｖ＝Ｌ／Ｔで連続して測定物体を移動させ、４フレームの時間（＝４Ｔ）で図４に示した４枚の画像データを撮像する。この撮像は、コンベア速度に同期した撮像なので、位相を０、π／２、π、３π／２ずらした画像が、カメラの撮像間隔Ｔで連続的に画像メモリに取り込める。
【００１２】
本実施例では、連続で移動している測定物体に対して、位相を０、π／２、π、３π／２ずらした画像をリアルタイムで取り込むことができるので、外装材の製造工程において形状計測を行う場合、オフラインでなく、インライン対応の装置を実現できる。
【００１３】
（実施例３）
図６は本発明の実施例３の装置を示している。本実施例では、コンベア２の移動量をエンコーダ１１によりモニターしており、測定物体１が位相π／２に相当する距離Ｌを移動する毎にエンコーダ１１によりカメラ６に露光のタイミングを決めるためのトリガを与える。図７は本実施例の動作を示しており、図中、Ａはエンコーダ１１からのトリガに応答した露光のタイミングを示している。図５に示した実施例２の動作では露光の間隔Ｔは一定であったが、実施例３では、露光の間隔はエンコーダ１１から与えられるトリガ信号の間隔に応じて決まる。これにより、コンベア２の速度が正確に設定されていなくても、画像メモリには位相を０、π／２、π、３π／２ずらした画像を確実に取り込むことができる。このように、本実施例では、コンベア２の移動量をモニターするエンコーダ１１を用いることで移動距離Ｌが正確に検出でき、高精度な測定が可能となる。
【００１４】
（実施例４）
本発明の実施例４の動作を図８に示す。装置の構成は図１及び図２と同様である。本実施例４では、コンベアの速度が遅く、測定物体がＶ＝Ｌ／ｎＴ（ｎ＝２，３，４，…）で連続移動している場合について、カメラの撮像間隔Ｔのｎ倍毎に撮像される画像を抽出する、つまり、複数の画像の中から位相０、π／２、π、３π／２ずらした画像のみを抽出し、他の画像は間引くことにより、コンベアの速度と撮像の間隔を合わせている。
【００１５】
一般に、工場内の製造ライン速度は予め決まっている場合が多い。また、カメラの撮像間隔も一般的には１／３０秒であり、予め決まっている。そのため、正弦波パターンは、コンベアの速度に対して設定しなくてはならない。実施例２のように、Ｖ＝Ｌ／Ｔとした場合、コンベアの速度Ｖが遅いと、正弦波パターンの１周期（＝４Ｌ）は短くなるが、ＣＣＤカメラの画素分解能の関係からＣＣＤ画面上で反射光を画素毎に分離できず、正弦波分布と見なせなくなり、計測精度が落ちることがある。また、コンベアの速度Ｖが速いと、正弦波パターンの１周期（＝４Ｌ）は長くなるが、ＣＣＤカメラの１視野内に正弦波パターンを作成することができなくなる場合がある。
【００１６】
この問題を解決するために、本実施例では、コンベアの速度が低速度の場合には、複数の画像の中から位相０、π／２、π、３π／２ずらした画像を抽出し、コンベアの速度に関係なく、正弦波パターンの周期を設定できるようにしたものである。
【００１７】
（実施例５）
本発明の実施例５の動作を図９に示す。装置の構成は図１及び図２と同様である。ただし、光源はストロボ光源とし、コンベアの移動量をモニターするエンコーダ（図６参照）により発光のタイミングを決めるためのトリガを与える。図９において、Ａはエンコーダからのトリガに応答したストロボ光源の発光及びＣＣＤカメラの露光のタイミングを示している。また、ＢはＣＣＤカメラの電荷読出のタイミングであるが、本実施例では、ストロボ発光直後に読み出された画像データのみを使用している。すなわち、実施例４と同様に、コンベアの速度が遅く、測定物体がＶ＝Ｌ／ｎＴ（ｎ＝２，３，４，…）で連続移動している場合について、測定物体が位相π／２に相当する距離Ｌを移動する毎にエンコーダによりストロボ光源にトリガ信号を与えて、光源を発光させたタイミングで位相を０、π／２、π、３π／２ずらした画像を取り込むものである。
【００１８】
次に、コンベアの速度が速い場合に、複数のカメラあるいは複数の照明手段を用いて、リアルタイムに位相を０、π／２、π、３π／２ずらした画像をメモリに取り込む実施例について説明する。
【００１９】
（実施例６）
図１０は本発明の実施例６の装置を示している。本実施例では測定物体１の移動方向に間隔Ｌで２台のカメラ６ａ，６ｂを配置し、これらのカメラ６ａ，６ｂで同時にコンベア２上を移動している測定物体１を撮像し、撮像された画像をカメラ６ａ，６ｂの順で次々に画像メモリに転送するものである。
【００２０】
図１１は本実施例の動作を示しており、位相０、πに相当する画像はカメラ６ａで、位相π／２、３π／２に相当する画像はカメラ６ｂで、連続的に撮像される。１回目の撮像で得られる画像は、カメラ６ａについては位相０の画像、カメラ６ｂについては位相π／２分移動後の画像である。実際にはカメラ６ａと６ｂは同時に測定物体１を撮像するが、カメラ６ｂはカメラ６ａに対して位相π／２に相当する距離Ｌだけずれているので、位相π／２分移動後の画像を撮像したのと同じことになる。２回目の撮像で得られる画像は、カメラ６ａについては位相π分移動後の画像、カメラ６ｂについては位相３π／２分移動後の画像である。すなわち、１回目の撮像と２回目の撮像の間に、測定物体１は位相πに相当する距離（＝２Ｌ）移動することになる。したがって、本実施例によれば、カメラ６ａ，６ｂの撮像間隔がＴとすると、コンベア速度はＶ＝２Ｌ／Ｔと高速化することができ、２Ｔの時間で画像の取り込みを完了することができる。
【００２１】
（実施例７）
図１２は本発明の実施例７の装置を示している。本実施例では測定物体１の移動方向とは垂直な方向に２台のカメラ６ａ，６ｂを配置し、カメラ６ａ，６ｂの同期信号を撮像間隔Ｔの半分の時間（＝Ｔ／２）だけずらして、コンベア２上を移動している測定物体１を位相π／２に相当する距離Ｌ移動するごとに交互に撮像し、撮像された画像をカメラ６ａ，６ｂの順で次々に画像メモリに転送するものである。
【００２２】
図１３は本実施例の動作を示しており、位相０、πに相当する画像はカメラ６ａで、位相π／２、３π／２に相当する画像はカメラ６ｂで、Ｔ／２の時間毎に交互に連続的に撮像される。１回目の撮像で得られる画像は、カメラ６ａによる位相０の画像、２回目の撮像で得られる画像は、カメラ６ｂによる位相π／２分移動後の画像である。３回目の撮像で得られる画像は、カメラ６ａによる位相π分移動後の画像、４回目の撮像で得られる画像は、カメラ６ｂによる位相３π／２分移動後の画像である。各回の撮像の間に、測定物体１は位相π／２に相当する距離Ｌを移動することになる。したがって、本実施例においても、コンベア速度はＶ＝２Ｌ／Ｔと高速化することができ、２Ｔの時間で画像の取り込みを完了することができる。
【００２３】
図１４は本実施例のカメラ６ａ，６ｂによる撮像動作のタイミングを示しており、図中、ＡはＣＣＤカメラの電子シャッタ（すなわち光電変換部と電荷蓄積部の間の電子スイッチ）が開く露光のタイミング、ＢはＣＣＤカメラの電荷蓄積部から電荷転送部（すなわちＣＣＤ部分）への電荷読出のタイミングである。このタイムチャートから明らかなように、本実施例では、カメラ６ａと６ｂは全ての動作がＴ／２の時間ずれている。
【００２４】
（実施例８）
図１５は本発明の実施例８による撮像動作のタイミングを示している。装置の構成は図１２と同じであり、カメラ６ａと６ｂにより取り込まれる画像は図１３と同じである。本実施例では、カメラ６ａと６ｂは露光のタイミングのみがＴ／２の時間ずれており、その他の動作については同期している。すなわち、ＣＣＤカメラは撮像間隔Ｔのうち、電子シャッタが開いていた瞬間の画像を電荷蓄積部に捉えており、この画像が同期信号にしたがって読み出されるものであるから、カメラ６ａと６ｂの画像データの読み出しのタイミングが同じであっても、電子シャッタが開く露光のタイミングがＴ／２の時間ずれていれば、実施例７と同様の動作が実現できる。
【００２５】
なお、実施例７と８では、各カメラ６ａ，６ｂの画像はカメラの光軸間隔だけずれているので、カメラ２つが対応する部分の画像だけを用いる。また、カメラ６ａ，６ｂを傾けて同一視野を撮像するときは、傾きに対して画像を補正する必要がある。
【００２６】
（実施例９）
図１６は本発明の実施例９の装置を示している。本実施例では、赤、緑、青の高輝度ＬＥＤを組み合わせて作った３色光を照射する光源３と、その前部に赤、緑、青の特定の光だけを通す３枚のカラーフィルタ５Ｒ，５Ｇ，５Ｂを配置した照明手段を有している。また、撮像手段としては、カラーカメラ６ｃを用いている。図１７は３枚のカラーフィルタの配置を真上から見た図である。赤、緑、青の濃淡で形成された正弦波パターンの位相はπ／２ずつずれており、赤色の濃淡で形成された正弦波パターンの位相を０とすると、緑色の濃淡で形成された正弦波パターンの位相はπ／２遅れており、青色の濃淡で形成された正弦波パターンの位相はさらにπ／２遅れている。したがって、コンベア２上を移動している測定物体１をカラーカメラ６ｃで撮像すると、Ｒ、Ｇ、Ｂ成分の画像は、図１８に示すように、赤、緑、青の順で位相がπ／２ずつずれており、位相０の画像（Ｒ成分の画像）、位相π／２分移動後の画像（Ｇ成分の画像）、位相π分移動後の画像（Ｂ成分の画像）を同時に取り込んだのと同じことになる。そして、測定物体１が位相３π／２に相当する距離（＝３Ｌ）を移動した後、再び、Ｒ成分の画像を取り込めば、リアルタイムに位相を０、π／２、π、３π／２ずらした画像をメモリに取り込むことができる。また、カラーカメラ６ｃによる撮像間隔をＴとすると、コンベア２の速度はＶ＝３Ｌ／Ｔにまで高速化することができる。なお、本実施例において、光源３はＬＥＤでなくても良く、ほぼレンズの焦点位置で点光源として、３原色成分を含む光を照射できるものであれば良い。例えば、レーザー光源であっても良い。
【００２７】
（実施例１０）
図１９は本発明の実施例１０の装置を示している。本実施例では、赤、緑、青の高輝度ＬＥＤを組み合わせて３色光を順次に照射する光源３を備え、正弦波パターンのフィルタ５にはグレイフィルタを１枚用いている。また、撮像手段にはカラーカメラ６ｃを用いている。コンベア２上を移動している測定物体１に赤、緑、青の光源３を間隔Ｔ／３で順次に発光させ、カラーカメラ６ｃで撮像し、撮像されたＲ、Ｇ、Ｂ成分の画像を赤、緑、青の順で次々に画像メモリに転送する。
【００２８】
まず、最初に赤色の光源が発光すると、図２０に示すように、位相０の画像（Ｒ成分の画像）が撮像され、次に、Ｔ／３の時間経過後に緑色の光源が発光すると、位相π／２分移動後の画像（Ｇ成分の画像）が撮像され、さらに、Ｔ／３の時間経過後に青色の光源が発光すると、位相π分移動後の画像（Ｂ成分の画像）が撮像される。この赤、緑、青の光源が順次に発光する間、カラーカメラ６ｃの電子シャッタは開いており、ストロボ光源３の発光時にのみＲ、Ｇ、Ｂ成分の電荷蓄積が行われる。そして、図２１に示すように、赤、緑、青の光源の順次発光が完了すると、画像データの読み出しが行われる。その後、青色の光源の発光時からＴ／３の時間の経過後に再び赤色の光源が発光し、位相３π／２分移動後の画像（Ｒ成分の画像）が撮像される。
【００２９】
本実施例においても、実施例９と同様に、コンベアの速度はＶ＝３Ｌ／Ｔにまで高速化することができる。また、光源はＬＥＤでなくても良く、ほぼレンズの焦点位置で点光源として、３原色光を順次に照射できるものであれば良い。例えば、レーザー光源であっても良い。
【００３０】
（実施例１１）
図２２は本発明の実施例１１の装置を示している。本実施例では、赤、緑、青、赤外のカラーフィルターの付いた４台のカメラ６ａ，６ｂ，６ｃ，６ｄを測定物体１の移動方向に間隔Ｌで配置し、赤、緑、青、赤外の高輝度ＬＥＤを組み合わせて作った４色光を同時に照射する光源３の前部に正弦波パターンのグレイフィルタ５を配置している。本実施例では、図２３に示すように、位相０に相当する画像は赤成分画像、π／２に相当する画像は緑成分画像、πに相当する画像は青成分画像、３π／２に相当する画像は赤外成分画像として撮像され、位相を算出するための４枚の画像を１度に撮像できる。ただし、光源３はＬＥＤでなくてもよく、ほぼレンズの焦点位置で点光源として、４色光を同時に照射できるものであればよい。例えば、レーザー光源であっても良い。
【００３１】
（実施例１２）
図２４は本発明の実施例１２の装置を示している。本実施例では、照明手段を測定物体１の移動方向の前後両方向に配置し、撮像手段を測定物体１の真上方向に配置したものである。外装材のような比較的溝の深い形状をもった測定物体に対する３次元形状計測では、撮像手段の死角や照明手段の死角が問題となる。つまり、照明手段からの光が溝の深い部分にまで届かない、あるいは、撮像手段による視野が溝の深い部分にまで及ばないことがある。そこで、本実施例では、撮像手段としてのカメラ６を測定物体１の真上に配置することにより、溝の深い部分まで観察できるようにすると共に、照明手段についても、測定物体１の移動方向の前後両方向に配置して溝の深い部分まで照明できるようにした。一対の光源３ａ，３ｂは交互に発光し、各光源３ａ，３ｂからの光はレンズ４ａ，４ｂにより入射角度の異なる平行光に変換され、フィルタ５ａ，５ｂにより明暗が正弦波状に変化するパターンとして測定物体１の上に投影される。測定物体１の上に投影される正弦波状のパターンは位相がπ／４ずれている。これは、一方の光源３ａが発光して撮像された画像と、その後、他方の光源３ｂが遅れて発光して撮像された画像の位相を同じにするためである。
【００３２】
図２５は本実施例のカメラ６により撮像される画像を示している。まず、光源３ａが発光して位相０の画像が撮像される。次に、光源３ｂが発光するが、このとき、図２６に示すように、測定物体１は位相π／４に相当する距離だけ移動しているので、光源３ｂにより照射される正弦波パターンは、光源３ａにより照射される正弦波パターンに比べて位相π／４に相当する距離だけずらせて照射される。これにより、光源３ｂの発光時にも位相０の画像が撮像される。これら光源３ａと３ｂの発光時に撮像された画像を合成することにより、死角の無い位相０の画像が撮像される。次に、光源３ａが発光して位相π／２の画像が撮像されるが、このとき、測定物体１は、前回の光源３ａの発光時に対して位相π／２に相当する距離だけ移動している。次に、光源３ｂが発光して位相π／２の画像が撮像されるが、このとき、上述のように、測定物体１は光源３ａの発光時に比べて位相π／４に相当する距離だけ移動している。これら光源３ａと３ｂの発光時に撮像された画像を合成することにより、死角の無い位相π／２の画像が撮像される。以下、同様にして、死角の無い位相πの画像、位相３π／２の画像が撮像される。
【００３３】
（実施例１３）
図２７は本発明の実施例１３の装置を示している。本実施例では、前記実施例１２の光源３ａと３ｂに代えて、赤と青の光源３Ｒ，３Ｂを用いると共に、撮像手段としてカラーカメラ６ｃを用いたものである。また、測定物体１の上に投影される各光源３Ｒ，３Ｂによる２つの正弦波パターンは同一位相であり、赤と青の光源３Ｒ，３Ｂは連続照射とする。カラーカメラ６ｃでコンベア２上を移動している測定物体１を撮像し、図２８に示すように、Ｒ成分の画像とＢ成分の画像を合成することにより、死角の無い位相０、π／２、π、３π／２の画像をメモリに取り込むものである。
【００３４】
（実施例１４）
図２９は本発明の実施例１４の装置を示している。本実施例では、撮像手段として２台のカメラ６ａ，６ｂを測定物体１の移動方向の前後両方向に配置し、照明手段を測定物体１の真上方向に配置したものである。２台のカメラ６ａ，６ｂは同時に画像を取り込み、図３０に示すように、カメラ６ａの画像とカメラ６ｂの画像を合成して、１枚の画像を得るものである。その他の構成及び動作は実施例１と同様である。
【００３５】
（実施例１５）
図３１は本発明の実施例１５の装置を示している。本実施例では、照明手段や撮像手段を死角が生じないように回転させることを可能としている。上述のように、外装材のような比較的溝の深い形状（縦目地・横目地など）を有する測定物体に対する３次元形状計測では、カメラの死角や照明の死角が問題となるので、例えば、図３２（ａ）のように目地の方向と照明の方向が一致して死角を生じたときには、フィルタ５やカメラ６を回転させて、図３２（ｂ）のように死角が生じない測定を可能とするものである。
【００３６】
（実施例１６）
図３３は本発明の実施例１６の動作を示している。本実施例では、入射角度の変化に伴う光強度の変化を求めておき、補正することで測定精度を向上させている。位相シフト法による計測では、同一点の強度を比較する必要があるため、測定物体の移動に伴い、カメラへの入射角度が変化することで生じる光強度の変化が測定精度に影響を与える。この問題を解決するために、本実施例では、図に示すような各種の入射角度θ１〜θ４に対する光強度の変化を予め求めておき、同一点の光強度を比較する前に、入射角度に応じて光強度を補正するものである。
【００３７】
（実施例１７）
図３４は本発明の実施例１７の動作を示している。本実施例では、カメラ６とレンズ７を用いてテレセントリック光学系を構成し、カメラ６への入射角度を常に一定に保てるようにする。これにより、カメラ６への入射角度の変化を無くし、実際の位置と撮像位置の違いを解消し、測定精度を向上させるものである。
【００３８】
（実施例１８）
図３５は本発明の実施例１８の装置を示している。本実施例では、撮像されるコンベア２上の画像（図３７参照）から正弦波パターン状の光強度分布よりπ／２に相当する距離Ｌを求め、コンベア速度Ｖ＝Ｌ／Ｔを自動的に設定するものである。この方法により、コンベア制御が簡単になり、移動する測定物体の形状を精度良く３次元計測できる。
【００３９】
（実施例１９）
図３６は本発明の実施例１９の装置を示している。図中、フィルタ５は液晶素子よりなり、光源３及びレンズ４と共に液晶プロジェクタを構成している。図３７は液晶プロジェクタにより基準面上に投影される正弦波パターンとその照射強度の分布を示している。本実施例では、コンベア速度Ｖを実測し、撮像されるコンベア上の画像から正弦波パターン状の光強度分布の周期４ＶＴを求め、液晶プロジェクタに自動的に正弦波パターンの濃淡画像を設定する。この方法により、コンベア速度に対応して、移動する測定物体の形状を精度良く３次元計測できる。
【００４０】
（実施例２０）
図３８は本発明の実施例２０で形状測定の対象となる外装材の断面形状を示している。外装材のような板状物体は反ってコンベア上を搬送されてくるものが多い。そこで、本実施例では、図３９に示すように、位相シフト法による高さ演算の後、全体にローパスフィルターを掛けて、反りの形状のみを演算し、この高さ成分を除去することで、実際の外装材の形状を検出する。また、外装材のような特定の意匠を有する対象物体では、その意匠の計測にも使用できる。
【００４１】
（実施例２１）
図４０は本発明の実施例２１で形状測定の対象となる外装材の断面形状を示しており、図４１はその要部断面形状を示している。本実施例では、図４２に示すように、位相シフト法による高さ演算の後、まず、高さが１番低くなる目地底を求め、次に目地底からの高さより目地位置を求め、目地幅を求めるものである。
【００４２】
【発明の効果】
請求項１の発明によれば、正弦波パターンの周期から測定物体の速度が自動設定されることにより、また、請求項２の発明によれば、移動速度から正弦波パターンが自動設定されることにより、位相シフト法による３次元形状計測の操作が簡略化できる。
請求項１又は２の発明によれば、照明による死角部分が生じることなく、移動する測定物体の３次元形状を位相シフト法により精度良く計測することができる。
【図面の簡単な説明】
【図１】 実施例１の装置の全体構成を示す斜視図である。
【図２】 実施例１の装置の画像処理部の概略構成図である。
【図３】 実施例１の装置により投影される正弦波パターンを示す説明図である。
【図４】 実施例１の装置の画像メモリに取り込まれた画像を示す説明図である。
【図５】 実施例２の装置による撮像動作のタイミングを示す説明図である。
【図６】 実施例３の装置の全体構成を示す斜視図である。
【図７】 実施例３の装置による撮像動作のタイミングを示す説明図である。
【図８】 実施例４の装置による撮像動作のタイミングを示す説明図である。
【図９】 実施例５の装置による撮像動作のタイミングを示す説明図である。
【図１０】 実施例６の装置の全体構成を示す斜視図である。
【図１１】 実施例６の装置による撮像動作を示す説明図である。
【図１２】 実施例７の装置の全体構成を示す斜視図である。
【図１３】 実施例７の装置による撮像動作を示す説明図である。
【図１４】 実施例７の装置による撮像動作のタイミングを示す説明図である。
【図１５】 実施例８の装置による撮像動作のタイミングを示す説明図である。
【図１６】 実施例９の装置の全体構成を示す斜視図である。
【図１７】 実施例９の装置に用いるカラーフィルタの配置を示す説明図である。
【図１８】 実施例９の装置による撮像動作を示す説明図である。
【図１９】 実施例１０の装置の全体構成を示す斜視図である。
【図２０】 実施例１０の装置による撮像動作を示す説明図である。
【図２１】 実施例１０の装置による撮像動作のタイミングを示す説明図である。
【図２２】 実施例１１の装置の全体構成を示す斜視図である。
【図２３】 実施例１１の装置による撮像動作を示す説明図である。
【図２４】 実施例１２の装置の全体構成を示す斜視図である。
【図２５】 実施例１２の装置による撮像動作を示す説明図である。
【図２６】 実施例１２の装置の動作説明のための斜視図である。
【図２７】 実施例１３の装置の全体構成を示す斜視図である。
【図２８】 実施例１３の装置による撮像動作を示す説明図である。
【図２９】 実施例１４の装置の全体構成を示す斜視図である。
【図３０】 実施例１４の装置による撮像動作を示す説明図である。
【図３１】 実施例１５の装置の全体構成を示す斜視図である。
【図３２】 実施例１５の装置による撮像動作を示す説明図である。
【図３３】 実施例１６の装置の動作説明図である。
【図３４】 実施例１７の装置の動作説明図である。
【図３５】 実施例１８の装置の全体構成を示す斜視図である。
【図３６】 実施例１９の装置の全体構成を示す斜視図である。
【図３７】 実施例１９の装置により基準面上に投影される正弦波パターンとその照射強度の分布を示す説明図である。
【図３８】 実施例２０で形状測定の対象となる外装材の断面図である。
【図３９】 実施例２０の動作を示す流れ図である。
【図４０】 実施例２１で形状測定の対象となる外装材の断面図である。
【図４１】 図４０の要部拡大断面図である。
【図４２】 実施例２１の動作を示す流れ図である。
【図４３】 従来例の原理説明のための斜視図である。
【符合の説明】
１ 測定物体
２ コンベア
３ 光源
４ レンズ
５ フィルタ
６ カメラ
７ レンズ
８ フレームグラバ
９ 画像メモリ
１０ 画像処理装置
【発明の属する技術分野】
本発明は、移動する測定物体の３次元形状を位相シフト法を用いて測定する装置に関するものであり、特に外装材等の板状物体の３次元形状を高精度に計測する用途に適するものである。
【０００２】
【従来の技術】
工業製品の分野において、立体形状を定量的に評価するに当たっては、物理的接触を伴う計測方法では、接触により、傷等を発生し、外観を損ねる恐れがある。また、オフラインや抜き取りではなく、製造工程中のインラインで計測が行えることが望ましいので、移動しながらの非接触による計測が求められる。しかしながら、工業製品等の非接触３次元計測装置において、一般的によく使用される光切断法では、高速で移動する対象物体に対しては撮像される画像の中に有効とされるデータが少ないので、高精度な計測ができない。そこで、高速で移動する物体を非接触・高精度に計測することが可能な計測装置を実現するために、撮像された画像の全点を有効なデータとできる位相シフト法を用いた画像処理装置（特開平４−９８１１１号）が提案されている。
【０００３】
一般的なＣＣＤカメラを用いた位相シフト法による３次元形状計測の手順を図４３を用いて説明する。光源３と正弦波パターンのフィルタ５を組み合わせることにより、正弦波パターン状の光強度分布を有する照明を測定物体１に照射し、測定物体１上の点をＣＣＤカメラ６で観測した場合、ＣＣＤ画面上の点ｐ（ｘ，ｙ）の強度Ｉは下式で与えられる。
【０００４】
Ｉ＝ｅ＋ｆ・ｃｏｓφ
ｅ：直流光ノイズ
ｆ：正弦波のコントラスト
φ：物体の凹凸により与えられる位相
正弦波パターンを移動させて位相をφ＋０、φ＋π／２、φ＋π、φ＋３π／２と変化させ、これに対応する強度分布Ｉ０、Ｉ１、Ｉ２、Ｉ３をもつ画像を取り込み、位相を求める。
【０００５】
α＝ｔａｎ-1｛（Ｉ３−Ｉ１）／（Ｉ０−Ｉ２）｝
この位相を用いて測定物体上の点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）は下式で与えられる。
Ｘ＝−ｓｘ
Ｙ＝ｂ＋ｓ（−ｃ−ｙｃｏｓφ）
Ｚ＝ａ＋ｓ（−ｄ＋ｙｓｉｎφ）
ｓ＝（−ｂｃｏｓθ）／ｕ
θ＝ｔａｎ-1（ｌα／ａ）
ｕ＝（−ｃ−ｙｃｏｓφ）ｃｏｓθ＋（−ｄ＋ｙｓｉｎφ）ｓｉｎθ
φ＝ｔａｎ-1（ｂ／ａ）
ｃ＝ａｍ
ｄ＝ｂｍ
ｌ：基準面に投影された正弦波パターンのピッチ
ｍ：カメラ倍率
これらの式より測定物体に対する３次元形状を計測するものである。
【０００６】
【発明が解決しようとする課題】
上述のように、位相シフト法を用いたこれまでの装置は、正弦波パターンを移動させて高さを測定する装置のみで、物体を移動させて測定する装置はない。また、物体が移動している場合には、物体が固定している場合と違い、物体が移動することで、これまでの照明では生じなかった入射角度の変化による死角ができ、精度が落ちる場合がある。本発明の目的は、このような問題を解決できる３次元形状計測装置を提案すると共に、位相シフト法による３次元形状計測の操作を簡略化することにある。
【０００７】
【課題を解決するための手段】
本発明によれば、上記の課題を解決するために、図１及び図２に示すように、移動する測定物体１の３次元形状を計測する装置において、
測定物体１の移動方向に所定の周期の正弦波パターン状の光強度分布を有する略平行光な照明を測定物体１に上方から照射する照明手段（光源３、レンズ４、フィルタ５）と、
測定物体１を撮像する撮像手段（カメラ６、レンズ７、フレームグラバ８）と、
測定物体１が少なくとも４通りの位相（好ましくは位相０、π／２、π、３π／２）に相当する距離移動する毎に撮像された画像を格納する画像メモリ９と、
画像メモリ９内の画像から位相シフト法により高さを求める演算手段１０とを具備する。
ここで、正弦波パターンの周期と測定物体１の移動速度を適合させるには、撮像した正弦波パターン状の光強度分布から正弦波パターンの位相π／２分に相当する距離を測定し、この測定された距離を複数又は１回の撮像間隔の間に移動するように測定物体１の移動速度を自動的に設定すると良い。もしくは、測定物体の移動速度を実測し、該移動速度に適合するように、液晶プロジェクタよりなる照明手段により正弦波パターンの周期を設定すると良い。
【０００８】
【発明の実施の形態】
（実施例１）
以下、本発明を実施例により説明する。図１は本発明を実施するための装置の一例を示す図である。測定物体１は外装材であり、コンベア２により矢印Ｇに示す方向に移動されている。光源３とレンズ４より平行光を作成し、その前部に正弦波パターン状の濃淡を有するフィルタ５を配置して成る照明手段により、測定物体としての外装材１の真上から明暗が正弦波状に変化するパターンが投影される。カメラ６とレンズ７の光軸をずらすことで測定物体としての外装材１の表面に焦点が合うように斜め方向に配置された撮像手段により、外装材表面の凹凸により生じる投影パターンの変形が観測できるように光学系が構成される。コンベア２は正弦波状の光強度分布の位相π／２に相当する距離Ｌずつ移動し、カメラ６はコンベア２が距離Ｌ移動する毎に撮像する。図２は画像処理系のブロック図である。カメラ６の画像はフレームグラバ８に入力され、量子化されて画像メモリ９に転送される。画像メモリ９に転送された画像は処理装置１０により位相シフト法を用いて位相演算され、高さを計測される。
【０００９】
このような構成を用いることにより、移動による物体表面上の各点での照明の入射角の変化による補正をする必要がなく、また、照明の当たらない部分を無くすことができ、撮像した画像の全点をデータとして活用した画像処理が可能となり、移動する対象物体の形状を精度良く３次元測定できる。
【００１０】
図３は本実施例の装置により投影される正弦波パターンであり、正弦波パターンの明暗方向は、外装材１の移動方向と同一方向にする。図４は本装置のカメラ６により撮像され、画像メモリ９に記憶された移動距離０、Ｌ、２Ｌ、３Ｌで撮像された画像、すなわち正弦波状の光強度分布の位相を０、π／２、π、３π／２とずらして撮像された画像である。
【００１１】
（実施例２）
本発明の実施例２の動作を図５に示す。装置の構成は図１及び図２と同様である。図５はカメラによる撮像動作のタイミングを示しており、図中、ＡはＣＣＤカメラの電子シャッタ（すなわち光電変換部と電荷蓄積部の間の電子スイッチ）が開く露光のタイミング、ＢはＣＣＤカメラの電荷蓄積部から電荷転送部（すなわち電荷結合素子）への電荷読出のタイミングである。ここで、露光の間隔をＴとし、正弦波状の光強度分布の位相π／２に相当する測定物体の移動距離をＬとすると、本実施例では、コンベア速度Ｖ＝Ｌ／Ｔで連続して測定物体を移動させ、４フレームの時間（＝４Ｔ）で図４に示した４枚の画像データを撮像する。この撮像は、コンベア速度に同期した撮像なので、位相を０、π／２、π、３π／２ずらした画像が、カメラの撮像間隔Ｔで連続的に画像メモリに取り込める。
【００１２】
本実施例では、連続で移動している測定物体に対して、位相を０、π／２、π、３π／２ずらした画像をリアルタイムで取り込むことができるので、外装材の製造工程において形状計測を行う場合、オフラインでなく、インライン対応の装置を実現できる。
【００１３】
（実施例３）
図６は本発明の実施例３の装置を示している。本実施例では、コンベア２の移動量をエンコーダ１１によりモニターしており、測定物体１が位相π／２に相当する距離Ｌを移動する毎にエンコーダ１１によりカメラ６に露光のタイミングを決めるためのトリガを与える。図７は本実施例の動作を示しており、図中、Ａはエンコーダ１１からのトリガに応答した露光のタイミングを示している。図５に示した実施例２の動作では露光の間隔Ｔは一定であったが、実施例３では、露光の間隔はエンコーダ１１から与えられるトリガ信号の間隔に応じて決まる。これにより、コンベア２の速度が正確に設定されていなくても、画像メモリには位相を０、π／２、π、３π／２ずらした画像を確実に取り込むことができる。このように、本実施例では、コンベア２の移動量をモニターするエンコーダ１１を用いることで移動距離Ｌが正確に検出でき、高精度な測定が可能となる。
【００１４】
（実施例４）
本発明の実施例４の動作を図８に示す。装置の構成は図１及び図２と同様である。本実施例４では、コンベアの速度が遅く、測定物体がＶ＝Ｌ／ｎＴ（ｎ＝２，３，４，…）で連続移動している場合について、カメラの撮像間隔Ｔのｎ倍毎に撮像される画像を抽出する、つまり、複数の画像の中から位相０、π／２、π、３π／２ずらした画像のみを抽出し、他の画像は間引くことにより、コンベアの速度と撮像の間隔を合わせている。
【００１５】
一般に、工場内の製造ライン速度は予め決まっている場合が多い。また、カメラの撮像間隔も一般的には１／３０秒であり、予め決まっている。そのため、正弦波パターンは、コンベアの速度に対して設定しなくてはならない。実施例２のように、Ｖ＝Ｌ／Ｔとした場合、コンベアの速度Ｖが遅いと、正弦波パターンの１周期（＝４Ｌ）は短くなるが、ＣＣＤカメラの画素分解能の関係からＣＣＤ画面上で反射光を画素毎に分離できず、正弦波分布と見なせなくなり、計測精度が落ちることがある。また、コンベアの速度Ｖが速いと、正弦波パターンの１周期（＝４Ｌ）は長くなるが、ＣＣＤカメラの１視野内に正弦波パターンを作成することができなくなる場合がある。
【００１６】
この問題を解決するために、本実施例では、コンベアの速度が低速度の場合には、複数の画像の中から位相０、π／２、π、３π／２ずらした画像を抽出し、コンベアの速度に関係なく、正弦波パターンの周期を設定できるようにしたものである。
【００１７】
（実施例５）
本発明の実施例５の動作を図９に示す。装置の構成は図１及び図２と同様である。ただし、光源はストロボ光源とし、コンベアの移動量をモニターするエンコーダ（図６参照）により発光のタイミングを決めるためのトリガを与える。図９において、Ａはエンコーダからのトリガに応答したストロボ光源の発光及びＣＣＤカメラの露光のタイミングを示している。また、ＢはＣＣＤカメラの電荷読出のタイミングであるが、本実施例では、ストロボ発光直後に読み出された画像データのみを使用している。すなわち、実施例４と同様に、コンベアの速度が遅く、測定物体がＶ＝Ｌ／ｎＴ（ｎ＝２，３，４，…）で連続移動している場合について、測定物体が位相π／２に相当する距離Ｌを移動する毎にエンコーダによりストロボ光源にトリガ信号を与えて、光源を発光させたタイミングで位相を０、π／２、π、３π／２ずらした画像を取り込むものである。
【００１８】
次に、コンベアの速度が速い場合に、複数のカメラあるいは複数の照明手段を用いて、リアルタイムに位相を０、π／２、π、３π／２ずらした画像をメモリに取り込む実施例について説明する。
【００１９】
（実施例６）
図１０は本発明の実施例６の装置を示している。本実施例では測定物体１の移動方向に間隔Ｌで２台のカメラ６ａ，６ｂを配置し、これらのカメラ６ａ，６ｂで同時にコンベア２上を移動している測定物体１を撮像し、撮像された画像をカメラ６ａ，６ｂの順で次々に画像メモリに転送するものである。
【００２０】
図１１は本実施例の動作を示しており、位相０、πに相当する画像はカメラ６ａで、位相π／２、３π／２に相当する画像はカメラ６ｂで、連続的に撮像される。１回目の撮像で得られる画像は、カメラ６ａについては位相０の画像、カメラ６ｂについては位相π／２分移動後の画像である。実際にはカメラ６ａと６ｂは同時に測定物体１を撮像するが、カメラ６ｂはカメラ６ａに対して位相π／２に相当する距離Ｌだけずれているので、位相π／２分移動後の画像を撮像したのと同じことになる。２回目の撮像で得られる画像は、カメラ６ａについては位相π分移動後の画像、カメラ６ｂについては位相３π／２分移動後の画像である。すなわち、１回目の撮像と２回目の撮像の間に、測定物体１は位相πに相当する距離（＝２Ｌ）移動することになる。したがって、本実施例によれば、カメラ６ａ，６ｂの撮像間隔がＴとすると、コンベア速度はＶ＝２Ｌ／Ｔと高速化することができ、２Ｔの時間で画像の取り込みを完了することができる。
【００２１】
（実施例７）
図１２は本発明の実施例７の装置を示している。本実施例では測定物体１の移動方向とは垂直な方向に２台のカメラ６ａ，６ｂを配置し、カメラ６ａ，６ｂの同期信号を撮像間隔Ｔの半分の時間（＝Ｔ／２）だけずらして、コンベア２上を移動している測定物体１を位相π／２に相当する距離Ｌ移動するごとに交互に撮像し、撮像された画像をカメラ６ａ，６ｂの順で次々に画像メモリに転送するものである。
【００２２】
図１３は本実施例の動作を示しており、位相０、πに相当する画像はカメラ６ａで、位相π／２、３π／２に相当する画像はカメラ６ｂで、Ｔ／２の時間毎に交互に連続的に撮像される。１回目の撮像で得られる画像は、カメラ６ａによる位相０の画像、２回目の撮像で得られる画像は、カメラ６ｂによる位相π／２分移動後の画像である。３回目の撮像で得られる画像は、カメラ６ａによる位相π分移動後の画像、４回目の撮像で得られる画像は、カメラ６ｂによる位相３π／２分移動後の画像である。各回の撮像の間に、測定物体１は位相π／２に相当する距離Ｌを移動することになる。したがって、本実施例においても、コンベア速度はＶ＝２Ｌ／Ｔと高速化することができ、２Ｔの時間で画像の取り込みを完了することができる。
【００２３】
図１４は本実施例のカメラ６ａ，６ｂによる撮像動作のタイミングを示しており、図中、ＡはＣＣＤカメラの電子シャッタ（すなわち光電変換部と電荷蓄積部の間の電子スイッチ）が開く露光のタイミング、ＢはＣＣＤカメラの電荷蓄積部から電荷転送部（すなわちＣＣＤ部分）への電荷読出のタイミングである。このタイムチャートから明らかなように、本実施例では、カメラ６ａと６ｂは全ての動作がＴ／２の時間ずれている。
【００２４】
（実施例８）
図１５は本発明の実施例８による撮像動作のタイミングを示している。装置の構成は図１２と同じであり、カメラ６ａと６ｂにより取り込まれる画像は図１３と同じである。本実施例では、カメラ６ａと６ｂは露光のタイミングのみがＴ／２の時間ずれており、その他の動作については同期している。すなわち、ＣＣＤカメラは撮像間隔Ｔのうち、電子シャッタが開いていた瞬間の画像を電荷蓄積部に捉えており、この画像が同期信号にしたがって読み出されるものであるから、カメラ６ａと６ｂの画像データの読み出しのタイミングが同じであっても、電子シャッタが開く露光のタイミングがＴ／２の時間ずれていれば、実施例７と同様の動作が実現できる。
【００２５】
なお、実施例７と８では、各カメラ６ａ，６ｂの画像はカメラの光軸間隔だけずれているので、カメラ２つが対応する部分の画像だけを用いる。また、カメラ６ａ，６ｂを傾けて同一視野を撮像するときは、傾きに対して画像を補正する必要がある。
【００２６】
（実施例９）
図１６は本発明の実施例９の装置を示している。本実施例では、赤、緑、青の高輝度ＬＥＤを組み合わせて作った３色光を照射する光源３と、その前部に赤、緑、青の特定の光だけを通す３枚のカラーフィルタ５Ｒ，５Ｇ，５Ｂを配置した照明手段を有している。また、撮像手段としては、カラーカメラ６ｃを用いている。図１７は３枚のカラーフィルタの配置を真上から見た図である。赤、緑、青の濃淡で形成された正弦波パターンの位相はπ／２ずつずれており、赤色の濃淡で形成された正弦波パターンの位相を０とすると、緑色の濃淡で形成された正弦波パターンの位相はπ／２遅れており、青色の濃淡で形成された正弦波パターンの位相はさらにπ／２遅れている。したがって、コンベア２上を移動している測定物体１をカラーカメラ６ｃで撮像すると、Ｒ、Ｇ、Ｂ成分の画像は、図１８に示すように、赤、緑、青の順で位相がπ／２ずつずれており、位相０の画像（Ｒ成分の画像）、位相π／２分移動後の画像（Ｇ成分の画像）、位相π分移動後の画像（Ｂ成分の画像）を同時に取り込んだのと同じことになる。そして、測定物体１が位相３π／２に相当する距離（＝３Ｌ）を移動した後、再び、Ｒ成分の画像を取り込めば、リアルタイムに位相を０、π／２、π、３π／２ずらした画像をメモリに取り込むことができる。また、カラーカメラ６ｃによる撮像間隔をＴとすると、コンベア２の速度はＶ＝３Ｌ／Ｔにまで高速化することができる。なお、本実施例において、光源３はＬＥＤでなくても良く、ほぼレンズの焦点位置で点光源として、３原色成分を含む光を照射できるものであれば良い。例えば、レーザー光源であっても良い。
【００２７】
（実施例１０）
図１９は本発明の実施例１０の装置を示している。本実施例では、赤、緑、青の高輝度ＬＥＤを組み合わせて３色光を順次に照射する光源３を備え、正弦波パターンのフィルタ５にはグレイフィルタを１枚用いている。また、撮像手段にはカラーカメラ６ｃを用いている。コンベア２上を移動している測定物体１に赤、緑、青の光源３を間隔Ｔ／３で順次に発光させ、カラーカメラ６ｃで撮像し、撮像されたＲ、Ｇ、Ｂ成分の画像を赤、緑、青の順で次々に画像メモリに転送する。
【００２８】
まず、最初に赤色の光源が発光すると、図２０に示すように、位相０の画像（Ｒ成分の画像）が撮像され、次に、Ｔ／３の時間経過後に緑色の光源が発光すると、位相π／２分移動後の画像（Ｇ成分の画像）が撮像され、さらに、Ｔ／３の時間経過後に青色の光源が発光すると、位相π分移動後の画像（Ｂ成分の画像）が撮像される。この赤、緑、青の光源が順次に発光する間、カラーカメラ６ｃの電子シャッタは開いており、ストロボ光源３の発光時にのみＲ、Ｇ、Ｂ成分の電荷蓄積が行われる。そして、図２１に示すように、赤、緑、青の光源の順次発光が完了すると、画像データの読み出しが行われる。その後、青色の光源の発光時からＴ／３の時間の経過後に再び赤色の光源が発光し、位相３π／２分移動後の画像（Ｒ成分の画像）が撮像される。
【００２９】
本実施例においても、実施例９と同様に、コンベアの速度はＶ＝３Ｌ／Ｔにまで高速化することができる。また、光源はＬＥＤでなくても良く、ほぼレンズの焦点位置で点光源として、３原色光を順次に照射できるものであれば良い。例えば、レーザー光源であっても良い。
【００３０】
（実施例１１）
図２２は本発明の実施例１１の装置を示している。本実施例では、赤、緑、青、赤外のカラーフィルターの付いた４台のカメラ６ａ，６ｂ，６ｃ，６ｄを測定物体１の移動方向に間隔Ｌで配置し、赤、緑、青、赤外の高輝度ＬＥＤを組み合わせて作った４色光を同時に照射する光源３の前部に正弦波パターンのグレイフィルタ５を配置している。本実施例では、図２３に示すように、位相０に相当する画像は赤成分画像、π／２に相当する画像は緑成分画像、πに相当する画像は青成分画像、３π／２に相当する画像は赤外成分画像として撮像され、位相を算出するための４枚の画像を１度に撮像できる。ただし、光源３はＬＥＤでなくてもよく、ほぼレンズの焦点位置で点光源として、４色光を同時に照射できるものであればよい。例えば、レーザー光源であっても良い。
【００３１】
（実施例１２）
図２４は本発明の実施例１２の装置を示している。本実施例では、照明手段を測定物体１の移動方向の前後両方向に配置し、撮像手段を測定物体１の真上方向に配置したものである。外装材のような比較的溝の深い形状をもった測定物体に対する３次元形状計測では、撮像手段の死角や照明手段の死角が問題となる。つまり、照明手段からの光が溝の深い部分にまで届かない、あるいは、撮像手段による視野が溝の深い部分にまで及ばないことがある。そこで、本実施例では、撮像手段としてのカメラ６を測定物体１の真上に配置することにより、溝の深い部分まで観察できるようにすると共に、照明手段についても、測定物体１の移動方向の前後両方向に配置して溝の深い部分まで照明できるようにした。一対の光源３ａ，３ｂは交互に発光し、各光源３ａ，３ｂからの光はレンズ４ａ，４ｂにより入射角度の異なる平行光に変換され、フィルタ５ａ，５ｂにより明暗が正弦波状に変化するパターンとして測定物体１の上に投影される。測定物体１の上に投影される正弦波状のパターンは位相がπ／４ずれている。これは、一方の光源３ａが発光して撮像された画像と、その後、他方の光源３ｂが遅れて発光して撮像された画像の位相を同じにするためである。
【００３２】
図２５は本実施例のカメラ６により撮像される画像を示している。まず、光源３ａが発光して位相０の画像が撮像される。次に、光源３ｂが発光するが、このとき、図２６に示すように、測定物体１は位相π／４に相当する距離だけ移動しているので、光源３ｂにより照射される正弦波パターンは、光源３ａにより照射される正弦波パターンに比べて位相π／４に相当する距離だけずらせて照射される。これにより、光源３ｂの発光時にも位相０の画像が撮像される。これら光源３ａと３ｂの発光時に撮像された画像を合成することにより、死角の無い位相０の画像が撮像される。次に、光源３ａが発光して位相π／２の画像が撮像されるが、このとき、測定物体１は、前回の光源３ａの発光時に対して位相π／２に相当する距離だけ移動している。次に、光源３ｂが発光して位相π／２の画像が撮像されるが、このとき、上述のように、測定物体１は光源３ａの発光時に比べて位相π／４に相当する距離だけ移動している。これら光源３ａと３ｂの発光時に撮像された画像を合成することにより、死角の無い位相π／２の画像が撮像される。以下、同様にして、死角の無い位相πの画像、位相３π／２の画像が撮像される。
【００３３】
（実施例１３）
図２７は本発明の実施例１３の装置を示している。本実施例では、前記実施例１２の光源３ａと３ｂに代えて、赤と青の光源３Ｒ，３Ｂを用いると共に、撮像手段としてカラーカメラ６ｃを用いたものである。また、測定物体１の上に投影される各光源３Ｒ，３Ｂによる２つの正弦波パターンは同一位相であり、赤と青の光源３Ｒ，３Ｂは連続照射とする。カラーカメラ６ｃでコンベア２上を移動している測定物体１を撮像し、図２８に示すように、Ｒ成分の画像とＢ成分の画像を合成することにより、死角の無い位相０、π／２、π、３π／２の画像をメモリに取り込むものである。
【００３４】
（実施例１４）
図２９は本発明の実施例１４の装置を示している。本実施例では、撮像手段として２台のカメラ６ａ，６ｂを測定物体１の移動方向の前後両方向に配置し、照明手段を測定物体１の真上方向に配置したものである。２台のカメラ６ａ，６ｂは同時に画像を取り込み、図３０に示すように、カメラ６ａの画像とカメラ６ｂの画像を合成して、１枚の画像を得るものである。その他の構成及び動作は実施例１と同様である。
【００３５】
（実施例１５）
図３１は本発明の実施例１５の装置を示している。本実施例では、照明手段や撮像手段を死角が生じないように回転させることを可能としている。上述のように、外装材のような比較的溝の深い形状（縦目地・横目地など）を有する測定物体に対する３次元形状計測では、カメラの死角や照明の死角が問題となるので、例えば、図３２（ａ）のように目地の方向と照明の方向が一致して死角を生じたときには、フィルタ５やカメラ６を回転させて、図３２（ｂ）のように死角が生じない測定を可能とするものである。
【００３６】
（実施例１６）
図３３は本発明の実施例１６の動作を示している。本実施例では、入射角度の変化に伴う光強度の変化を求めておき、補正することで測定精度を向上させている。位相シフト法による計測では、同一点の強度を比較する必要があるため、測定物体の移動に伴い、カメラへの入射角度が変化することで生じる光強度の変化が測定精度に影響を与える。この問題を解決するために、本実施例では、図に示すような各種の入射角度θ１〜θ４に対する光強度の変化を予め求めておき、同一点の光強度を比較する前に、入射角度に応じて光強度を補正するものである。
【００３７】
（実施例１７）
図３４は本発明の実施例１７の動作を示している。本実施例では、カメラ６とレンズ７を用いてテレセントリック光学系を構成し、カメラ６への入射角度を常に一定に保てるようにする。これにより、カメラ６への入射角度の変化を無くし、実際の位置と撮像位置の違いを解消し、測定精度を向上させるものである。
【００３８】
（実施例１８）
図３５は本発明の実施例１８の装置を示している。本実施例では、撮像されるコンベア２上の画像（図３７参照）から正弦波パターン状の光強度分布よりπ／２に相当する距離Ｌを求め、コンベア速度Ｖ＝Ｌ／Ｔを自動的に設定するものである。この方法により、コンベア制御が簡単になり、移動する測定物体の形状を精度良く３次元計測できる。
【００３９】
（実施例１９）
図３６は本発明の実施例１９の装置を示している。図中、フィルタ５は液晶素子よりなり、光源３及びレンズ４と共に液晶プロジェクタを構成している。図３７は液晶プロジェクタにより基準面上に投影される正弦波パターンとその照射強度の分布を示している。本実施例では、コンベア速度Ｖを実測し、撮像されるコンベア上の画像から正弦波パターン状の光強度分布の周期４ＶＴを求め、液晶プロジェクタに自動的に正弦波パターンの濃淡画像を設定する。この方法により、コンベア速度に対応して、移動する測定物体の形状を精度良く３次元計測できる。
【００４０】
（実施例２０）
図３８は本発明の実施例２０で形状測定の対象となる外装材の断面形状を示している。外装材のような板状物体は反ってコンベア上を搬送されてくるものが多い。そこで、本実施例では、図３９に示すように、位相シフト法による高さ演算の後、全体にローパスフィルターを掛けて、反りの形状のみを演算し、この高さ成分を除去することで、実際の外装材の形状を検出する。また、外装材のような特定の意匠を有する対象物体では、その意匠の計測にも使用できる。
【００４１】
（実施例２１）
図４０は本発明の実施例２１で形状測定の対象となる外装材の断面形状を示しており、図４１はその要部断面形状を示している。本実施例では、図４２に示すように、位相シフト法による高さ演算の後、まず、高さが１番低くなる目地底を求め、次に目地底からの高さより目地位置を求め、目地幅を求めるものである。
【００４２】
【発明の効果】
請求項１の発明によれば、正弦波パターンの周期から測定物体の速度が自動設定されることにより、また、請求項２の発明によれば、移動速度から正弦波パターンが自動設定されることにより、位相シフト法による３次元形状計測の操作が簡略化できる。
請求項１又は２の発明によれば、照明による死角部分が生じることなく、移動する測定物体の３次元形状を位相シフト法により精度良く計測することができる。
【図面の簡単な説明】
【図１】 実施例１の装置の全体構成を示す斜視図である。
【図２】 実施例１の装置の画像処理部の概略構成図である。
【図３】 実施例１の装置により投影される正弦波パターンを示す説明図である。
【図４】 実施例１の装置の画像メモリに取り込まれた画像を示す説明図である。
【図５】 実施例２の装置による撮像動作のタイミングを示す説明図である。
【図６】 実施例３の装置の全体構成を示す斜視図である。
【図７】 実施例３の装置による撮像動作のタイミングを示す説明図である。
【図８】 実施例４の装置による撮像動作のタイミングを示す説明図である。
【図９】 実施例５の装置による撮像動作のタイミングを示す説明図である。
【図１０】 実施例６の装置の全体構成を示す斜視図である。
【図１１】 実施例６の装置による撮像動作を示す説明図である。
【図１２】 実施例７の装置の全体構成を示す斜視図である。
【図１３】 実施例７の装置による撮像動作を示す説明図である。
【図１４】 実施例７の装置による撮像動作のタイミングを示す説明図である。
【図１５】 実施例８の装置による撮像動作のタイミングを示す説明図である。
【図１６】 実施例９の装置の全体構成を示す斜視図である。
【図１７】 実施例９の装置に用いるカラーフィルタの配置を示す説明図である。
【図１８】 実施例９の装置による撮像動作を示す説明図である。
【図１９】 実施例１０の装置の全体構成を示す斜視図である。
【図２０】 実施例１０の装置による撮像動作を示す説明図である。
【図２１】 実施例１０の装置による撮像動作のタイミングを示す説明図である。
【図２２】 実施例１１の装置の全体構成を示す斜視図である。
【図２３】 実施例１１の装置による撮像動作を示す説明図である。
【図２４】 実施例１２の装置の全体構成を示す斜視図である。
【図２５】 実施例１２の装置による撮像動作を示す説明図である。
【図２６】 実施例１２の装置の動作説明のための斜視図である。
【図２７】 実施例１３の装置の全体構成を示す斜視図である。
【図２８】 実施例１３の装置による撮像動作を示す説明図である。
【図２９】 実施例１４の装置の全体構成を示す斜視図である。
【図３０】 実施例１４の装置による撮像動作を示す説明図である。
【図３１】 実施例１５の装置の全体構成を示す斜視図である。
【図３２】 実施例１５の装置による撮像動作を示す説明図である。
【図３３】 実施例１６の装置の動作説明図である。
【図３４】 実施例１７の装置の動作説明図である。
【図３５】 実施例１８の装置の全体構成を示す斜視図である。
【図３６】 実施例１９の装置の全体構成を示す斜視図である。
【図３７】 実施例１９の装置により基準面上に投影される正弦波パターンとその照射強度の分布を示す説明図である。
【図３８】 実施例２０で形状測定の対象となる外装材の断面図である。
【図３９】 実施例２０の動作を示す流れ図である。
【図４０】 実施例２１で形状測定の対象となる外装材の断面図である。
【図４１】 図４０の要部拡大断面図である。
【図４２】 実施例２１の動作を示す流れ図である。
【図４３】 従来例の原理説明のための斜視図である。
【符合の説明】
１ 測定物体
２ コンベア
３ 光源
４ レンズ
５ フィルタ
６ カメラ
７ レンズ
８ フレームグラバ
９ 画像メモリ
１０ 画像処理装置
Claims (2)
- 移動する測定物体の３次元形状を計測する装置において、
測定物体の移動方向に所定の周期の正弦波パターン状の光強度分布を有する略平行光の照明を測定物体に上方から照射する照明手段と、
測定物体を撮像する撮像手段と、
撮像した正弦波パターン状の光強度分布から正弦波パターンの位相π／２分に相当する距離を測定する手段と、
前記測定された距離を複数又は１回の撮像間隔の間に移動するように測定物体の移動速度を自動的に設定する手段と、
測定物体が少なくとも４通りの位相に相当する距離移動する毎に撮像された画像を格納する画像メモリと、
画像メモリ内の画像から位相シフト法により高さを求める演算手段とを具備することを特徴とする３次元形状計測装置。 - 移動する測定物体の３次元形状を計測する装置において、
測定物体の移動速度を実測する手段と、
測定物体の移動方向に前記実測された移動速度に適合するように設定された所定の周期の正弦波パターン状の光強度分布を有する略平行光の照明を測定物体に上方から照射する液晶プロジェクタよりなる照明手段と、
測定物体を撮像する撮像手段と、
測定物体が少なくとも４通りの位相に相当する距離移動する毎に撮像された画像を格納する画像メモリと、
画像メモリ内の画像から位相シフト法により高さを求める演算手段とを具備することを特徴とする３次元形状計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01462298A JP3922784B2 (ja) | 1998-01-27 | 1998-01-27 | ３次元形状計測装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01462298A JP3922784B2 (ja) | 1998-01-27 | 1998-01-27 | ３次元形状計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11211443A JPH11211443A (ja) | 1999-08-06 |
| JP3922784B2 true JP3922784B2 (ja) | 2007-05-30 |
Family
ID=11866318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01462298A Expired - Lifetime JP3922784B2 (ja) | 1998-01-27 | 1998-01-27 | ３次元形状計測装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3922784B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10719915B2 (en) | 2016-02-29 | 2020-07-21 | Carl Zeiss Industrielle Messtechnik Gmbh | Method and apparatus for determining a defocusing valve and for image-based determination of a dimensional size |
| DE102018105794B4 (de) | 2017-03-15 | 2022-08-04 | Carl Zeiss Industrielle Messtechnik Gmbh | Abbildung eines Objektes mittels Schattenwurf |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7781723B1 (en) * | 1998-02-19 | 2010-08-24 | Emhart Glass S.A. | Container inspection machine using light source having spatially cyclically continuously varying intensity |
| US6750899B1 (en) * | 2000-01-07 | 2004-06-15 | Cyberoptics Corporation | Solder paste inspection system |
| DE10194788T1 (de) * | 2000-01-07 | 2003-02-27 | Cyberoptics Corp | Phasenprofilometriesystem mit telezentrischem Projektor |
| KR100383816B1 (ko) * | 2000-06-26 | 2003-05-16 | 한국전력공사 | 적응적 영역분할기를 이용한 3차원 표면 형상 측정 방법및 장치 |
| JP4605948B2 (ja) * | 2001-07-16 | 2011-01-05 | 大日本印刷株式会社 | 反り測定装置及びそれを用いた焼成装置 |
| JP4752454B2 (ja) * | 2005-11-01 | 2011-08-17 | 富士ゼロックス株式会社 | 端部位置検出方法及び端部位置検出装置 |
| JP2007192623A (ja) * | 2006-01-18 | 2007-08-02 | Tani Electronics Corp | プリント回路基板のクリーム半田印刷状態の検査装置および検査方法 |
| JP2007232474A (ja) * | 2006-02-28 | 2007-09-13 | Takaoka Electric Mfg Co Ltd | 格子パターン投影型表面形状計測装置 |
| JP4784396B2 (ja) * | 2006-05-26 | 2011-10-05 | パナソニック電工株式会社 | ３次元形状計測方法及びこれを用いた３次元形状計測装置 |
| US7495777B2 (en) * | 2006-08-08 | 2009-02-24 | Tyrex Services Group Ltd. | Method and apparatus for contact free measurement of periodically moving objects |
| US20080156619A1 (en) * | 2006-12-01 | 2008-07-03 | Mehul Patel | Range finder |
| JP2009036631A (ja) * | 2007-08-01 | 2009-02-19 | Omron Corp | 三次元形状計測装置、および当該三次元形状計測装置の製造方法 |
| JP4931728B2 (ja) * | 2007-08-08 | 2012-05-16 | シーケーディ株式会社 | 三次元計測装置及び基板検査機 |
| EP2183544B1 (en) * | 2007-08-17 | 2015-07-15 | Renishaw PLC | Non-contact measurement apparatus and method |
| IL188825A0 (en) * | 2008-01-16 | 2008-11-03 | Orbotech Ltd | Inspection of a substrate using multiple cameras |
| KR101190122B1 (ko) * | 2008-10-13 | 2012-10-11 | 주식회사 고영테크놀러지 | 다중파장을 이용한 3차원형상 측정장치 및 측정방법 |
| JP2010164424A (ja) * | 2009-01-15 | 2010-07-29 | Kurabo Ind Ltd | 非接触形状計測装置及び非接触形状計測方法 |
| US20100259746A1 (en) * | 2009-04-10 | 2010-10-14 | Omron Corporation | Profilometer |
| DE102010029319B4 (de) | 2009-05-27 | 2015-07-02 | Koh Young Technology Inc. | Vorrichtung zur Messung einer dreidimensionalen Form und Verfahren dazu |
| GB0915904D0 (en) | 2009-09-11 | 2009-10-14 | Renishaw Plc | Non-contact object inspection |
| KR20130045351A (ko) * | 2010-07-30 | 2013-05-03 | 케이엘에이-텐코 코포레이션 | 웨이퍼 톱니 자국의 ３차원 조사 장치 및 방법 |
| JP5430612B2 (ja) * | 2011-05-31 | 2014-03-05 | Ｃｋｄ株式会社 | 三次元計測装置 |
| JP5709009B2 (ja) * | 2011-11-17 | 2015-04-30 | Ckd株式会社 | 三次元計測装置 |
| JP5946208B2 (ja) * | 2012-03-29 | 2016-07-05 | 株式会社ノア | 画像処理装置 |
| EP2799810A1 (de) * | 2013-04-30 | 2014-11-05 | Aimess Services GmbH | Vorrichtung und Verfahren zum simultanen dreidimensionalen Vermessen von Oberflächen mit mehreren Wellenlängen |
| US9885561B2 (en) | 2014-12-15 | 2018-02-06 | Test Research, Inc. | Optical inspection system |
| JP6152395B2 (ja) * | 2015-03-09 | 2017-06-21 | テスト リサーチ， インク． | 光学検出システム |
| DE102016112197B4 (de) * | 2016-07-04 | 2018-05-24 | Asm Assembly Systems Gmbh & Co. Kg | Verfahren und Vorrichtung zum stereoskopischen Bestimmen von einer Information bezüglich der Höhenlage der Vorderseite eines Anschlusses |
| CN107421467B (zh) * | 2017-07-17 | 2019-09-20 | 苏州优纳科技有限公司 | 结构光三维测量方法及*** |
| JP2019159872A (ja) | 2018-03-14 | 2019-09-19 | セイコーエプソン株式会社 | 演算装置、演算装置の制御方法、および、コンピュータープログラム |
| JP7280774B2 (ja) * | 2019-08-06 | 2023-05-24 | 株式会社キーエンス | 三次元形状測定装置、三次元形状測定方法、三次元形状測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
-
1998
- 1998-01-27 JP JP01462298A patent/JP3922784B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10719915B2 (en) | 2016-02-29 | 2020-07-21 | Carl Zeiss Industrielle Messtechnik Gmbh | Method and apparatus for determining a defocusing valve and for image-based determination of a dimensional size |
| DE102018105794B4 (de) | 2017-03-15 | 2022-08-04 | Carl Zeiss Industrielle Messtechnik Gmbh | Abbildung eines Objektes mittels Schattenwurf |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11211443A (ja) | 1999-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3922784B2 (ja) | ３次元形状計測装置 | |
| US7551272B2 (en) | Method and an apparatus for simultaneous 2D and 3D optical inspection and acquisition of optical inspection data of an object | |
| JP5852527B2 (ja) | ３次元形状測定方法および基板検査方法 | |
| CN101514893B (zh) | 三维形状测量装置及方法 | |
| JP7090446B2 (ja) | 画像処理装置 | |
| CN103220964B (zh) | 带有用于表面检测的图像检测单元的齿科x射线装置和用于产生患者x射线照片的方法 | |
| JP2010532870A (ja) | 物体の表面の光学的な検査方法および検査装置 | |
| JP4808871B2 (ja) | 表面性状評価装置 | |
| JP2002257528A (ja) | 位相シフト法による三次元形状測定装置 | |
| JP2014508938A (ja) | 多重グリッドパターンを利用したビジョン検査装置 | |
| KR20130045351A (ko) | 웨이퍼 톱니 자국의 ３차원 조사 장치 및 방법 | |
| KR20080027616A (ko) | 다중 간섭계를 이용한 3차원형상 측정시스템 | |
| JP3507865B2 (ja) | Ｄｍｄを用いたｃｃｄカメラによる実時間形状計測方法と装置 | |
| JP2010528314A (ja) | 立体形状測定装置 | |
| JP2011043504A (ja) | 対象物の表面を光学検査するための装置および方法 | |
| CN110402386A (zh) | 圆筒体表面检查装置及圆筒体表面检查方法 | |
| JP2010078339A (ja) | ３次元形状計測装置および方法並びにプログラム | |
| JP2006170744A (ja) | ３次元距離計測装置 | |
| KR20080088946A (ko) | 입체 형상 검사 장치 및 그를 이용한 입체 형상 검사 방법 | |
| KR102080506B1 (ko) | 광학 3d 스캐너 | |
| JP6879484B2 (ja) | 画像取得装置、露光装置、及び画像取得方法 | |
| KR20230014686A (ko) | 표면을 광학적으로 검사하기 위한 방법 및 검사 장치 | |
| US20160014315A1 (en) | Apparatus and method for reconstructing a three-dimensional profile of a target surface | |
| KR20110026922A (ko) | 평판의 결함 검사 장치 및 방법 | |
| KR20200077159A (ko) | 스캔 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040212 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040224 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140302 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |