JP3574044B2 - Shape measuring device - Google Patents

Shape measuring device Download PDF

Info

Publication number
JP3574044B2
JP3574044B2 JP2000146146A JP2000146146A JP3574044B2 JP 3574044 B2 JP3574044 B2 JP 3574044B2 JP 2000146146 A JP2000146146 A JP 2000146146A JP 2000146146 A JP2000146146 A JP 2000146146A JP 3574044 B2 JP3574044 B2 JP 3574044B2
Authority
JP
Japan
Prior art keywords
mirror
coordinates
light
measuring
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000146146A
Other languages
Japanese (ja)
Other versions
JP2001338278A (en
Inventor
日出人 藤田
博明 吉田
晋平 福本
浩 蚊野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2000146146A priority Critical patent/JP3574044B2/en
Publication of JP2001338278A publication Critical patent/JP2001338278A/en
Application granted granted Critical
Publication of JP3574044B2 publication Critical patent/JP3574044B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、測定ヘッドを動かして測定台上に載置された被測定物の3次元的形状を測定する形状測定装置に関する。
【0002】
【従来の技術】
従来から、スポット光またはスリット光を被測定物に照射し、被測定物の表面に観察される光像の位置からその形状を復元する能動ステレオ型の形状測定装置が知られている。
【0003】
この能動ステレオ型の形状測定装置としては、測定台上に載置された被測定物の周囲からスリット光を回転ミラーによって走査させるものや、回転ステージを使用して、被測定物を360度の全周囲から測定するものが開発されている。
【0004】
しかしながら、被測定物が複雑な形状である場合には、回転ステージを用いても観察できない領域が存在するため、被測定物全体の形状を測定できない。
【0005】
これに対し、本願出願人は、コンパクトな測定ヘッドを手に把持し、被測定物の周りで測定ヘッドを移動させることにより測定を行う形状測定装置を既に開発している(特開2000−39310号参照)。
【0006】
この形状測定装置によれば、被測定物に対し、自由な角度から測定を行うことができるため、被測定物の形状が複雑であっても、適切に測定を行うことができる。
【0007】
【発明が解決しようとする課題】
しかしながら、被測定物の全体形状を測定するためには、測定ヘッドの位置を変えながら何度も計測を行う必要があり、計測手順が増加するという問題がある。
【0008】
そこで、本発明は、少ない測定手順で適切な3次元形状を測定することができる形状測定装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
この発明による第1の形状測定装置は、測定台上に載置された被測定物の形状を測定する測定ヘッド、測定ヘッドの位置を検出する位置検出手段、ならびに測定ヘッドと位置検出手段との出力に基づいて被測定物の3次元形状を求める演算手段を備えた形状測定装置であって、被測定物を映す鏡を測定台上に配置したことを特徴とする。
【0010】
位置検出手段としては、たとえば、2台のカメラを用いてステレオ法により測定ヘッドの位置を検出するものが用いられる。測定ヘッドとしては、たとえば、被測定物に対して光束を照射する光照射手段、および光照射手段からの光束が照射される被測定物上の測定点を撮像することにより、被測定物の実像と鏡に映った被測定物の虚像とを撮像する撮像手段を含んでいるものが用いられる。
【0011】
鏡としては、表面に光反射面が形成されているものが用いられる。この場合には、演算手段としては、たとえば、撮像手段の撮像画面上での測定点の座標と、光照射手段から出射された光束を表す平面を表す方程式とに基づいて、測定ヘッド中心の座標系での測定点の座標を求める第1手段、第1手段によって求められた各測定点の座標を、位置検出手段による検出結果に基づいて、ワールド座標系の座標に変換することにより、被測定物の実像に対する3次元形状と、鏡に映った被測定物の虚像に対する3次元形状とを求める第2手段、鏡の光反射面を表すワールド座標系での方程式を求める第3手段、鏡の光反射面を表す方程式に基づいて、虚像に対する3次元形状の光反射面に対して対称な3次元形状を求める第4手段、ならびに虚像に対する3次元形状の光反射面に対して対称な3次元形状と、被測定物の実像に対する3次元形状とを合成することにより被測定物の3次元形状を求める第5手段を備えているものが用いられる。
【0012】
鏡の光反射面を表す方程式を求める手段としては、たとえば、2台のカメラを用いてステレオ法により光反射面上の3点以上の点の座標を測定する手段、および得られた光反射面上の3点以上の点の座標に基づいて光反射面を表す方程式を求める手段を備えているものが用いられる。
【0013】
鏡の光反射面を表す方程式を求める手段としては、たとえば、光反射面上に不透明な薄板を載せた状態で、測定ヘッドを用いて薄板を撮像し、薄板の平面を特定するための3点以上の点の測定ヘッド中心の座標系での座標を抽出する手段、得られた測定ヘッド中心の座標系での3点以上の点の座標を、位置検出手段による検出結果に基づいて、ワールド座標系での座標に変換する手段、および得られたワールド座標系での3点以上の点の座標に基づいて、ワールド座標系での薄板の平面を表す方程式を求める手段を備えているものが用いられる。
【0014】
測定ヘッドの光照射手段から照射される光束が、鏡の光反射面に対して垂直に出射されるように、測定ヘッドの姿勢を規制するガイド手段を設けることが好ましい。ガイド手段は、測定ヘッドの移動経路を規制するものであることが好ましい。測定ヘッドをガイド手段に沿って移動させるための駆動手段を設けることが好ましい。
【0015】
測定ヘッドの移動経路全体を覆う筐体を設けてもよい。筐体が被測定物を挿脱するための開口部を備えていてもよい。筐体の開口部に弾性部材からなる蓋部を設け、蓋部に被測定物を挿脱するための切込部を形成してもよい。
【0016】
鏡として、表面に光反射面が形成された光反射板と、光反射板上に形成された透明板とからなるものを用いてもよい。この場合には、演算手段としては、たとえば、被測定物の実像上の測定点に対しては、撮像手段の撮像画面上での測定点の座標と、光照射手段から出射された光束を表す平面を表す方程式とに基づいて、測定ヘッド中心の座標系での測定点の座標を求める第1手段、鏡に映った被測定物の虚像上の測定点に対しては、撮像手段の撮像画面上での測定点の座標値を鏡の透明板の屈折量を考慮して補正した後の座標値と、光照射手段から出射された光束を表す平面の方程式を鏡の透明板の屈折量を考慮して補正した後の方程式とに基づいて、測定ヘッド中心の座標系での測定点の座標を求める第2手段、第1手段および第2手段によって求められた各測定点の座標を、位置検出手段による検出結果に基づいて、ワールド座標系の座標に変換することにより、被測定物の実像に対する3次元形状と、鏡に映った被測定物の虚像に対する3次元形状とを求める第3手段、鏡の光反射面を表すワールド座標系での方程式を求める第4手段、鏡の光反射面を表す方程式に基づいて、虚像に対する3次元形状の光反射面に対して対称な3次元形状を求める第5手段、ならびに虚像に対する3次元形状の光反射面に対して対称な3次元形状と、被測定物の実像に対する3次元形状とを合成することにより被測定物の3次元形状を求める第6手段を備えているものが用いられる。
【0017】
鏡の光反射面を表す方程式を求める手段としては、たとえば、2台のカメラを用いてステレオ法により、鏡が載置された測定台上の3点以上の点の座標を測定する手段、および得られた測定台上の3点以上の点の座標に基づいて光反射面を表す方程式を求める手段を備えているものが用いられる。
【0018】
測定ヘッドの光照射手段から照射される光束が、鏡の光反射面に対して垂直に出射されるように、測定ヘッドの姿勢を規制するガイド手段を設けることが好ましい。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【0020】
〔1〕形状測定装置の概略構成の説明
【0021】
図1は、形状測定装置の概略構成を示している。
【0022】
測定台201には、円弧状のガイドレール204が固定されており、そのガイドレール204で囲まれる領域に平板状の鏡205が配置されている。鏡205としては、表面に光反射面を有するステンレスミラー205が用いられている。そして、このステンレスミラー205上に、被測定物としての足100が載せられている。また、測定台201には、測定台201に対して脱着可能な支柱202が取り付けられており、その上部には、水平バー203が取り付けられている。
【0023】
形状測定装置は、測定者によって手動でガイドレール204に沿って移動せしめられる測定ヘッド10と、水平バー203の両端部に取り付けられたステレオカメラ21、22と、それらの制御、各種演算等を行うパーソナルコンピュータからなる制御装置30とを備えている。各ステレオカメラ21、22の撮像レンズには、図2に示すマーカ14が放つ光の周波数帯を選択的に透過するバンドパスフィルタ23が取り付けられている。
【0024】
〔2〕測定ヘッド10の概略構成の説明
【0025】
図2は、図1における測定ヘッド10の概略構成を示している。
【0026】
測定ヘッド10は、直方体形状で前方開口のケーシング11と、ケーシング11内に収納された1台のCCDカメラ12及びスリット光源13と、ケーシング11の上面に設けられた6つのLED光源14a〜14fからなるマーカ14とを備えている。スリット光源13としては、半導体レーザが用いられている。
【0027】
測定ヘッド10は、図示しない支持機構によって、ガイドレール204に沿って移動可能に取り付けられている。測定ヘッド10が、図示しない支持機構によって、ガイドレール204に取り付けられることにより、スリット光源13から出射される光束がステンレスミラー205に対して垂直な面に沿って出射されるように測定ヘッド10の姿勢が規制されている。
【0028】
マーカ14を構成する6つのLED光源14a〜14fは、測定ヘッド10の方向を特定するために、点対称な配置とせず、測定ヘッド10の中心線に対し線対称な配置となっている。ここでは、ケーシング11の上面にLED光源14b、14c、14d、14e、14fの5点が長方形をなすように配置され、それら5点の重心にLED光源14aが配置されている。なお、3次元空間中での測定ヘッド10の位置及び方向を測定するためには、マーカとして少なくとも3個のLED光源があれば十分であるが、4個以上のLED光源を用いることにより、測定ヘッド10の位置及び方向の測定精度が最小2乗的に向上する。
【0029】
また、形状測定装置10は、ガイドレール204上における形状測定装置10の位置を検出するためのエンコーダ16を備えている。エンコーダ16の出力は、制御装置30に入力される。
【0030】
〔3〕形状測定装置の測定原理の説明
【0031】
図3は、形状測定装置の測定原理を示している。
【0032】
測定者によってガイドレール204上を移動せしめられる測定ヘッド10を用いてある測定点Aの座標を測定する。測定された座標を測定ヘッド中心の座標系(以下、カメラ座標系という)における座標(x,y,z)で表す。カメラ座標系は、測定ヘッド10の移動とともに移動する座標系である。
【0033】
一方、被測定物100の形状は、固定した座標系で表され、この座標系をワールド座標と呼ぶ。測定ヘッド10によって測定された測定点のワールド座標系における座標を(X,Y,Z)とする。被測定物100の形状はワールド座標系で記述する必要があるため、測定ヘッド10によって測定された測定点Aのカメラ座標系における座標(x,y,z)を、ワールド座標系に変換する。この変換は、測定ヘッド10の移動を表す回転行列Rと並進ベクトルtとを用いて、次の数式1に基づいて行われる。
【0034】
【数1】

Figure 0003574044
【0035】
したがって、ワールド座標系における測定ヘッド10の位置及び方向を、回転行列Rと並進ベクトルtとして求めることで、カメラ座標系における座標(x,y,z)を、ワールド座標系に変換することができる。
【0036】
〔4〕形状測定装置による測定処理手順の説明
【0037】
この形状測定装置による形状測定は、次のような処理手順によって実行される。
【0038】
(1) 第1ステップ:ワールド座標系における測定ヘッド10の各測定位置に関する情報を、測定ヘッド10の各測定位置におけるエンコーダ16の出力値と対応付けて、制御装置30に搭載されたメモリ(図示省略)に格納する。
【0039】
(2) 第2ステップ:ワールド座標系におけるステンレスミラー205の平面を表す方程式を算出する。
【0040】
(3) 第3ステップ:測定ヘッド10を用いて、カメラ座標系における被測定物上の測定点の座標を求める。
【0041】
(4) 第4ステップ:ワールド座標系における測定ヘッド10の位置に関する情報に基づいて、カメラ座標系における被測定物上の測定点の座標を、ワールド座標系における座標に変換する。
【0042】
(5) 第5ステップ:ワールド座標系における測定点のうち、ステンレスミラー205に映り込んだ虚像上の座標を、実像上の座標に変換する。
【0043】
以下、これら各ステップについて説明する。
【0044】
〔4−1〕第1ステップについての説明
図5は、第1ステップの処理手順を説明するフローチャートである。
【0045】
まず、測定ヘッド10をガイドレール204の基準位置に配置して(ステップS01)、その位置におけるエンコーダ16の出力値を制御装置30のメモリに格納する(ステップS02)。
【0046】
次に、測定ヘッド10に設けられたマーカ14のワールド座標系における座標を、ステレオカメラ21、22によって測定する。この位置測定方法は、ステレオ法としてよく知られているため、その説明を省略する(ステップS03)。
【0047】
次に、マーカ14を構成する各LED光源14a〜14fのカメラ座標系の座標をそれぞれ(xi,yi,zi)とし、また、ステレオカメラ21、22によって測定された各LED光源14a〜14fのワールド座標系における座標をそれぞれ(Xi,Yi,Zi)とする。但し、iは、1、2…6である。各LED光源14a〜14fのカメラ座標系の各座標(xi,yi,zi)は、既知である。
【0048】
測定ヘッド10の移動を表す回転行列Rと並進ベクトルtを、次の数式2を満足する行列Rとベクトルtとして求める(ステップS04)。そして、求めた行列Rとベクトルtとを、先にメモリに格納しておいたエンコーダ16の出力値と対応付けてメモリに格納する(ステップS05)。
【0049】
【数2】
Figure 0003574044
【0050】
そして、測定ヘッド10をガイドレール204に沿って移動させ、全ての測定位置について上述したステップS02〜S05の処理を繰り返す(ステップS06、S07)。これにより、エンコーダ16の出力値とその位置における回転行列R及び並進ベクトルtを対応付けたテーブルデータが生成され、制御装置30のメモリに格納される。
【0051】
〔4−2〕第2ステップについての説明
第2ステップでは、まず、測定台201上に設けられたステンレスミラー205を不透明な薄板で覆い、その薄板上の点についてワールド座標系における座標がステレオ法により測定される。次に、得られた薄板上の点のワールド座標系における座標に基づいて、ステンレスミラー205の平面を表す方程式AX+BY+CZ+D=0を算出する。平面の方程式の算出にあたっては、平板上の点として少なくとも3点あればよい。
【0052】
ステンレスミラー205を不透明な薄板で覆い測定する代わりに、ステンレスミラー205上に少なくとも3個のマーカを設け、そのマーカの位置を計測することにより、ステンレスミラー205の平面の方程式を算出するようにしてもよい。
【0053】
また、測定ヘッド10を用いて、ステンレスミラー205の平面を表す方程式AX+BY+CZ+D=0を求めてもよい。つまり、測定台201上に設けられたステンレスミラー205を不透明な薄板で覆い、この薄板を測定ヘッド10によって撮像し、薄板の平面を求めるための3点の座標(カメラ座系での座標)を抽出する。抽出したカメラ座標系での3点の座標を、第1ステップで求められた、当該測定ヘッド10の位置に対応する回転行列Rと並進ベクトルtとに基づいて、ワールド座標系での座標に変換する。得られたワールド座標系での3点の座標に基づいて、ワールド座標系での薄板の平面の方程式を求める。
【0054】
なお、被測定物を測定台201上に配置して測定を行う以下の処理においては、ステレオカメラ21、22を用いないため、図1に矢印で示すように、支柱202ごと測定台201から取り外して測定が行われる。
【0055】
〔4−3〕第3ステップについての説明
図4は測定ヘッド10による測定点の位置測定方法を示している。
【0056】
図4に示すように、カメラ座標系とは、CCDカメラ12の光学中心を原点とし、光軸方向をz軸、CCDカメラ12の水平方向をx軸、CCDカメラ12の垂直方向をy軸とする座標系である。CCDカメラ12の画像面Sは、原点から焦点距離fの位置に存在する。つまり、画像面Sは、x−y平面に平行でかつz=fである平面である。
【0057】
測定ヘッド10による位置計測方法自体は、光切断法と呼ばれる公知の測定方法である。被測定物100の表面上におけるスリット光源13からのスリット光が照射されている線上の所定の点を測定点Aとする。
【0058】
この測定点Aのカメラ座標系での座標を(x,y,z)とし、画像面S上での測定点Aに対応する観察点A´の座標を(xs,ys,f)とし、スリット光を表す平面の方程式をax+by+cz+d=0とする。観察点A´の座標(xs,ys,f)におけるfは、CCDカメラ12の焦点距離として既知であり、(xs,ys)は画像面で観察されるスリット光の画素位置から求められる。
【0059】
スリット光を表す平面の方程式は測定ヘッド10の校正によって求められている。したがって、x,y,z,αを未知数とする次の数式3で表される連立方程式を解くことにより、(x,y,z)が求められる。
【0060】
【数3】
Figure 0003574044
【0061】
この処理は、CCDカメラ12の出力に基づいて、制御装置30によって行われる。
【0062】
〔4−4〕第4ステップについての説明
第4ステップでは、まず、エンコーダ16の出力に基づいて、制御装置30のメモリから対応する回転行列Rと並進ベクトルtが読み出される。
【0063】
次に、得られた回転行列Rと並進ベクトルtとに基づいて、第3ステップで求めたカメラ座標系における足100上の測定点の座標を、ワールド座標系の座標に変換する。
【0064】
そして、測定ヘッド10をガイドレール204に沿って移動させながら、ガイドレール204上における全ての観察位置について、第3及び第4ステップの処理を繰り返すことにより、その都度得られる測定点のワールド座標系における座標(X,Y,Z)の集合として、図6に示すような足100の像が生成される。
【0065】
〔5−5〕第5ステップについての説明
第5ステップでは、まず、第4ステップにおいて得られた図6に示す足100の像に基づいて、図6に破線で示す足100の実像Iと、図6に実線で示すステンレスミラー205に映った足100の虚像Iとが識別される。
【0066】
この識別方法について説明する。例えば、第2ステップにおいて得られたステンレスミラー205の平面を表す方程式をAX+BY+CZ+D=0とする。各測定点のワールド座標系の座標を用いて、測定点毎にβ(=AX+BY+CZ+D)を求める。β≧0となる測定点は、ステンレスミラー205の平面より上側(座標軸上では正側)にあるため、足100の実像I上の測定点であると識別される。逆にβ<0となる測定点は、ステンレスミラー205に映った足100の虚像I上の測定点であると識別される。
【0067】
そして、虚像Iのステンレスミラー205の平面に対して対称な像I´を求め、得られた対称な像I´を実像Iと合成することにより、図7に示すような足100の像が得られる。
【0068】
図7に示すように、このようにして得られた像は、足100の土踏まずの部分が、ステンレスミラー205に映り込んだ虚像Iに基づいて生成された像I´により補われており、より忠実に足100の形状が再現されている。
【0069】
このように上記実施の形態によれば、測定台201の上面にステンレスミラー205を配置して、被測定物としての足100の実像に、ステンレスミラー205に映り込んだ虚像に基づいて生成された像を合成しているため、足100における土踏まずなど凹みのある部分の像を補うことができ、適切な足100の3次元形状を生成することが可能となる。
【0070】
このとき、足100における土踏まずなど凹みのある部分の像(虚像)と側面(実像)とが同時に測定されているため、少ない測定手順で適切な3次元形状を測定することができる。
【0071】
また、上記実施の形態によれば、スリット光源13から出射される光束がステンレスミラー205に対して垂直な面に沿って出射されるように測定ヘッド10の姿勢が規制されているため、測定時においては、スリット光源13から直接足100に照射される光束と、一旦ステンレスミラー205に反射されてから足100に照射される光束とが重なることになる。これにより、ステンレスミラー205に反射された光束が、誤った像を生成することがなくなり、精度良く測定を行うことが可能となる。
【0072】
また、上記実施の形態によれば、第1及び第2ステップにおける初期設定が完了した後は、測定台201に対してステレオカメラ21、22を取り外して被測定物の測定を行うことができるため、測定装置の小型化を図ることが可能となる。
【0073】
たとえ、測定装置の移動等によりガイドレール204の軌道が変化した場合でも、ステレオカメラ21、22を取り付けてテーブルデータの更新を行うことにより、精度を保つことができる。
【0074】
また、上記実施の形態によれば、測定台201上面を鏡面とするために、光反射面が露出しているステンレスミラー205を用いているため、反射面上における光の屈折が生じることがなく、精度良く測定を行うことが可能となる。
【0075】
なお、上記実施の形態においては、測定ヘッド10を測定者が手動で移動させる構成としたが、モータを用いて測定ヘッド10を自動的にガイドレール204に沿って移動させるようにしてもよい。このようにすると、測定者が測定ヘッド10に触れることなく自動的に被測定物の測定を行うことができるようになる。
【0076】
更に、測定ヘッド10をモータで移動させる場合には、被測定物を配置して測定を行う間、測定者は測定ヘッド10に触れる必要がないため、図8に示すように、測定装置全体を筐体206で覆うことができる。このようにすると、照明光等の外乱光を遮断することができるため、精度よく測定を行うことが可能となる。
【0077】
また、人の足の形状を測定するような場合には、図9に示すように、筐体206の上部に開口部207を設ければよい。この場合、開口部207をゴム等の弾性部材からなる弾性板208で塞ぎ、その弾性板208に設けたスリット209から足等の被測定物が挿入できるように構成することにより、開口部207と被測定物との隙間から照明光等の外乱光が入射することがなくなり、精度よく測定を行うことが可能となる。
【0078】
また、上記実施の形態においては、測定ヘッド10をガイドレール204に沿って移動させる場合について説明したが、図10に示すように、測定ヘッド10を自由に移動させるように構成してもよい。この場合、第1ステップにおけるステップS03、S04の処置が、測定ヘッド10の測定位置毎に行われることになる。
【0079】
また、ステンレスミラー205は、測定台201の上面と平行な位置だけでなく、例えば図10において破線で示すような測定台201の上面と垂直な位置など、任意の位置に配置してもよい。この場合、ステンレスミラー205の位置を変える毎に第2のステップを行えば、ステンレスミラー205の位置に拠らず、適切な測定を行うことができる。これにより、測定対象物100の大きさや形状に応じて、任意にステンレスミラー205の位置を変更することができるため、ステンレスミラー205を適切な位置に配置すれば、より少ない測定手順で適切な3次元形状を測定することができる。
【0080】
また、鏡205としては、ステンレスミラーに限定されることはなく、光反射率の高い種々の部材を用いてもよい。
【0081】
また、上記実施の形態においては、ステレオカメラ21、22の出力を用いてワールド座標系での測定ヘッド10の位置に関する情報、すなわち回転行列R及び並進ベクトルtを求めたが、測定ヘッド10の移動軌跡が特定されていればステレオカメラ21、22を用いることなく回転行列R及び並進ベクトルtが求められる。
【0082】
また、測定ヘッド10としては、被測定物上の測定点の位置を測定できるものであれば、上述した実施の形態と異なるものであってもよい。例えば、スリット光源13の代わりにスポット光源を用いてもよい。
【0083】
〔5〕表面に光反射面が形成された光反射板と光反射板上に形成された透明ガラス板とからなる鏡を用いた場合の実施の形態の説明
【0084】
上記実施の形態では、鏡として表面に光反射面を有するステンレスミラー205が用いられているが、足の100の裏面の形状をより広い範囲にわたって測定するために、図11に示すような表面に光反射面が形成された光反射板301と光反射板301上に形成された透明ガラス板302とからなる鏡300を、ステンレスミラー205に代えて用いることができる。
【0085】
ただし、このような鏡300を用いた場合には、透明ガラス板302内を光が通過する際に光が屈曲するので、次のような補正が必要となる。
【0086】
測定ヘッド10内のスリット光源13から出射された光束は、矢印L1で示すように、鏡300の上面から入射し、透明ガラス板302内を通って鏡300の光反射板301で反射される。この反射光は、矢印L2で示すように、再度、透明ガラス板302内を通って、鏡300の上面から出射され、被測定物100に照射される。光束は、透明ガラス板302内を通過する際に屈曲するため、被測定物100に照射される際の光束を表す方程式ax+by+cz+d=0を、光の屈曲を考慮して補正する必要がある。
【0087】
つまり、第3ステップで用いられる光束を表す方程式ax+by+cz+d=0を、光の屈曲を考慮して補正する必要がある。
【0088】
また、被測定物100から反射された光束は、同様に、鏡300の上面から入射し、透明ガラス板302内を通って鏡300の光反射板301で反射される。この反射光は、再度、透明ガラス板302内を通って、鏡300の上面から出射され、CCDカメラ12に入射する。したがって、CCDカメラ12の画像面S上での測定点の座標(観察点での座標)(xs,ys,f)における(xs,ys)も、光の屈曲を考慮して補正する必要がある。
【0089】
つまり、第3ステップで用いられる観察点での座標(xs,ys,f)における(xs,ys)を、光の屈曲を考慮して補正する必要がある。
【0090】
さらに、第2ステップでは、測定台201上に設けられたステンレスミラー205の上面を表すワールド座標系での方程式aX+bY+cZ+d=0が求められているが、鏡300を用いた場合には鏡300内の光反射板301の上面を表すワールド座標系での方程式aX+bY+cZ+d=0を求める必要がある。
【0091】
ここでは、鏡300内の光反射板301の厚さがごく薄いものであると仮定し、鏡300内の光反射板301の上面を表すワールド座標系での方程式aX+bY+cZ+d=0の代わりに、鏡300が載せられる測定台201の表面を表すワールド座標系での方程式が求められる。測定台201の表面の方程式は、次のようにして求めることができる。
【0092】
つまり、測定台201を不透明な薄板で覆い、その平板上の点についてワールド座標系における座標をステレオ法により測定する。そして、得られた薄板上の点のワールド座標系における座標に基づいて、測定台201の表面を表す方程式を算出する。平面の方程式の算出にあたっては、薄板上の点として少なくとも3点あればよい。
【0093】
測定台201を不透明な薄板で覆い測定する代わりに、測定台201上に少なくとも3個のマーカを設け、そのマーカの位置を計測することにより、測定台201の表面の方程式を算出するようにしてもよい。また、上記第2ステップで説明したように、測定ヘッド10を用いて、測定台201の表面の方程式を算出するようにしてもよい。
【0094】
ところで、図11に矢印L1、L2で示すように、スリット光源13から出射された光束は、透明ガラス板302を2回通過した後に被測定物100に照射されている。したがって、スリット光源13から出射された光束が鏡300で反射されて被測定物100に照射される際の光の屈曲特性は、鏡300の厚み(正確には透明ガラス板302の厚み)をvとすると、図11に矢印L1、L3で示すように、厚みが2vの仮想透明ガラス板を介して、この仮想透明ガラス板の向こう側にある被測定物100’に光が照射される場合の屈曲特性と等価となる。
【0095】
同様に、被測定物100から反射された光束が、鏡300で反射されてCCDカメラ12に入射する際の光の屈曲特性は、鏡300の厚み(正確には透明ガラス板302の厚み)をvとすると、厚みが2vの仮想透明ガラス板を介して、この仮想透明ガラス板の向こう側にあるCCDカメラに光が照射される場合の屈曲特性と等価となる。
【0096】
〔6〕屈曲の影響を考慮した補正方法の説明
【0097】
以下、これらの屈曲の影響を考慮した補正方法について説明する。
説明を簡単にするために、図12に示すように、スリット光源13およびCCDカメラの画像面Sが、厚さwの透明ガラス板400の手前側に位置しており、被測定物100が透明ガラス板400の向こう側に位置している場合における補正方法について説明する。そして、図11のように鏡300が測定台201上に載置されている場合の補正方法との違いについて説明を追加することにする。
【0098】
〔6−1〕被測定物100に照射される際の光束を表す方程式ax+by+cz+d=0の補正方法の説明
【0099】
図12および図13に基づいて、まず、被測定物100に照射される際の光束を表す方程式ax+by+cz+d=0の補正方法について説明する。
【0100】
(1)まず、測定ヘッド10の構成によって求められている光束を表す平面のカメラ座標系で表した方程式ax+by+cz+d=0を、ワールド座標系の方程式を表すa’X+b’Y+c’Z+d’=0に変換する。
【0101】
(2)次に、ワールド座標系での光束を表す平面の方程式(a’X+b’Y+c’Z+d’=0)と、ワールド座標系での透明ガラス板400を表す平面の方程式(a’X+b’Y+c’Z+d’=0)とに基づいて、光束を表す平面と透明ガラス板400のなす角度(入射角)θ1を求め、スネルの法則から図13のθ2を求める。
【0102】
図11のように測定台201上に鏡300が載置されている場合には、透明ガラス板400を表す平面の方程式(a’X+b’Y+c’Z+d’=0)の代わりに、鏡300が載せられる測定台201の表面の方程式が用いられる。
【0103】
なお、空気の屈折率をn1、透明ガラス板400の屈折率をn2とすると、θ1とθ2との関係は、スネルの法則によって次式4で表される。
【0104】
【数4】
Figure 0003574044
【0105】
(3)次に、ワールド座標系での屈曲後の光束の平面の方程式(a ’’X+b ’’Y+c ’’Z+d ’’=0)を求める。
【0106】
透明ガラス板400から出力される光束の平面と、透明ガラス板400に入射される元の光束の平面との距離Uは、図14から、次式5で表される。
【0107】
【数5】
Figure 0003574044
【0108】
図11に示すように測定台201上に鏡300が載せられている場合には、鏡300の透明ガラス板302の厚さをvとすると、上記数式5におけるwは、2vとなる。
【0109】
ワールド座標系での屈曲後の光束の平面は、透明ガラス板400に入射される元の光束の平面(a’X+b’Y+c’Z+d’=0)に平行でかつ、距離がUだけ離れた平面となる。したがって、ワールド座標系での屈曲後の光束の平面の方程式(a ’’X+b ’’Y+c ’’Z+d ’’=0)は、次式6によって求められる。
【0110】
【数6】
Figure 0003574044
【0111】
(4)第1ステップで求められたカメラ座標の回転Rと並進tとを用いて、ワールド座標系での屈曲後の光束の平面の方程式a ’’X+b ’’Y+c ’’Z+d ’’を、カメラ座標系での平面の方程式(a ’’’ x+b ’’’ y+c ’’’ z+d ’’’ )に変換する。
【0112】
このようにして求められたカメラ座標系での屈曲後の光束の平面の方程式(a ’’’ x+b ’’’ y+c ’’’ z+d ’’’ )を、上記第3ステップで用いられる光束を表す平面の方程式として用いる。
【0113】
〔6−2〕CCDカメラ12の画像面S上での測定点の座標(観察点での座標)(xs,ys,f)における(xs,ys)の補正方法の説明
【0114】
CCDカメラ12の画像面S上での測定点の座標(観察点での座標)(xs,ys,f)における(xs,ys)の補正方法について説明する。この方法には2つの方法がある。
【0115】
第1方法は、被測定物100から反射してくる光(以下、反射光という)が、CCDカメラ12の画像面Sに対して全て垂直に入射すると仮定して、画像面S上での測定点の座標(xs,ys,f)における(xs,ys)を補正する方法である。
【0116】
第2方法は、被測定物100から反射してくる光(以下、反射光という)が、CCDカメラ12の焦点位置(カメラ座標原点)に向かってCCDカメラ12に入射すると仮定して、画像面S上での測定点の座標(xs,ys,f)における(xs,ys)を補正する方法である。
【0117】
〔6−2−1〕第1方法の説明
まず、図12および図15に基づいて、第1方法について説明する。
【0118】
第1方法では、被測定物100から反射してくる光(以下、反射光という)が、CCDカメラ12の画像面Sに対して全て垂直に入射すると仮定している。
【0119】
(1)まず、カメラ座標系でのCCDカメラ12の光軸(z軸)の直線方程式を、第1ステップで求められたカメラ座標の回転Rと並進tとを用いて、ワールド座標系に変換する。
【0120】
(2)ワールド座標系の光軸(z軸)の直線方程式と、ワールド座標系の透明ガラス板400の方程式(a’X+b’Y+c’Z+d’=0)とに基づいて、透明ガラス板400とCCDカメラ12の光軸(z軸)のなす角度(入射角)θ1を求め、スネルの法則から図15のθ2を求める。
【0121】
図11のように測定台201上に鏡300が載置されている場合には、透明ガラス板400を表す平面の方程式(a’X+b’Y+c’Z+d’=0)の代わりに、鏡300が載せられる測定台201の表面の方程式が用いられる。
【0122】
(3)透明ガラス板400から出力される光束の平面と、透明ガラス板400に入射される元の光束の平面との距離U(=w×(tan θ1−tan θ2)×cosθ1)を、上記数式5を用いて求める。
【0123】
図11に示すように測定台201上に鏡300が載せられている場合には、鏡300の透明ガラス板302の厚さをvとすると、上記数式5におけるwは、2vとなる。
【0124】
(4)次に、図16に示すように、ワールド座標系でのCCDカメラ12の光軸(z軸)の直線方程式と、ワールド座標系での透明ガラス板400の平面の方程式とに基づいて、光軸(z軸)を含みかつ透明ガラス板400に垂直な平面Qを表す方程式を求める。
【0125】
(5)第1ステップで求められたカメラ座標の回転Rと並進tとを用いて、ワールド座標系での光軸(z軸)を含みかつ透明ガラス板400に垂直な平面Qを表す方程式を、カメラ座標系での方程式に変換する。
【0126】
(6)次に、図17に示すように、カメラ座標系での光軸を含みかつ透明ガラス板400に垂直な平面Qを表す方程式と、カメラ座標系での画像面Sを表す方程式とに基づいて、光軸を含みかつ透明ガラス板400に垂直な平面Qと、画像面Sとの交線の方程式を求める。
【0127】
(7)光軸を含みかつ透明ガラス板400に垂直な平面Qと、画像面Sとの交線の方程式に基づいて、平面Qと画像面Sとの交線上において、画像面S上のz軸と交差する位置Pから、距離Uだけずれた位置P’の座標(x1,y1)を求める。求めた座標値(x1,y1)が補正値となる。
【0128】
(8)そして、上記第3ステップで用いられる画像面S上での測定点に対応する観察点の座標(xs,ys,f)を、補正値(x1,y1)を用いて補正する。画像面上S上での測定点に対応する観察点の座標(xs,ys,f)に対する補正後の座標を(xs’,ys’,f)とすると、xs’およびys’は次式7で表される。図18に、画像面上Sで観察された画像を補正した場合の例を示す。図18において破線は画像面上Sで観察された画像を示し、実線は補正後の画像を示している。
【0129】
【数7】
Figure 0003574044
【0130】
〔6−2−2〕第2方法の説明
図12および図19に基づいて、第2方法について説明する。
【0131】
第2方法では、被測定物100から反射してくる光(以下、反射光という)が、CCDカメラ12の焦点位置(カメラ座標原点)に向かってCCDカメラ12に入射すると仮定している。
【0132】
(1)画像面S上での観測点の座標を抽出する。そして、カメラ座標原点から上記観測点を通る直線Lの方程式をカメラ座標系において求める。
【0133】
(2)カメラ座標系で求めた上記直線Lの方程式を、第1ステップで求められたカメラ座標の回転Rと並進tとを用いて、ワールド座標系に変換する。
【0134】
(3)ワールド座標系での直線Lの方程式と、ワールド座標系の透明ガラス板400の方程式(a’X+b’Y+c’Z+d’=0)とに基づいて、透明ガラス板400とCCDカメラ12の光軸(z軸)のなす角度(入射角)θ1を求め、スネルの法則から図19のθ2を求める。
【0135】
図11のように測定台201上に鏡300が載置されている場合には、透明ガラス板400を表す平面の方程式(a’X+b’Y+c’Z+d’=0)の代わりに、鏡300が載せられる測定台201の表面の方程式が用いられる。
【0136】
(4)次に、透明ガラス板400から出力される反射光の平面と、透明ガラス板400に入射される元の反射光の平面との距離U(=w×(tan θ1−tan θ2)×cosθ1)を、上記数式5を用いて求める。
【0137】
図11に示すように測定台201上に鏡300が載せられている場合には、鏡300の透明ガラス板302の厚さをvとすると、上記数式5におけるwは、2vとなる。
【0138】
(5)次に、図20に示すように、ワールド座標系での直線Lの方程式と、ワールド座標系での透明ガラス板400の平面の方程式とに基づいて、直線Lを含みかつ透明ガラス板400に垂直な平面Qの方程式を求める。
【0139】
図11のように測定台201上に鏡300が載置されている場合には、透明ガラス板400を表す平面の方程式(a’X+b’Y+c’Z+d’=0)の代わりに、鏡300が載せられる測定台201の表面の方程式が用いられる。
【0140】
(6)第1ステップで求められたカメラ座標の回転Rと並進tとを用いて、ワールド座標系での直線Lを含みかつ透明ガラス板400に垂直な平面Qを表す方程式を、カメラ座標系での方程式に変換する。
【0141】
(7)次に、図21に示すように、カメラ座標系での直線Lを含みかつ透明ガラス板400に垂直な平面Qを表す方程式と、カメラ座標系での画像面Sを表す方程式とに基づいて、直線Lを含みかつ透明ガラス板400に垂直な平面Qと、画像面Sとの交線の方程式を求める。
【0142】
(8)直線Lを含みかつ透明ガラス板400に垂直な平面Qを表す方程式とカメラ座標系での画像面Sを表す方程式とに基づいて、平面Qと画像面Sとの交線の方程式を求める。
【0143】
(9)画像面S上の直線Lと交差する位置Pから、距離Uだけずれた位置P’の座標(xs’,ys’,f)を求める。求めた座標値(xs’,ys’,f)が、観察点の座標(xs,ys,f)の補正後の座標となる。
【0144】
【発明の効果】
この発明によれば、測定台上に鏡を配置することにより、被測定物の実像だけでなく、この鏡に映り込んだ虚像を測定に利用することができるため、少ない計測手順で被測定物の3次元形状を生成することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態における形状測定装置の第1の構成を表す概略構成図である。
【図2】図1の形状測定装置における測定ヘッドの概略構成を示す斜視図である。
【図3】図1の形状測定装置における測定原理を説明する説明図である。
【図4】図2の測定ヘッドを用いて測定点の位置測定を行う測定方法を説明する説明図である。
【図5】第1ステップにおける処理手順を説明するフローチャートである。
【図6】第4ステップで得られる足の像を示す説明図である。
【図7】第5ステップで得られる足の像を示す説明図である。
【図8】本発明の実施の形態における形状測定装置の第2の構成を表す概略構成図である。
【図9】本発明の実施の形態における形状測定装置の第3の構成を表す概略構成図である。
【図10】本発明の実施の形態における形状測定装置の第4の構成を表す概略構成図である。
【図11】表面に光反射面が形成された光反射板と光反射板上に形成された透明ガラス板とからなる鏡を用いた場合に、透明ガラス板で光が屈折する様子を示す模式図である。
【図12】スリット光源およびCCDカメラの画像面が、透明ガラス板の手前側に位置しており、被測定物が透明ガラス板の向こう側に位置している場合における補正方法を説明するための模式図である。
【図13】被測定物に照射される際の光束を表す方程式の補正方法を説明するための模式図である。
【図14】透明ガラス板から出力される光束の平面と、透明ガラス板に入射される元の光束の平面との距離Uの算出方法を説明するための模式図である。
【図15】画像面S上での測定点の座標を補正するための第1方法を説明するための模式図である。
【図16】光軸(z軸)を含みかつ透明ガラス板に垂直な平面Qを示す模式図である。
【図17】光軸を含みかつ透明ガラス板に垂直な平面Qと、画像面との交線を示す模式図である。
【図18】画像面上で観察された画像を補正した場合の例を示す模式図である。
【図19】画像面S上での測定点の座標を補正するための第2方法を説明するための模式図である。
【図20】図19の直線Lを含みかつ透明ガラス板400に垂直な平面Qを示す模式図である。
【図21】図19の直線Lを含みかつ透明ガラス板に垂直な平面Qと、画像面との交線を示す模式図である。
【符号の説明】
10 測定ヘッド
12 CCDカメラ
13 スリット光源
14 マーカ
16 エンコーダ
21 ステレオカメラ
22 ステレオカメラ
201 測定台
204 ガイドレール
205 ステンレスミラー
300 鏡[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a shape measuring device for measuring a three-dimensional shape of an object placed on a measuring table by moving a measuring head.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known an active stereo-type shape measuring apparatus that irradiates spot light or slit light to an object to be measured and restores the shape from a position of an optical image observed on the surface of the object to be measured.
[0003]
As the active stereo shape measuring device, a device which scans slit light from a periphery of an object mounted on a measuring table with a rotating mirror, or a rotating stage using a rotary stage to rotate the object to be measured by 360 degrees Measurements from all around have been developed.
[0004]
However, when the object to be measured has a complicated shape, there is an area that cannot be observed even with the use of the rotating stage, so that the shape of the entire object to be measured cannot be measured.
[0005]
On the other hand, the applicant of the present application has already developed a shape measuring apparatus that performs measurement by holding a compact measuring head in a hand and moving the measuring head around an object to be measured (Japanese Patent Laid-Open No. 2000-39310). No.).
[0006]
According to this shape measuring device, the measurement can be performed on the measured object from a free angle, so that the measurement can be appropriately performed even if the shape of the measured object is complicated.
[0007]
[Problems to be solved by the invention]
However, in order to measure the entire shape of the object to be measured, it is necessary to perform measurement many times while changing the position of the measurement head, and there is a problem that the number of measurement procedures increases.
[0008]
Therefore, an object of the present invention is to provide a shape measuring device capable of measuring an appropriate three-dimensional shape with a small number of measurement procedures.
[0009]
[Means for Solving the Problems]
A first shape measuring apparatus according to the present invention includes a measuring head for measuring a shape of an object to be measured placed on a measuring table, a position detecting unit for detecting a position of the measuring head, and a measuring head and a position detecting unit. What is claimed is: 1. A shape measuring apparatus comprising a calculating means for obtaining a three-dimensional shape of an object to be measured based on an output, wherein a mirror for reflecting the object to be measured is arranged on a measuring table.
[0010]
As the position detecting means, for example, means for detecting the position of the measuring head by a stereo method using two cameras is used. As the measuring head, for example, a light irradiating unit that irradiates a light beam to the object to be measured, and an image of a measurement point on the object to be irradiated with the light beam from the light irradiating unit, thereby obtaining a real image of the object A device including an image pickup means for picking up a virtual image of an object to be measured reflected on a mirror is used.
[0011]
As the mirror, a mirror having a light reflection surface formed on the surface is used. In this case, as the calculating means, for example, the coordinates of the center of the measuring head based on the coordinates of the measuring point on the imaging screen of the imaging means and the equation representing the plane representing the light flux emitted from the light irradiating means First means for obtaining the coordinates of the measurement points in the system, and converting the coordinates of each measurement point obtained by the first means into the coordinates of the world coordinate system based on the detection result by the position detection means. A second means for obtaining a three-dimensional shape of the real image of the object and a three-dimensional shape of the virtual image of the measured object reflected on the mirror; a third means for obtaining an equation in a world coordinate system representing a light reflecting surface of the mirror; Fourth means for obtaining a three-dimensional shape symmetric with respect to the three-dimensional light reflecting surface for the virtual image based on an equation representing the light reflecting surface, and three-dimensional symmetrical with respect to the three-dimensional light reflecting surface for the virtual image Shape and measured We shall have a fifth means for determining the three-dimensional shape of the object is used by combining the three-dimensional shape for the real image of the object.
[0012]
As means for obtaining the equation representing the light reflecting surface of the mirror, for example, means for measuring the coordinates of three or more points on the light reflecting surface by the stereo method using two cameras, and the obtained light reflecting surface The one provided with means for obtaining an equation representing the light reflecting surface based on the coordinates of the three or more points above is used.
[0013]
Means for obtaining an equation representing the light reflecting surface of the mirror include, for example, three points for specifying the plane of the thin plate by imaging the thin plate using a measuring head with an opaque thin plate placed on the light reflecting surface. Means for extracting the coordinates of the above points in the coordinate system of the center of the measuring head, and obtaining the coordinates of three or more points in the coordinate system of the center of the measuring head on the basis of the detection results by the position detecting means in world coordinates. Using means for converting into coordinates in the system, and means for obtaining an equation representing the plane of the thin plate in the world coordinate system based on the obtained coordinates of three or more points in the world coordinate system. Can be
[0014]
It is preferable to provide a guide unit that regulates the posture of the measurement head so that the light beam emitted from the light irradiation unit of the measurement head is emitted perpendicular to the light reflecting surface of the mirror. It is preferable that the guide means regulates a moving path of the measuring head. It is preferable to provide a drive unit for moving the measuring head along the guide unit.
[0015]
A housing that covers the entire movement path of the measurement head may be provided. The housing may include an opening for inserting and removing the device under test. A lid made of an elastic member may be provided at the opening of the housing, and a cutout for inserting and removing an object to be measured may be formed in the lid.
[0016]
As the mirror, a mirror composed of a light reflecting plate having a light reflecting surface formed on the surface and a transparent plate formed on the light reflecting plate may be used. In this case, as the calculating means, for example, for the measuring point on the real image of the measured object, the coordinates of the measuring point on the imaging screen of the imaging means and the luminous flux emitted from the light irradiation means are represented. First means for obtaining the coordinates of the measurement point in the coordinate system of the center of the measurement head based on the equation representing the plane, and for the measurement point on the virtual image of the object to be measured reflected on the mirror, the imaging screen of the imaging means The coordinate values after correcting the coordinate values of the above measurement points in consideration of the amount of refraction of the transparent plate of the mirror and the equation of a plane representing the light flux emitted from the light irradiating means are obtained by calculating the amount of refraction of the transparent plate of the mirror. The coordinates of each measuring point obtained by the second means, the first means, and the second means for obtaining the coordinates of the measuring point in the coordinate system of the center of the measuring head based on the equation corrected in consideration of the position, Based on the detection result by the detection means, the coordinates can be converted to coordinates in the world coordinate system. The third means for obtaining the three-dimensional shape of the real image of the device under test and the three-dimensional shape of the virtual image of the device under test reflected on the mirror, and the fourth unit for obtaining the equation in the world coordinate system representing the light reflecting surface of the mirror A fifth means for obtaining a three-dimensional shape symmetric with respect to the three-dimensional light reflecting surface for the virtual image based on an equation representing a light reflecting surface of the mirror; and a fifth means for obtaining a three-dimensional light reflecting surface for the virtual image. What has the 6th means which calculates | requires the three-dimensional shape of an object to be measured by synthesize | combining the symmetrical three-dimensional shape and the three-dimensional shape with respect to the real image of an object to be measured is used.
[0017]
As means for obtaining the equation representing the light reflecting surface of the mirror, for example, means for measuring the coordinates of three or more points on the measuring table on which the mirror is mounted by using two cameras by a stereo method, and The one provided with means for obtaining an equation representing the light reflecting surface based on the obtained coordinates of three or more points on the measuring table is used.
[0018]
It is preferable to provide a guide unit that regulates the posture of the measurement head so that the light beam emitted from the light irradiation unit of the measurement head is emitted perpendicular to the light reflecting surface of the mirror.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0020]
[1] Description of schematic configuration of shape measuring device
[0021]
FIG. 1 shows a schematic configuration of the shape measuring device.
[0022]
An arc-shaped guide rail 204 is fixed to the measurement table 201, and a flat mirror 205 is arranged in a region surrounded by the guide rail 204. As the mirror 205, a stainless steel mirror 205 having a light reflecting surface on the surface is used. The foot 100 as an object to be measured is placed on the stainless steel mirror 205. Further, a column 202 which is detachable from the measurement table 201 is attached to the measurement table 201, and a horizontal bar 203 is attached to an upper portion thereof.
[0023]
The shape measuring device performs a measurement head 10 manually moved along a guide rail 204 by a measurer, stereo cameras 21 and 22 attached to both ends of a horizontal bar 203, and controls and various calculations thereof. And a control device 30 including a personal computer. Each of the imaging lenses of the stereo cameras 21 and 22 is provided with a band-pass filter 23 for selectively transmitting the frequency band of light emitted by the marker 14 shown in FIG.
[0024]
[2] Description of schematic configuration of measuring head 10
[0025]
FIG. 2 shows a schematic configuration of the measuring head 10 in FIG.
[0026]
The measuring head 10 includes a casing 11 having a rectangular parallelepiped shape and a front opening, one CCD camera 12 and a slit light source 13 housed in the casing 11, and six LED light sources 14a to 14f provided on the upper surface of the casing 11. And a marker 14. As the slit light source 13, a semiconductor laser is used.
[0027]
The measuring head 10 is movably attached along the guide rail 204 by a support mechanism (not shown). The measurement head 10 is attached to the guide rail 204 by a support mechanism (not shown) so that the light beam emitted from the slit light source 13 is emitted along a plane perpendicular to the stainless steel mirror 205. Posture is regulated.
[0028]
The six LED light sources 14 a to 14 f constituting the marker 14 are not point-symmetrically arranged to specify the direction of the measurement head 10 but are arranged line-symmetrically with respect to the center line of the measurement head 10. Here, five points of the LED light sources 14b, 14c, 14d, 14e, and 14f are arranged on the upper surface of the casing 11 so as to form a rectangle, and the LED light source 14a is arranged at the center of gravity of the five points. In order to measure the position and direction of the measuring head 10 in a three-dimensional space, it is sufficient if at least three LED light sources are used as markers. The measurement accuracy of the position and direction of the head 10 is improved in a least square manner.
[0029]
Further, the shape measuring device 10 includes an encoder 16 for detecting the position of the shape measuring device 10 on the guide rail 204. The output of the encoder 16 is input to the control device 30.
[0030]
[3] Explanation of measurement principle of shape measurement device
[0031]
FIG. 3 shows the measurement principle of the shape measuring device.
[0032]
The coordinates of a certain measurement point A are measured using the measurement head 10 which is moved on the guide rail 204 by the measurer. The measured coordinates are represented by coordinates (x, y, z) in a coordinate system of the center of the measuring head (hereinafter, referred to as a camera coordinate system). The camera coordinate system is a coordinate system that moves as the measuring head 10 moves.
[0033]
On the other hand, the shape of the DUT 100 is represented by a fixed coordinate system, and this coordinate system is called world coordinates. The coordinates of the measurement point measured by the measurement head 10 in the world coordinate system are defined as (X, Y, Z). Since the shape of the device under test 100 needs to be described in the world coordinate system, the coordinates (x, y, z) of the measurement point A measured by the measuring head 10 in the camera coordinate system are converted to the world coordinate system. This conversion is performed using the rotation matrix R representing the movement of the measuring head 10 and the translation vector t based on the following equation 1.
[0034]
(Equation 1)
Figure 0003574044
[0035]
Therefore, by obtaining the position and direction of the measuring head 10 in the world coordinate system as the rotation matrix R and the translation vector t, the coordinates (x, y, z) in the camera coordinate system can be converted to the world coordinate system. .
[0036]
[4] Description of measurement processing procedure by shape measurement device
[0037]
The shape measurement by the shape measuring device is performed according to the following processing procedure.
[0038]
(1) First step: A memory (shown in the figure) mounted on the control device 30 in which information on each measurement position of the measurement head 10 in the world coordinate system is associated with an output value of the encoder 16 at each measurement position of the measurement head 10. (Omitted).
[0039]
(2) Second step: An equation representing the plane of the stainless steel mirror 205 in the world coordinate system is calculated.
[0040]
(3) Third step: Using the measuring head 10, the coordinates of the measuring point on the measured object in the camera coordinate system are obtained.
[0041]
(4) Fourth step: Based on the information on the position of the measuring head 10 in the world coordinate system, the coordinates of the measurement point on the measured object in the camera coordinate system are converted into coordinates in the world coordinate system.
[0042]
(5) Fifth step: Of the measurement points in the world coordinate system, the coordinates on the virtual image reflected on the stainless steel mirror 205 are converted into the coordinates on the real image.
[0043]
Hereinafter, each of these steps will be described.
[0044]
[4-1] Description of First Step
FIG. 5 is a flowchart illustrating the processing procedure of the first step.
[0045]
First, the measuring head 10 is arranged at the reference position of the guide rail 204 (Step S01), and the output value of the encoder 16 at that position is stored in the memory of the control device 30 (Step S02).
[0046]
Next, the coordinates of the marker 14 provided on the measuring head 10 in the world coordinate system are measured by the stereo cameras 21 and 22. Since this position measurement method is well known as a stereo method, its description is omitted (step S03).
[0047]
Next, the coordinates of the LED light sources 14a to 14f constituting the marker 14 in the camera coordinate system are respectively (xi, yi, zi), and the worlds of the LED light sources 14a to 14f measured by the stereo cameras 21 and 22. Let the coordinates in the coordinate system be (Xi, Yi, Zi). Here, i is 1, 2,... The coordinates (xi, yi, zi) of each of the LED light sources 14a to 14f in the camera coordinate system are known.
[0048]
A rotation matrix R and a translation vector t representing the movement of the measuring head 10 are obtained as a matrix R and a vector t satisfying the following Expression 2 (step S04). Then, the obtained matrix R and vector t are stored in the memory in association with the output value of the encoder 16 previously stored in the memory (step S05).
[0049]
(Equation 2)
Figure 0003574044
[0050]
Then, the measurement head 10 is moved along the guide rail 204, and the above-described processing of steps S02 to S05 is repeated for all measurement positions (steps S06 and S07). Thereby, table data in which the output value of the encoder 16 is associated with the rotation matrix R and the translation vector t at that position is generated and stored in the memory of the control device 30.
[0051]
[4-2] Description of Second Step
In the second step, first, the stainless steel mirror 205 provided on the measuring table 201 is covered with an opaque thin plate, and the coordinates on the thin plate in the world coordinate system are measured by the stereo method. Next, based on the coordinates of the obtained point on the thin plate in the world coordinate system, an equation A representing the plane of the stainless steel mirror 205 is obtained.MX + BMY + CMZ + DM= 0 is calculated. In calculating the equation of the plane, it is sufficient that there are at least three points on the flat plate.
[0052]
Instead of covering the stainless steel mirror 205 with an opaque thin plate and measuring, instead of providing at least three markers on the stainless steel mirror 205 and measuring the positions of the markers, the equation of the plane of the stainless steel mirror 205 is calculated. Is also good.
[0053]
Further, using the measuring head 10, an equation A representing the plane of the stainless steel mirror 205.MX + BMY + CMZ + DM= 0 may be obtained. That is, the stainless steel mirror 205 provided on the measuring table 201 is covered with an opaque thin plate, and the thin plate is imaged by the measuring head 10 and coordinates of three points (coordinates in the camera seat system) for obtaining the flat surface of the thin plate are obtained. Extract. The coordinates of the extracted three points in the camera coordinate system are converted into coordinates in the world coordinate system based on the rotation matrix R corresponding to the position of the measuring head 10 and the translation vector t obtained in the first step. I do. Based on the obtained coordinates of the three points in the world coordinate system, the equation of the plane of the thin plate in the world coordinate system is obtained.
[0054]
In the following processing in which the object to be measured is arranged on the measuring table 201 and the measurement is performed, the stereo cameras 21 and 22 are not used, so that the support 202 is removed from the measuring table 201 as shown by an arrow in FIG. Measurement.
[0055]
[4-3] Description of Third Step
FIG. 4 shows a method of measuring the position of a measuring point by the measuring head 10.
[0056]
As shown in FIG. 4, the camera coordinate system has an optical center of the CCD camera 12 as an origin, an optical axis direction as a z axis, a horizontal direction of the CCD camera 12 as an x axis, and a vertical direction of the CCD camera 12 as a y axis. Coordinate system. The image plane S of the CCD camera 12 is located at a focal distance f from the origin. That is, the image plane S is a plane parallel to the xy plane and z = f.
[0057]
The position measuring method itself by the measuring head 10 is a known measuring method called a light section method. A predetermined point on a line on the surface of the DUT 100 on which the slit light from the slit light source 13 is irradiated is defined as a measurement point A.
[0058]
The coordinates of the measurement point A in the camera coordinate system are (x, y, z), the coordinates of the observation point A ′ corresponding to the measurement point A on the image plane S are (xs, ys, f), and the slit is The equation of a plane representing light is aLx + bLy + cLz + dL= 0. F at the coordinates (xs, ys, f) of the observation point A 'is known as the focal length of the CCD camera 12, and (xs, ys) is obtained from the pixel position of the slit light observed on the image plane.
[0059]
The equation of the plane representing the slit light is obtained by calibration of the measuring head 10. Therefore, (x, y, z) is obtained by solving a simultaneous equation represented by the following Expression 3 with x, y, z, and α as unknowns.
[0060]
(Equation 3)
Figure 0003574044
[0061]
This process is performed by the control device 30 based on the output of the CCD camera 12.
[0062]
[4-4] Description of fourth step
In the fourth step, first, based on the output of the encoder 16, the corresponding rotation matrix R and translation vector t are read from the memory of the control device 30.
[0063]
Next, based on the obtained rotation matrix R and the translation vector t, the coordinates of the measurement point on the foot 100 in the camera coordinate system obtained in the third step are converted to coordinates in the world coordinate system.
[0064]
Then, while moving the measuring head 10 along the guide rail 204, the processing of the third and fourth steps is repeated for all observation positions on the guide rail 204, so that the world coordinate system of the measurement point obtained each time is obtained. The image of the foot 100 as shown in FIG. 6 is generated as a set of coordinates (X, Y, Z) in.
[0065]
[5-5] Description of fifth step
In the fifth step, first, based on the image of the foot 100 shown in FIG. 6 obtained in the fourth step, the real image I of the foot 100 indicated by a broken line in FIG.1And the virtual image I of the foot 100 reflected on the stainless steel mirror 205 shown by a solid line in FIG.2Are identified.
[0066]
This identification method will be described. For example, the equation representing the plane of the stainless steel mirror 205 obtained in the second step is represented by AMX + BMY + CMZ + DM= 0. Using the coordinates of each measurement point in the world coordinate system, β (= AMX + BMY + CMZ + DM). Since the measurement point where β ≧ 0 is above the plane of the stainless steel mirror 205 (positive side on the coordinate axis), the real image I of the foot 100 is1The above measurement point is identified. Conversely, the measurement point where β <0 is the virtual image I of the foot 100 reflected on the stainless steel mirror 205.2The above measurement point is identified.
[0067]
And virtual image I2I symmetrical with respect to the plane of the stainless steel mirror 2052'And the resulting symmetric image I2′ To the real image I1Thus, an image of the foot 100 as shown in FIG. 7 is obtained.
[0068]
As shown in FIG. 7, the image obtained in this way is a virtual image I in which the arch of the foot 100 is reflected on the stainless steel mirror 205.2I generated based on2', And the shape of the foot 100 is more faithfully reproduced.
[0069]
As described above, according to the above-described embodiment, the stainless steel mirror 205 is arranged on the upper surface of the measuring table 201, and is generated based on the virtual image reflected on the stainless steel mirror 205 on the real image of the foot 100 as the measured object. Since the images are combined, it is possible to supplement the image of the concave portion of the foot 100, such as the arch, and to generate an appropriate three-dimensional shape of the foot 100.
[0070]
At this time, since an image (virtual image) and a side surface (real image) of a concave portion such as the arch of the foot 100 are measured at the same time, an appropriate three-dimensional shape can be measured with a small number of measurement procedures.
[0071]
Further, according to the above-described embodiment, the posture of the measuring head 10 is regulated so that the light flux emitted from the slit light source 13 is emitted along a plane perpendicular to the stainless steel mirror 205. In this case, the light beam directly emitted from the slit light source 13 to the foot 100 and the light beam once reflected by the stainless steel mirror 205 and then applied to the foot 100 overlap. Accordingly, the light beam reflected by the stainless steel mirror 205 does not generate an erroneous image, and the measurement can be performed with high accuracy.
[0072]
Further, according to the above embodiment, after the initial settings in the first and second steps are completed, the stereo cameras 21 and 22 can be detached from the measuring table 201 to measure the object to be measured. In addition, the size of the measuring device can be reduced.
[0073]
For example, even when the trajectory of the guide rail 204 changes due to the movement of the measuring device or the like, the accuracy can be maintained by installing the stereo cameras 21 and 22 and updating the table data.
[0074]
Further, according to the above-described embodiment, since the upper surface of the measuring table 201 is made to be a mirror surface, the stainless mirror 205 whose light reflecting surface is exposed is used, so that light is not refracted on the reflecting surface. It is possible to perform the measurement with high accuracy.
[0075]
In the above embodiment, the measuring head 10 is manually moved by the measurer. However, the measuring head 10 may be automatically moved along the guide rail 204 using a motor. With this configuration, the measurement object can be automatically measured without the measurer touching the measurement head 10.
[0076]
Further, when the measuring head 10 is moved by the motor, the measurer does not need to touch the measuring head 10 while the object to be measured is arranged and the measurement is performed. Therefore, as shown in FIG. It can be covered with the housing 206. In this way, disturbance light such as illumination light can be blocked, so that accurate measurement can be performed.
[0077]
In the case of measuring the shape of a human foot, an opening 207 may be provided in the upper part of the housing 206 as shown in FIG. In this case, the opening 207 is closed by an elastic plate 208 made of an elastic member such as rubber, and a configuration is made such that an object to be measured such as a foot can be inserted from a slit 209 provided in the elastic plate 208. Disturbance light such as illumination light does not enter from a gap with the object to be measured, and measurement can be performed with high accuracy.
[0078]
Further, in the above embodiment, the case where the measuring head 10 is moved along the guide rail 204 has been described. However, as shown in FIG. 10, the measuring head 10 may be freely moved. In this case, the processing of steps S03 and S04 in the first step is performed for each measurement position of the measurement head 10.
[0079]
Further, the stainless steel mirror 205 may be arranged not only at a position parallel to the upper surface of the measuring table 201 but also at an arbitrary position such as a position perpendicular to the upper surface of the measuring table 201 as shown by a broken line in FIG. In this case, if the second step is performed each time the position of the stainless steel mirror 205 is changed, appropriate measurement can be performed regardless of the position of the stainless steel mirror 205. Accordingly, the position of the stainless steel mirror 205 can be arbitrarily changed according to the size and shape of the measurement object 100. Therefore, if the stainless steel mirror 205 is arranged at an appropriate position, an appropriate 3 The dimensional shape can be measured.
[0080]
Further, the mirror 205 is not limited to a stainless steel mirror, and various members having high light reflectance may be used.
[0081]
Further, in the above embodiment, information on the position of the measurement head 10 in the world coordinate system, that is, the rotation matrix R and the translation vector t were obtained using the outputs of the stereo cameras 21 and 22. If the trajectory is specified, the rotation matrix R and the translation vector t can be obtained without using the stereo cameras 21 and 22.
[0082]
The measuring head 10 may be different from the above-described embodiment as long as it can measure the position of the measuring point on the measured object. For example, a spot light source may be used instead of the slit light source 13.
[0083]
[5] Description of an embodiment in the case of using a mirror composed of a light reflecting plate having a light reflecting surface formed on the surface and a transparent glass plate formed on the light reflecting plate
[0084]
In the above embodiment, the stainless steel mirror 205 having a light reflecting surface on the surface is used as a mirror. However, in order to measure the shape of the back surface of the foot 100 over a wider range, the surface as shown in FIG. A mirror 300 composed of a light reflecting plate 301 having a light reflecting surface and a transparent glass plate 302 formed on the light reflecting plate 301 can be used instead of the stainless steel mirror 205.
[0085]
However, when such a mirror 300 is used, the light bends when the light passes through the transparent glass plate 302, so that the following correction is required.
[0086]
The light beam emitted from the slit light source 13 in the measurement head 10 enters from the upper surface of the mirror 300 as shown by the arrow L1, passes through the transparent glass plate 302, and is reflected by the light reflecting plate 301 of the mirror 300. This reflected light passes through the transparent glass plate 302 again, exits from the upper surface of the mirror 300, and irradiates the device under test 100 as indicated by the arrow L2. Since the luminous flux is bent when passing through the transparent glass plate 302, the equation a representing the luminous flux when irradiating the DUT 100Lx + bLy + cLz + dL= 0 needs to be corrected in consideration of the bending of light.
[0087]
That is, the equation a representing the luminous flux used in the third stepLx + bLy + cLz + dL= 0 needs to be corrected in consideration of the bending of light.
[0088]
Similarly, the light beam reflected from the device under test 100 enters from the upper surface of the mirror 300, passes through the transparent glass plate 302, and is reflected by the light reflecting plate 301 of the mirror 300. The reflected light passes through the transparent glass plate 302 again, is emitted from the upper surface of the mirror 300, and enters the CCD camera 12. Therefore, (xs, ys) in the coordinates (coordinates at the observation point) (xs, ys, f) of the measurement point on the image plane S of the CCD camera 12 also needs to be corrected in consideration of the bending of light. .
[0089]
That is, it is necessary to correct (xs, ys) in the coordinates (xs, ys, f) at the observation point used in the third step in consideration of the bending of light.
[0090]
Further, in the second step, the equation a in the world coordinate system representing the upper surface of the stainless steel mirror 205 provided on the measuring table 201 is used.MX + bMY + cMZ + dM= 0, but when the mirror 300 is used, the equation a in the world coordinate system representing the upper surface of the light reflecting plate 301 in the mirror 300 is used.MX + bMY + cMZ + dM= 0.
[0091]
Here, it is assumed that the thickness of the light reflecting plate 301 in the mirror 300 is extremely thin, and the equation a in the world coordinate system representing the upper surface of the light reflecting plate 301 in the mirror 300 is used.MX + bMY + cMZ + dMInstead of = 0, an equation in the world coordinate system representing the surface of the measuring table 201 on which the mirror 300 is mounted is obtained. The equation of the surface of the measuring table 201 can be obtained as follows.
[0092]
That is, the measuring table 201 is covered with an opaque thin plate, and the coordinates on the flat plate in the world coordinate system are measured by the stereo method. Then, an equation representing the surface of the measuring table 201 is calculated based on the coordinates of the obtained point on the thin plate in the world coordinate system. In calculating the equation of the plane, it is sufficient that there are at least three points on the thin plate.
[0093]
Instead of covering and measuring the measurement table 201 with an opaque thin plate, at least three markers are provided on the measurement table 201, and by measuring the positions of the markers, the equation of the surface of the measurement table 201 is calculated. Is also good. Further, as described in the second step, the equation of the surface of the measuring table 201 may be calculated using the measuring head 10.
[0094]
By the way, as shown by arrows L1 and L2 in FIG. 11, the light beam emitted from the slit light source 13 is irradiated on the DUT 100 after passing through the transparent glass plate 302 twice. Therefore, the bending characteristic of light when the light beam emitted from the slit light source 13 is reflected by the mirror 300 and irradiated on the device under test 100 depends on the thickness of the mirror 300 (accurately, the thickness of the transparent glass plate 302). In this case, as shown by arrows L1 and L3 in FIG. 11, light is applied to the DUT 100 'on the other side of the virtual transparent glass plate through the virtual transparent glass plate having a thickness of 2v. It is equivalent to the bending characteristic.
[0095]
Similarly, when the light beam reflected from the DUT 100 is reflected by the mirror 300 and enters the CCD camera 12, the bending characteristic of the light depends on the thickness of the mirror 300 (more precisely, the thickness of the transparent glass plate 302). Assuming that v, the bending characteristic is equivalent to the bending characteristic when light is applied to the CCD camera on the other side of the virtual transparent glass plate through the virtual transparent glass plate having a thickness of 2v.
[0096]
[6] Explanation of correction method considering the influence of bending
[0097]
Hereinafter, a correction method in consideration of the influence of these bending will be described.
For simplicity of description, as shown in FIG. 12, the slit light source 13 and the image plane S of the CCD camera are located in front of the transparent glass plate 400 having a thickness w, and the DUT 100 is transparent. A description will be given of a correction method in the case of being located on the other side of the glass plate 400. Then, a description will be added about the difference from the correction method when the mirror 300 is mounted on the measuring table 201 as shown in FIG.
[0098]
[6-1] Equation a representing luminous flux when illuminating object 100Lx + bLy + cLz + dLExplanation of the correction method of = 0
[0099]
Based on FIG. 12 and FIG. 13, first, an equation a representing a light flux when irradiating the DUT 100 is shown.Lx + bLy + cLz + dLA correction method of = 0 will be described.
[0100]
(1) First, an equation a expressed in a camera coordinate system on a plane representing the light flux obtained by the configuration of the measuring head 10Lx + bLy + cLz + dL= 0, a representing the equation of the world coordinate systemL'X + bL'Y + cL'Z + dL'= 0.
[0101]
(2) Next, the equation (a) of the plane representing the light flux in the world coordinate systemL'X + bL'Y + cL'Z + dL'= 0) and a plane equation (a) representing the transparent glass plate 400 in the world coordinate system.M'X + bM'Y + cM'Z + dM′ = 0), the angle (incident angle) θ1 between the plane representing the light flux and the transparent glass plate 400 is obtained, and θ2 in FIG. 13 is obtained from Snell's law.
[0102]
When the mirror 300 is mounted on the measuring table 201 as shown in FIG. 11, the equation (a) of the plane representing the transparent glass plate 400 is used.M'X + bM'Y + cM'Z + dM'= 0), the equation of the surface of the measuring table 201 on which the mirror 300 is mounted is used.
[0103]
When the refractive index of air is n1 and the refractive index of the transparent glass plate 400 is n2, the relationship between θ1 and θ2 is expressed by the following equation 4 according to Snell's law.
[0104]
(Equation 4)
Figure 0003574044
[0105]
(3) Next, the equation of the plane of the luminous flux after bending in the world coordinate system (aL ''X + bL ''Y + cL ''Z + dL ''= 0).
[0106]
The distance U between the plane of the light beam output from the transparent glass plate 400 and the plane of the original light beam incident on the transparent glass plate 400 is expressed by the following equation 5 from FIG.
[0107]
(Equation 5)
Figure 0003574044
[0108]
When the mirror 300 is placed on the measuring table 201 as shown in FIG. 11, if the thickness of the transparent glass plate 302 of the mirror 300 is v, w in the above equation 5 is 2v.
[0109]
The plane of the luminous flux after bending in the world coordinate system is the plane of the original luminous flux incident on the transparent glass plate 400 (aL'X + bL'Y + cL'Z + dL'= 0) and a plane separated by a distance U. Therefore, the equation of the plane of the luminous flux after bending in the world coordinate system (aL ''X + bL ''Y + cL ''Z + dL ''= 0) is obtained by the following equation 6.
[0110]
(Equation 6)
Figure 0003574044
[0111]
(4) Using the rotation R and the translation t of the camera coordinates obtained in the first step, the equation a of the plane of the luminous flux after bending in the world coordinate systemL ''X + bL ''Y + cL ''Z + dL ''To the plane equation (aL '''x + bL '''y + cL '''z + dL ''').
[0112]
The equation of the plane of the luminous flux after bending in the camera coordinate system thus obtained (al '''x + bl '''y + cl '''z + dl ''') Is used as a plane equation representing the light beam used in the third step.
[0113]
[6-2] Description of the method of correcting (xs, ys) in the coordinates (coordinates at the observation point) (xs, ys, f) of the measurement point on the image plane S of the CCD camera 12
[0114]
A method of correcting (xs, ys) in the coordinates (coordinates at the observation point) (xs, ys, f) of the measurement point on the image plane S of the CCD camera 12 will be described. This method has two methods.
[0115]
The first method is to perform measurement on the image plane S on the assumption that all light reflected from the DUT 100 (hereinafter, referred to as reflected light) is perpendicularly incident on the image plane S of the CCD camera 12. This is a method of correcting (xs, ys) at the coordinates (xs, ys, f) of the point.
[0116]
The second method is based on the assumption that light reflected from the DUT 100 (hereinafter referred to as “reflected light”) is incident on the CCD camera 12 toward the focal position (camera coordinate origin) of the CCD camera 12 and the image plane This is a method of correcting (xs, ys) at the coordinates (xs, ys, f) of the measurement point on S.
[0117]
[6-2-1] Description of First Method
First, the first method will be described with reference to FIGS.
[0118]
In the first method, it is assumed that all light reflected from the DUT 100 (hereinafter, referred to as reflected light) is perpendicularly incident on the image plane S of the CCD camera 12.
[0119]
(1) First, a linear equation of the optical axis (z-axis) of the CCD camera 12 in the camera coordinate system is converted into a world coordinate system using the rotation R and the translation t of the camera coordinates obtained in the first step. I do.
[0120]
(2) The linear equation of the optical axis (z axis) in the world coordinate system and the equation (a) of the transparent glass plate 400 in the world coordinate systemM'X + bM'Y + cM'Z + dM′ = 0), the angle (incident angle) θ1 between the transparent glass plate 400 and the optical axis (z-axis) of the CCD camera 12 is obtained, and θ2 in FIG. 15 is obtained from Snell's law.
[0121]
When the mirror 300 is mounted on the measuring table 201 as shown in FIG. 11, the equation (a) of the plane representing the transparent glass plate 400 is used.M'X + bM'Y + cM'Z + dM'= 0), the equation of the surface of the measuring table 201 on which the mirror 300 is mounted is used.
[0122]
(3) The distance U (= w × (tan θ1−tan θ2) × cos θ1) between the plane of the light beam output from the transparent glass plate 400 and the plane of the original light beam incident on the transparent glass plate 400 is defined as It is calculated using Expression 5.
[0123]
When the mirror 300 is placed on the measuring table 201 as shown in FIG. 11, if the thickness of the transparent glass plate 302 of the mirror 300 is v, w in the above equation 5 is 2v.
[0124]
(4) Next, as shown in FIG. 16, based on the linear equation of the optical axis (z axis) of the CCD camera 12 in the world coordinate system and the equation of the plane of the transparent glass plate 400 in the world coordinate system. , An equation representing a plane Q including the optical axis (z axis) and perpendicular to the transparent glass plate 400 is obtained.
[0125]
(5) Using the rotation R and the translation t of the camera coordinates obtained in the first step, an equation representing a plane Q including the optical axis (z axis) in the world coordinate system and perpendicular to the transparent glass plate 400 is given by , Into equations in the camera coordinate system.
[0126]
(6) Next, as shown in FIG. 17, an equation representing a plane Q including the optical axis in the camera coordinate system and perpendicular to the transparent glass plate 400 and an equation representing the image plane S in the camera coordinate system. Based on this, the equation of the line of intersection between the plane Q including the optical axis and perpendicular to the transparent glass plate 400 and the image plane S is obtained.
[0127]
(7) On the intersecting line between the plane Q and the image plane S, based on the equation of the intersecting line between the plane Q including the optical axis and perpendicular to the transparent glass plate 400 and the image plane S, z on the image plane S The coordinates (x1, y1) of the position P ′ shifted by the distance U from the position P intersecting with the axis are obtained. The obtained coordinate value (x1, y1) becomes a correction value.
[0128]
(8) Then, the coordinates (xs, ys, f) of the observation point corresponding to the measurement point on the image plane S used in the third step are corrected using the correction value (x1, y1). Assuming that the coordinates (xs ′, ys ′, f) of the observation point corresponding to the measurement point on the image plane S after correction are (xs ′, ys ′, f), xs ′ and ys ′ are expressed by the following equation (7). It is represented by FIG. 18 shows an example in which an image observed on the image plane S is corrected. In FIG. 18, a broken line indicates an image observed on the image plane S, and a solid line indicates an image after correction.
[0129]
(Equation 7)
Figure 0003574044
[0130]
[6-2-2] Description of second method
The second method will be described with reference to FIGS.
[0131]
In the second method, it is assumed that light reflected from the device under test 100 (hereinafter referred to as reflected light) is incident on the CCD camera 12 toward the focal position (camera coordinate origin) of the CCD camera 12.
[0132]
(1) Extract the coordinates of the observation point on the image plane S. Then, an equation of a straight line L passing through the observation point from the camera coordinate origin is obtained in the camera coordinate system.
[0133]
(2) The equation of the straight line L obtained in the camera coordinate system is converted into a world coordinate system using the rotation R and the translation t of the camera coordinates obtained in the first step.
[0134]
(3) The equation of the straight line L in the world coordinate system and the equation of the transparent glass plate 400 in the world coordinate system (aM'X + bM'Y + cM'Z + dM′ = 0), the angle (incident angle) θ1 between the transparent glass plate 400 and the optical axis (z axis) of the CCD camera 12 is obtained, and θ2 in FIG. 19 is obtained from Snell's law.
[0135]
When the mirror 300 is mounted on the measuring table 201 as shown in FIG. 11, the equation (a) of the plane representing the transparent glass plate 400 is used.M'X + bM'Y + cM'Z + dM'= 0), the equation of the surface of the measuring table 201 on which the mirror 300 is mounted is used.
[0136]
(4) Next, the distance U (= w × (tan θ1−tan θ2) ×) between the plane of the reflected light output from the transparent glass plate 400 and the plane of the original reflected light incident on the transparent glass plate 400 cos θ1) is obtained by using the above equation (5).
[0137]
When the mirror 300 is placed on the measuring table 201 as shown in FIG. 11, if the thickness of the transparent glass plate 302 of the mirror 300 is v, w in the above equation 5 is 2v.
[0138]
(5) Next, as shown in FIG. 20, based on the equation of the straight line L in the world coordinate system and the equation of the plane of the transparent glass plate 400 in the world coordinate system, the transparent glass plate The equation of the plane Q perpendicular to 400 is determined.
[0139]
When the mirror 300 is mounted on the measuring table 201 as shown in FIG. 11, the equation (a) of the plane representing the transparent glass plate 400 is used.M'X + bM'Y + cM'Z + dM'= 0), the equation of the surface of the measuring table 201 on which the mirror 300 is mounted is used.
[0140]
(6) Using the rotation R and the translation t of the camera coordinates obtained in the first step, an equation representing a plane Q including the straight line L in the world coordinate system and perpendicular to the transparent glass plate 400 is expressed by the camera coordinate system. To the equation at.
[0141]
(7) Next, as shown in FIG. 21, an equation representing a plane Q including a straight line L in the camera coordinate system and perpendicular to the transparent glass plate 400, and an equation representing an image plane S in the camera coordinate system. Based on this, the equation of the line of intersection between the plane Q including the straight line L and perpendicular to the transparent glass plate 400 and the image plane S is obtained.
[0142]
(8) Based on an equation representing a plane Q including the straight line L and perpendicular to the transparent glass plate 400 and an equation representing an image plane S in the camera coordinate system, an equation of an intersecting line between the plane Q and the image plane S Ask.
[0143]
(9) The coordinates (xs', ys', f) of the position P 'shifted by the distance U from the position P intersecting with the straight line L on the image plane S are obtained. The obtained coordinate values (xs ', ys', f) are coordinates of the coordinates (xs, ys, f) of the observation point after correction.
[0144]
【The invention's effect】
According to the present invention, by arranging the mirror on the measuring table, not only the real image of the object to be measured, but also the virtual image reflected on the mirror can be used for measurement. Can be generated.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram illustrating a first configuration of a shape measuring device according to an embodiment of the present invention.
FIG. 2 is a perspective view showing a schematic configuration of a measuring head in the shape measuring device of FIG.
FIG. 3 is an explanatory diagram illustrating a measurement principle in the shape measuring apparatus of FIG. 1;
FIG. 4 is an explanatory diagram illustrating a measuring method for measuring the position of a measuring point using the measuring head of FIG. 2;
FIG. 5 is a flowchart illustrating a processing procedure in a first step.
FIG. 6 is an explanatory diagram showing an image of a foot obtained in a fourth step.
FIG. 7 is an explanatory view showing an image of a foot obtained in a fifth step.
FIG. 8 is a schematic configuration diagram illustrating a second configuration of the shape measuring device according to the embodiment of the present invention.
FIG. 9 is a schematic configuration diagram illustrating a third configuration of the shape measuring device according to the embodiment of the present invention.
FIG. 10 is a schematic configuration diagram illustrating a fourth configuration of the shape measuring apparatus according to the embodiment of the present invention.
FIG. 11 is a schematic diagram showing how light is refracted by a transparent glass plate when a mirror made up of a light reflection plate having a light reflection surface formed on the surface and a transparent glass plate formed on the light reflection plate is used. FIG.
FIG. 12 is a view for explaining a correction method when the slit light source and the image plane of the CCD camera are located on the near side of the transparent glass plate, and the object to be measured is located on the other side of the transparent glass plate. It is a schematic diagram.
FIG. 13 is a schematic diagram for explaining a method of correcting an equation representing a light beam when the measurement object is irradiated.
FIG. 14 is a schematic diagram for explaining a method of calculating a distance U between a plane of a light beam output from a transparent glass plate and a plane of an original light beam incident on the transparent glass plate.
FIG. 15 is a schematic diagram for explaining a first method for correcting coordinates of a measurement point on an image plane S.
FIG. 16 is a schematic diagram showing a plane Q that includes an optical axis (z axis) and is perpendicular to a transparent glass plate.
FIG. 17 is a schematic diagram showing an intersecting line between a plane Q including an optical axis and perpendicular to a transparent glass plate and an image plane.
FIG. 18 is a schematic diagram illustrating an example of a case where an image observed on an image plane is corrected.
FIG. 19 is a schematic diagram for explaining a second method for correcting coordinates of a measurement point on an image plane S.
20 is a schematic diagram showing a plane Q that includes the straight line L of FIG. 19 and is perpendicular to the transparent glass plate 400. FIG.
FIG. 21 is a schematic diagram showing an intersecting line between a plane Q including the straight line L in FIG. 19 and perpendicular to the transparent glass plate and an image plane.
[Explanation of symbols]
10 Measuring head
12 CCD camera
13 Slit light source
14 Marker
16 encoder
21 Stereo camera
22 Stereo camera
201 Measurement table
204 guide rail
205 stainless steel mirror
300 mirror

Claims (16)

測定台上に載置された被測定物に対してスリット光を照射する光照射手段を備え、該被測定物の形状を測定する測定ヘッド、測定ヘッドの位置を検出する位置検出手段、ならびに測定ヘッドと位置検出手段との出力に基づいて被測定物の3次元形状を求める演算手段を備えた形状測定装置であって、
上面に載せられた被測定物を映す鏡を測定台上に配置し、測定ヘッドから照射されたスリット光が鏡の光反射面に対して垂直に出射されるように、測定ヘッドの姿勢を規制するガイド手段を備えていることを特徴とする形状測定装置。
A measuring head for measuring a shape of the object to be measured, a position detecting unit for detecting a position of the measuring head, and a light irradiating unit for irradiating slit light to the object to be measured mounted on the measuring table. What is claimed is: 1. A shape measuring apparatus comprising: an arithmetic unit for obtaining a three-dimensional shape of an object to be measured based on outputs of a head and a position detecting unit,
A mirror that reflects the object to be measured placed on the upper surface is placed on the measuring table, and the attitude of the measuring head is regulated so that the slit light emitted from the measuring head is emitted perpendicular to the light reflecting surface of the mirror A shape measuring device comprising a guide means for performing the measurement.
位置検出手段は、2台のカメラを用いてステレオ法により測定ヘッドの位置を検出するものである請求項1に記載の形状測定装置。The shape measuring apparatus according to claim 1, wherein the position detecting means detects the position of the measuring head by a stereo method using two cameras. 測定ヘッドは、
照射手段からの光束が照射される被測定物上の測定点を撮像することにより、被測定物の実像と鏡に映った被測定物の虚像とを撮像する撮像手段、
を含んでいることを特徴とする請求項1および2のいずれかに記載の形状測定装置。
The measuring head is
Imaging means for imaging a real image of the measured object and a virtual image of the measured object reflected on a mirror by imaging a measurement point on the measured object irradiated with the light beam from the light irradiating means;
The shape measuring apparatus according to claim 1, further comprising:
鏡は表面に光反射面が形成されていることを特徴とする請求項1、2および3のいずれかに記載の形状測定装置。4. The shape measuring apparatus according to claim 1, wherein the mirror has a light reflecting surface formed on a surface thereof. 演算手段は、
撮像手段の撮像画面上での測定点の座標と、光照射手段から出射された光束を表す平面を表す方程式とに基づいて、測定ヘッド中心の座標系での測定点の座標を求める第1手段、
第1手段によって求められた各測定点の座標を、位置検出手段による検出結果に基づいて、ワールド座標系の座標に変換することにより、被測定物の実像に対する3次元形状と、鏡に映った被測定物の虚像に対する3次元形状とを求める第2手段、
鏡の光反射面を表すワールド座標系での方程式を求める第3手段、
鏡の光反射面を表す方程式に基づいて、虚像に対する3次元形状の光反射面に対して対称な3次元形状を求める第4手段、ならびに
虚像に対する3次元形状の光反射面に対して対称な3次元形状と、被測定物の実像に対する3次元形状とを合成することにより被測定物の3次元形状を求める第5手段、
を備えていることを特徴とする請求項4に記載の形状測定装置。
The calculating means is
First means for obtaining coordinates of a measurement point in a coordinate system of a center of a measurement head based on coordinates of a measurement point on an imaging screen of the imaging means and an equation representing a plane representing a light flux emitted from the light irradiation means. ,
By converting the coordinates of each measurement point obtained by the first means into coordinates in the world coordinate system based on the detection result by the position detection means, the three-dimensional shape with respect to the real image of the measured object and reflected on the mirror Second means for obtaining a three-dimensional shape of the virtual image of the device under test;
Third means for obtaining an equation in a world coordinate system representing the light reflecting surface of the mirror;
Fourth means for obtaining a three-dimensional shape symmetric with respect to the three-dimensional light reflecting surface for the virtual image based on an equation representing the light reflecting surface of the mirror, and symmetrical with respect to the three-dimensional light reflecting surface for the virtual image Fifth means for obtaining the three-dimensional shape of the measured object by combining the three-dimensional shape and the three-dimensional shape of the real image of the measured object;
The shape measuring apparatus according to claim 4, further comprising:
鏡の光反射面を表す方程式を求める手段は、
2台のカメラを用いてステレオ法により光反射面上の3点以上の点の座標を測定する手段、および
得られた光反射面上の3点以上の点の座標に基づいて光反射面を表す方程式を求める手段、
を備えていることを特徴とする請求項5に記載の形状測定装置。
The means for finding the equation describing the light reflecting surface of the mirror is:
Means for measuring the coordinates of three or more points on the light-reflecting surface by a stereo method using two cameras, and forming the light-reflecting surface based on the obtained coordinates of the three or more points on the light-reflecting surface Means to determine the equation to represent,
The shape measuring apparatus according to claim 5, further comprising:
鏡の光反射面を表す方程式を求める手段は、
光反射面上に不透明な薄板を載せた状態で、測定ヘッドを用いて薄板を撮像し、薄板の平面を特定するための3点以上の点の測定ヘッド中心の座標系での座標を抽出する手段、
得られた測定ヘッド中心の座標系での3点以上の点の座標を、位置検出手段による検出結果に基づいて、ワールド座標系での座標に変換する手段、および
得られたワールド座標系での3点以上の点の座標に基づいて、ワールド座標系での薄板の平面を表す方程式を求める手段、
を備えていることを特徴とする請求項5に記載の形状測定装置。
The means for finding the equation describing the light reflecting surface of the mirror is:
With the opaque thin plate placed on the light reflecting surface, the thin plate is imaged using the measuring head, and coordinates of three or more points for specifying the plane of the thin plate in the coordinate system of the center of the measuring head are extracted. means,
Means for converting the obtained coordinates of three or more points in the coordinate system of the center of the measuring head into coordinates in the world coordinate system based on the detection result by the position detecting means, and Means for obtaining an equation representing the plane of the thin plate in the world coordinate system based on the coordinates of three or more points;
The shape measuring apparatus according to claim 5, further comprising:
ガイド手段は、測定ヘッドの移動経路を規制するものであることを特徴とする請求項1に記載の形状測定装置。 The shape measuring apparatus according to claim 1, wherein the guide means regulates a moving path of the measuring head . 測定ヘッドをガイド手段に沿って移動させるための駆動手
段を備えていることを特徴とする請求項8に記載の形状測定装置。
A drive for moving the measuring head along the guide means
9. The shape measuring device according to claim 8, comprising a step .
測定ヘッドの移動経路全体を覆う筐体を備えていることを特徴とする請求項9に記載の形状測定装置。 The shape measuring apparatus according to claim 9, further comprising a housing that covers an entire movement path of the measuring head . 筐体が被測定物を挿脱するための開口部を備える請求項10に記載 形状測定装置。 The shape measuring apparatus according to claim 10, wherein the housing includes an opening for inserting and removing an object to be measured . 筐体の開口部に弾性部材からなる蓋部を設け、蓋部が被測定物を挿脱するための切込部を備えていることを特徴とする請求項11に記載の形状測定装置。 The shape measuring apparatus according to claim 11, wherein a lid portion made of an elastic member is provided at an opening of the housing, and the lid portion has a cut portion for inserting and removing an object to be measured . 鏡は、表面に光反射面が形成された光反射板と、光反射板上に形成された透明板とからなることを特徴とする請求項1、2および3のいずれかに記載の形状測定装置。 4. The shape measuring device according to claim 1, wherein the mirror comprises a light reflecting plate having a light reflecting surface formed on a surface thereof, and a transparent plate formed on the light reflecting plate. apparatus. 演算手段は、
被測定物の実像上の測定点に対しては、撮像手段の撮像画面上での測定点の座標と、光照射手段から出射された光束を表す平面を表す方程式とに基づいて、測定ヘッド中心の座標系での測定点の座標を求める第1手段、
鏡に映った被測定物の虚像上の測定点に対しては、撮像手段の撮像画面上での測定点の座標値を鏡の透明板の屈折量を考慮して補正した後の座標値と、光照射手段から出射された光束を表す平面の方程式を鏡の透明板の屈折量を考慮して補正した後の方程式とに基づいて、測定ヘッド中心の座標系での測定点の座標を求める第2手段、
第1手段および第2手段によって求められた各測定点の座標を、位置検出手段による検出結果に基づいて、ワールド座標系の座標に変換することにより、被測定物の実像に対する3次元形状と、鏡に映った被測定物の虚像に対する3次元形状とを求める第3手段、
鏡の光反射面を表すワールド座標系での方程式を求める第4手段、
鏡の光反射面を表す方程式に基づいて、虚像に対する3次元形状の光反射面に対して対称な3次元形状を求める第5手段、ならびに
虚像に対する3次元形状の光反射面に対して対称な3次元形状と、被測定物の実像に対する3次元形状とを合成することにより被測定物の3次元形状を求める第6手段、
を備えていることを特徴とする請求項13に記載の形状測定装置。
The calculating means is
For the measurement point on the real image of the device under test, the center of the measurement head is determined based on the coordinates of the measurement point on the imaging screen of the imaging unit and an equation representing a plane representing the light flux emitted from the light irradiation unit. First means for obtaining the coordinates of the measurement point in the coordinate system of
For the measurement point on the virtual image of the object to be measured reflected on the mirror, the coordinate value of the measurement point on the imaging screen of the imaging means is corrected after taking into account the refraction amount of the transparent plate of the mirror. The coordinates of the measuring point in the coordinate system of the center of the measuring head are obtained based on the equation obtained by correcting the equation of the plane representing the light flux emitted from the light irradiation means in consideration of the amount of refraction of the transparent plate of the mirror. The second means,
By converting the coordinates of each measurement point obtained by the first means and the second means into the coordinates of the world coordinate system based on the detection result by the position detecting means, a three-dimensional shape with respect to the real image of the measured object is obtained. Third means for obtaining a three-dimensional shape of the virtual image of the measured object reflected on the mirror;
Fourth means for obtaining an equation in the world coordinate system representing the light reflecting surface of the mirror;
Fifth means for obtaining a three-dimensional shape symmetric with respect to the light reflecting surface of the three-dimensional shape for the virtual image based on an equation representing the light reflecting surface of the mirror, and
Sixth means for obtaining the three-dimensional shape of the object by combining the three-dimensional shape of the three-dimensional shape with respect to the light reflecting surface of the three-dimensional shape with respect to the virtual image and the three-dimensional shape of the three-dimensional shape of the object with the real image;
The shape measuring apparatus according to claim 13, further comprising:
鏡の光反射面を表す方程式を求める手段は、
2台のカメラを用いてステレオ法により、鏡が載置された測定台上の3点以上の点の座標を測定する手段、および
得られた測定台上の3点以上の点の座標に基づいて光反射面を表す方程式を求める手段、
を備えていることを特徴とする請求項14に記載の形状測定装置。
The means for finding the equation describing the light reflecting surface of the mirror is:
Means for measuring the coordinates of three or more points on the measuring table on which the mirror is mounted by stereo method using two cameras, and
Means for obtaining an equation representing the light reflecting surface based on the coordinates of the three or more points on the measurement table,
The shape measuring apparatus according to claim 14, further comprising:
測定ヘッドの光照射手段から照射される光束が、鏡の光反射面に対して垂直に出射されるように、測定ヘッドの姿勢を規制するガイド手段を備えていることを特徴とする請求項13、14および15のいずれかに記載の形状測定装置。 14. A guide means for regulating the attitude of the measuring head so that a light beam emitted from the light emitting means of the measuring head is emitted perpendicular to the light reflecting surface of the mirror. 16. The shape measuring device according to any one of claims 14 and 15 .
JP2000146146A 2000-03-23 2000-05-18 Shape measuring device Expired - Fee Related JP3574044B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000146146A JP3574044B2 (en) 2000-03-23 2000-05-18 Shape measuring device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-82436 2000-03-23
JP2000082436 2000-03-23
JP2000146146A JP3574044B2 (en) 2000-03-23 2000-05-18 Shape measuring device

Publications (2)

Publication Number Publication Date
JP2001338278A JP2001338278A (en) 2001-12-07
JP3574044B2 true JP3574044B2 (en) 2004-10-06

Family

ID=26588173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000146146A Expired - Fee Related JP3574044B2 (en) 2000-03-23 2000-05-18 Shape measuring device

Country Status (1)

Country Link
JP (1) JP3574044B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010048709A (en) * 2008-08-22 2010-03-04 Toyota Motor Corp Laser irradiation device and method
US8723928B2 (en) 2008-07-11 2014-05-13 Panasonic Corporation Three-dimensional shape measuring apparatus, integrated circuit, and three-dimensional shape measuring method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3408237B2 (en) * 2000-10-02 2003-05-19 三洋電機株式会社 Shape measuring device
JP5509645B2 (en) * 2009-03-25 2014-06-04 富士ゼロックス株式会社 Position / posture recognition method, component gripping method, component placement method, component assembly method, position / posture recognition device, component gripping device, component placement device, and component assembly device
JP6005459B2 (en) * 2012-09-26 2016-10-12 公益財団法人鉄道総合技術研究所 Measuring device and program
SE540459C2 (en) * 2016-11-22 2018-09-18 Unibap Ab Measuring system and method of an industrial robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8723928B2 (en) 2008-07-11 2014-05-13 Panasonic Corporation Three-dimensional shape measuring apparatus, integrated circuit, and three-dimensional shape measuring method
JP2010048709A (en) * 2008-08-22 2010-03-04 Toyota Motor Corp Laser irradiation device and method

Also Published As

Publication number Publication date
JP2001338278A (en) 2001-12-07

Similar Documents

Publication Publication Date Title
US6909513B1 (en) Shape measuring device
US11629954B2 (en) Intraoral scanner with fixed focal position and/or motion tracking
US10660732B2 (en) Viewfinder with real-time tracking for intraoral scanning
US7742635B2 (en) Artifact mitigation in three-dimensional imaging
US7791738B2 (en) Three-dimensional shape measuring device, and portable measuring device
JPH032531B2 (en)
WO2015054281A1 (en) Calibration of 3d scanning device
WO2000033026A1 (en) Apparatus and method to measure three-dimensional data
JP2012521005A (en) Optical gauge and three-dimensional surface profile measuring method
TW200907318A (en) Eccentricity amount measuring device
US20150097968A1 (en) Integrated calibration cradle
JP5173106B2 (en) Method and apparatus for measuring the transmission of the geometric structure of an optical element
JP3574044B2 (en) Shape measuring device
JP2623367B2 (en) Calibration method of three-dimensional shape measuring device
CN106840030B (en) A kind of two dimension long-range profile detection device and detection method
JP3408237B2 (en) Shape measuring device
US20170192219A1 (en) Image generating system, image generating method, and image generating apparatus
JP2001304844A (en) Method of setting position of object to be measured in measurement of layer thickness by x ray fluorescence
JP3370049B2 (en) Shape measuring device
JPH0789057B2 (en) Distance measuring device
JPH0314445B2 (en)
JPH11118483A (en) Photographic measuring device and its method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040630

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees