JP3483139B2 - 干渉計における2次元位相データのアンラップ方法及び装置 - Google Patents

干渉計における2次元位相データのアンラップ方法及び装置

Info

Publication number
JP3483139B2
JP3483139B2 JP2000395086A JP2000395086A JP3483139B2 JP 3483139 B2 JP3483139 B2 JP 3483139B2 JP 2000395086 A JP2000395086 A JP 2000395086A JP 2000395086 A JP2000395086 A JP 2000395086A JP 3483139 B2 JP3483139 B2 JP 3483139B2
Authority
JP
Japan
Prior art keywords
pixels
area
boundary
unwrapping
interferometer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000395086A
Other languages
English (en)
Other versions
JP2002195806A (ja
Inventor
聰一 門脇
常太 宮倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Priority to JP2000395086A priority Critical patent/JP3483139B2/ja
Publication of JP2002195806A publication Critical patent/JP2002195806A/ja
Application granted granted Critical
Publication of JP3483139B2 publication Critical patent/JP3483139B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instruments For Measurement Of Length By Optical Means (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、干渉計によって得
られる2次元位相データのアンラップを行う方法及び装
置に係り、特に、ノイズの影響を受けることなく、位相
0〜2πの範囲に畳み込まれた位相分布から、もとの連
続な位相分布を求めることが可能な、干渉計における2
次元位相データのアンラップ方法及び装置に関する。
【0002】
【従来の技術】被検体と参照面とを干渉させて干渉縞を
形成させ、この干渉縞の強度データから2次元位相デー
タを求め、参照面と被検体との形状差を算出する干渉計
が知られている。この干渉計は、一般に、(1)干渉縞
強度分布の取得、(2)強度を位相情報に変換、(3)
有効領域の決定、(4)位相のアンラッピング、(5)
位相情報を形状に変換、の手順により形状を算出する。
【0003】この手順内で、一般に、(2)の手順で強
度を位相情報に変換する際に、アークタンジェントの計
算が含まれ、そのために、位相データは、図1の右側及
び図2の上段に例示する如く、tan-1の値域である−π
からπに対応して0〜2πの範囲に畳み込まれる。
【0004】例えば、5枚の位相シフトした画像から高
さ情報を算出するHariharanアルゴリズムでは、位相シ
フト量をαとすると、それぞれの画像の、ある一点での
輝度は、次式のように表される。
【0005】
【数1】 ここで、I1〜I5(x,y)は画像強度、I′(x,
y)は直流成分、I″(x,y)は交流成分、φ(x,
y)は高さ情報(位相情報)である。
【0006】この5つの式から、φ(x,y)に関する
次の式を得る。
【0007】
【数2】
【0008】従って、位相情報φ(x,y)は、次式で
算出できる。
【0009】
【数3】
【0010】このような位相データ算出の結果求められ
る位相データ領域の所々に、図1の右側及び図2の上段
に示したような、2πに近いジャンプが現れる。このジ
ャンプを無くし、図1の左側及び図2の下段に示すよう
な、連続的に変化する位相データを求めることをアンラ
ッピングと称する。
【0011】一般的なアンラッピングのアルゴリズム
は、次の手順で行われる。
【0012】(1)アンラップを始まる点を基準点とし
て、その点と隣り合う点との位相を比較する。 (2)位相のジャンプがある場合は、ジャンプが無くな
るように、隣りの点における位相に整数倍のオフセット
(図2の中段参照)を加える。 (3)(2)の手順が終了したら、隣の点を新たに基準
とする点として、(1)の手順に戻る。
【0013】
【発明が解決しようとする課題】しかしながら、この方
法では、図3(1次元で例示)及び図4(A)(2次元
で例示)に示す如く、境界のノイズが大きい場合、正し
くアンラッピングができず、本来は別の領域である領域
1と領域2(図3の場合)が、その境界部分のノイズの
影響によって境界部分の差が2πより小さくなり、図3
及び図4(C)に示す如く、本来別の領域が、図4
(B)に示す如く、一つの領域に統合されてしまうこと
があった。又、局所的にアンラッピングを行うために、
大局的なエラーを起こしやすいという問題点も有してい
た。
【0014】本発明は、前記従来の問題点を解消するべ
くなされたもので、ノイズの影響を受けることなく、正
確なアンラッピングを可能とすることを課題とする。
【0015】
【課題を解決するための手段】本発明は、干渉計によっ
て得られる2次元位相データのアンラップを行う方法で
おいて、位相算出後、境界付近の画素(境界画素)を抽
出し、更に、抽出された境界画素の近傍の画素(近傍画
素)を抽出し、前記境界画素と、その近傍画素を共に除
いた画素について、各領域への統合を行った後、前記境
界画素と、その近傍画素を、対応する領域に統合させる
ようにして、前記課題を解決したものである。
【0016】又、前記各領域への統合に際して、各領域
で領域の要素数がしきい値以下の小領域は、ノイズとみ
なして無効領域とすることにより、小領域による誤差を
排除したものである。
【0017】更に、前記無効領域の画素については、領
域統合後、データを補間することにより、無効領域につ
いても有効なデータが得られるようにしたものである。
【0018】又、前記各領域に対して、全ての領域間の
位相ジャンプ量の和を最小化する最小化問題を解くこと
により、各領域の移動量を算出するようにして、正確な
移動量が求められるようにしたものである。
【0019】本発明は、又、干渉計によって得られる2
次元位相データのアンラップを行う装置において、位相
算出後、境界付近の画素(境界画素)を抽出する境界画
素抽出手段と、更に、抽出された境界画素の近傍の画素
(近傍画素)を抽出する近傍画素抽出手段と、前記境界
画素と、その近傍画素を共に除いた画素について、各領
域への統合を行った後、前記境界画素と、その近傍画素
を、対応する領域に統合させる領域統合手段と、全ての
領域間の位相ジャンプ量の和を最小化する最適化問題を
解くことにより、各領域の移動量を算出する算出手段
と、を備えることにより、前記課題を解決したものであ
る。
【0020】
【発明の実施の形態】以下、図面を参照して、本発明の
実施形態を詳細に説明する。
【0021】図5は、本発明の一実施形態に係るアンラ
ップ装置を含む部品評価システムの構成を示す説明図で
ある。
【0022】この評価システムは、干渉計10と、該干
渉計10に接続された信号処理回路30と、該信号処理
回路30に接続されたコンピュータ32と、該コンピュ
ータ32に接続されたモニタ34とを備えている。
【0023】前記干渉計10は、平行光束のレーザ光を
出射する光源12と、該光源12からのレーザ光が入射
され、入射光の一部を反射し、残りの一部を透過するビ
ームスプリッタ14と、前記光源12から出射されビー
ムスプリッタ14を透過した光を反射して、参照面を生
成する基準ミラー16と、該基準ミラー16を光軸方向
に移動するための駆動部18と、前記基準ミラー16で
反射され、更にビームスプリッタ14で反射された光の
光路上に配設された結像レンズ20と、該結像レンズ2
0によって結像される像を撮像するためのカメラ22と
を備えている。
【0024】前記光源12から出射され、ビームスプリ
ッタ14で反射された光の光路上には、被検体の被測定
面8が配置され、この被測定面8からの戻り光がビーム
スプリッタ14上に入射するようになっている。
【0025】この干渉計10では、光源12から出射さ
れた平行光束のレーザ光は、ビームスプリッタ14に入
射して一部が反射され、残りの一部が透過する。ビーム
スプリッタ14で反射された光は、被測定面8に入射
し、被測定面8からの戻り光が再度ビームスプリッタ1
4に入射し、一部が透過して、結像レンズ20を介して
カメラ22に入射する。一方、光源12から出射され、
ビームスプリッタ14を透過した光は、基準ミラー16
で反射され、再度ビームスプリッタ14に入射して、一
部が反射され、結像レンズ20を介してカメラ22に入
射する。この結果、カメラ22上では、被測定面8から
の光による被検面と基準ミラー16からの光による参照
面との干渉による干渉縞が形成され、この干渉縞がカメ
ラ22によって撮像される。
【0026】カメラ22の出力は、信号処理回路30に
入力され、ここで、増幅、アナログ−デジタル変換など
の信号処理が行われ、2次元の各位置(画素)毎の干渉
縞強度データが生成され、この干渉縞強度データが、本
発明のアンラップ装置に対応するコンピュータ32に入
力される。縞走査動作時、コンピュータ32には、駆動
部18を制御して、基準ミラー16を例えばλ/4(但
しλは光の波長)ずつ光軸方向に4段階に移動させ、各
位置毎に、信号処理回路30からの干渉縞強度データを
取り込み、縞走査法に基づいて、干渉縞強度データから
位相データを生成する。コンピュータ32は、位相のア
ンラップ等の演算処理を行うと共に、必要に応じて、モ
ニタ34にデータや特性図等を表示する。
【0027】図6は、前記コンピュータ32で行われる
本実施形態の処理手順を示したものであり、まずステッ
プ100で、各画素における位相を算出する。
【0028】次いでステップ104に進み、各画素の近
傍で位相情報は連続であるという仮定を用いて、ノイズ
除去を行う。但し、位相情報は0〜2πの範囲に畳み込
まれるため、図1の右側及び図2の上段に示したような
エッジが生ずる。
【0029】次いでステップ106に進み、位相情報に
対して、近傍の位相差が少ない画素同士を統合して、領
域統合を行う。この際、ノイズが多い場合には、図3及
び図4を用いて説明したように、本来2πの差がある領
域を、同一領域とみなして統合してしまうことがある。
そこで、本発明では、図7に示すような手順に従って、
領域統合を行う。なお、実際の処理は2次元であるが、
説明のため、1次元の図を参照して説明する。
【0030】即ち、位相領域算出後、ステップ302
で、その画素の位相が、一方の境界に対応する0に近く
(しきい値により判断)、且つ、近傍に、別の領域に属
すべき、位相が2πに近い画素が存在するか、あるい
は、その画素の位相が、他方の境界に対応する2πに近
く(しきい値により判断)、且つ、近傍に、他方の別の
領域に属すべき、位相が0に近い画素が存在するという
条件を満たす画素(境界画素と称する)を抽出する。こ
の処理により抽出された境界画素を図6に示す。このス
テップ302で抽出された境界画素は、平面的には図9
に示す如くであり、境界が全て抽出されているわけでは
ない。
【0031】次いでステップ304に進み、ステップ3
02で抽出された境界画素の近傍(例えば8近傍)の画
素(近傍画素と称する)を抽出する。このステップ30
4により抽出された近傍画素の例を図10に示す。この
ステップ304で抽出された近傍画素を、ステップ30
2で抽出された境界画素に加えた場合には、平面的には
図11に示す如くなり、境界全てが抽出される。
【0032】次いでステップ306に進み、図12に示
す如く、ステップ302及び304で抽出された境界画
素及び近傍画素を除いた画素について領域統合を行う。
この境界画素及び近傍画素を除いた画素を平面的に示し
たのが図13であり、白い領域のみで領域統合処理を行
う。
【0033】領域統合終了後、ステップ308に進み、
各領域で領域の要素数がしきい値、例えば4〜16画素
以下の場合は、これをノイズとみなして無効領域とし、
残りの領域を有効領域として残す。これにより、ノイズ
によって生じる小領域を誤って有効領域としてしまうこ
とがない。
【0034】次いでステップ310に進み、ステップ3
02で抽出した境界画素及びステップ304で抽出した
近傍画素を、図14に示す如く、対応する各領域へ統合
させることによって、図4(C)に示した如く、それぞ
れ別の領域に正しく統合させることができる。
【0035】領域統合終了後、図6のステップ108に
進み、各領域で領域の要素数がしきい値、例えば4〜1
6画素以下の場合は、これをノイズとみなして無効領域
とし、残りの領域を有効領域として残す。これにより、
ノイズによって生じる小領域を誤って有効領域としてし
まうことがない。なお、このステップ108におけるし
きい値は、図7のステップ308におけるしきい値と異
なる値に設定することができる。
【0036】次いでステップ110に進み、各領域に対
して、それぞれの領域間の位相ジャンプ量の和を最小化
する最適化問題を解くベストフィットを行う。いま、図
15に示すような複数の領域の同時ベストフィットを考
え、図16に示すように、領域SとS′の境界対応点を
i (S)、ri (S')とする。
【0037】この時、ベストフィット後の面SとS′の
回転と平行移動を、それぞれR(S)、R(S')及びT(S)
(S')とすると、この時の対応点間の距離fi (s、s')は、
次式で表される。
【0038】
【数4】
【0039】この際、fi (s、s')を、2πの整数倍で丸め
ることで、誤差を少なくする効果を得ることも考えられ
る。
【0040】次に、次の制約条件を考慮する。
【0041】
【数5】 ここで、tx、ty、tzはx、y、z方向の平行移動
成分、φ、ψ、θは、ロール、ヨー、ピッチを表してい
る。
【0042】ここでは、上下方向の平行移動が殆どなの
で、tx(sys)、ty(sys)、φ(sys )、ψ(sys)、θ
(sys)の制約条件は、0に非常に近い値とする。
【0043】なお、φ、ψ、θで回転Rを表現すると、
次式になる。
【0044】
【数6】
【0045】ペナルティ法により、この制約条件を考慮
することにすると、面sのペナルティ関数pは、次のよ
うに定義される。
【0046】
【数7】 ここで、γtx、γty、γtz、γφ、γθ、γψは、各ペ
ナルティの重みであり、制約条件の許容値の逆数とし
て、予め与えられている正の定数とする。
【0047】以上から、制約条件をペナルティ関数とし
て組み込んだ評価関数ベクトルFは、次式となる。
【0048】
【数8】 但し、値が0となるペテルティ項は除く。
【0049】よって、境界間のずれ距離に対応する評価
量Φは、次式で与えられる。
【0050】
【数9】
【0051】この評価量Φを最小にする未知パラメータ
Xを、例えば非線形最小二乗法の繰返し計算により求め
る。ここで、Nsは、同時ベストフィットの対象となる
面の数、N(s,s′)は、面sとs′の間の対応点の
数であり、未知パラメータXは、次式で与えられる。
【0052】
【数10】
【0053】上記のようにして求められたベストフィッ
トによる解を基に、図6のステップ112で、各領域の
相互の画素について位相計算を行い、図2の中段に示し
たような、領域毎に異なる位相を加算することによっ
て、図2の下段に示したように全体を統合して、図1の
左側に示したような全体図形を得る。
【0054】次いでステップ114に進み、ステップ1
08で排除した小さな無効領域について、補間が可能で
あれば、補間を行って、データを補充する。なお、近傍
画素が少ないなどの理由で補間ができない場合には、そ
のままとすることができる。
【0055】このようにして、図7に示した領域統合処
理と、最適化問題を解くベストフィットの手法を組み合
わせることにより、特に優れた効果を得ることができ
る。なお、各領域の移動量を求める方法は、ベストフィ
ットの手法に限定されず、例えば、特開平10−901
12で提案されたような、方程式を使う方法を用いても
よい。
【0056】
【発明の効果】本発明によれば、ノイズが大きい状況で
も、正しいアンラップが可能となる。
【図面の簡単な説明】
【図1】アンラッピングを説明するための斜視図
【図2】同じく1次元の図
【図3】従来のアンラッピングにおける問題点を説明す
るための1次元の図
【図4】同じく平面図
【図5】本発明の一実施形態に係るアンラップ装置を含
む部品評価システムの構成を示す説明図
【図6】前記実施形態におけるアンラップの処理手順を
示す流れ図
【図7】同じく領域統合処理手順を示す流れ図
【図8】前記領域統合処理手順により抽出された境界画
素の例を示す1次元の図
【図9】同じく平面図
【図10】前記領域統合処理手順により抽出された近傍
画素の例を示す1次元の図
【図11】前記領域統合処理手順により抽出された境界
画素と近傍画素を示す平面図
【図12】前記境界画素及び近傍画素を除いた画素で領
域統合を行う様子を示す1次元の図
【図13】同じく平面図
【図14】前記境界画素及び近傍画素を各領域に統合す
る様子を示す1次元の図
【図15】ベストフィットの対象の例を示す斜視図
【図16】ベストフィットで用いた符号の説明図
【符号の説明】
8…被測定面 10…干渉計 12…光源 14…ビームスプリッタ 16…基準ミラー 18…駆動部 20…結像レンズ 22…カメラ 30…信号処理装置 32…コンピュータ(アンラップ装置) 34…モニタ
フロントページの続き (56)参考文献 特開2000−155051(JP,A) 特開2001−241930(JP,A) 特開2001−153797(JP,A) 特開2002−131027(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 9/02 G01J 9/02

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】干渉計によって得られる2次元位相データ
    のアンラップを行う方法において、 位相算出後、境界付近の画素(境界画素)を抽出し、 更に、抽出された境界画素の近傍の画素(近傍画素)を
    抽出し、 前記境界画素と、その近傍画素を共に除いた画素につい
    て、各領域への統合を行った後、 前記境界画素と、その近傍画素を、対応する領域に統合
    させることを特徴とする干渉計における2次元位相デー
    タのアンラップ方法。
  2. 【請求項2】前記各領域への統合に際して、各領域で領
    域の要素数がしきい値以下の小領域は、ノイズとみなし
    て無効領域とすることを特徴とする請求項1に記載の干
    渉計における2次元位相データのアンラップ方法。
  3. 【請求項3】前記無効領域の画素について、領域統合
    後、データを補間することを特徴とする請求項2に記載
    の干渉計における2次元位相データのアンラップ方法。
  4. 【請求項4】前記各領域に対して、全ての領域間の位相
    ジャンプ量の和を最小化する最適化問題を解くことによ
    り、各領域の移動量を算出することを特徴とする請求項
    1乃至3のいずれかに記載の干渉計における2次元位相
    データのアンラップ方法。
  5. 【請求項5】干渉計によって得られる2次元位相データ
    のアンラップを行う装置において、 位相算出後、境界付近の画素(境界画素)を抽出する境
    界画素抽出手段と、 更に、抽出された境界画素の近傍の画素(近傍画素)を
    抽出する近傍画素抽出手段と、 前記境界画素と、その近傍画素を共に除いた画素につい
    て、各領域への統合を行った後、前記境界画素と、その
    近傍画素を、対応する領域に統合させる領域統合手段
    と、 全ての領域間の位相ジャンプ量の和を最小化する最適化
    問題を解くことにより、各領域の移動量を算出する算出
    手段と、 を備えたことを特徴とする干渉計における2次元位相デ
    ータのアンラップ装置。
JP2000395086A 2000-12-26 2000-12-26 干渉計における2次元位相データのアンラップ方法及び装置 Expired - Fee Related JP3483139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000395086A JP3483139B2 (ja) 2000-12-26 2000-12-26 干渉計における2次元位相データのアンラップ方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000395086A JP3483139B2 (ja) 2000-12-26 2000-12-26 干渉計における2次元位相データのアンラップ方法及び装置

Publications (2)

Publication Number Publication Date
JP2002195806A JP2002195806A (ja) 2002-07-10
JP3483139B2 true JP3483139B2 (ja) 2004-01-06

Family

ID=18860606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000395086A Expired - Fee Related JP3483139B2 (ja) 2000-12-26 2000-12-26 干渉計における2次元位相データのアンラップ方法及び装置

Country Status (1)

Country Link
JP (1) JP3483139B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4359893B2 (ja) 2005-11-17 2009-11-11 富士通株式会社 位相アンラッピング方法、プログラム及び干渉計測装置
JP2008281493A (ja) * 2007-05-11 2008-11-20 Nippon Steel Corp 表面欠陥検査システム、方法及びプログラム
JP5264257B2 (ja) * 2008-04-09 2013-08-14 キヤノン株式会社 波面計測方法及びそれを用いた波面計測装置
JP5265425B2 (ja) * 2009-03-19 2013-08-14 オリンパス株式会社 干渉計による2次元位相デ−タのアンラップ方法および装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3497393B2 (ja) * 1998-11-18 2004-02-16 富士写真光機株式会社 等位相縞の位相状態解析方法
JP2001153797A (ja) * 1999-11-24 2001-06-08 Science & Tech Agency 位相データのアンラップ方法
JP2001241930A (ja) * 2000-03-02 2001-09-07 Fuji Photo Optical Co Ltd 縞画像の解析方法
JP2002131027A (ja) * 2000-10-23 2002-05-09 Mitsutoyo Corp 位相シフト干渉測定装置及び方法、並びに記憶媒体

Also Published As

Publication number Publication date
JP2002195806A (ja) 2002-07-10

Similar Documents

Publication Publication Date Title
EP1643210B1 (en) Method and apparatus for measuring shape of an object
US10152801B2 (en) Depth mapping based on pattern matching and stereoscopic information
JP3525964B2 (ja) 物体の三次元形状計測方法
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
KR100613421B1 (ko) 3차원 형상 측정 방법
US20080117438A1 (en) System and method for object inspection using relief determination
JP2009198440A (ja) 補正パターン画像生成装置、パターン検査装置および補正パターン画像生成方法
JP4043931B2 (ja) 3次元情報取得システム
JP2013222183A (ja) 測距装置、測距方法及び撮像システム
JP3483139B2 (ja) 干渉計における2次元位相データのアンラップ方法及び装置
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
JP3912666B2 (ja) 光学的形状測定装置
JPS63246716A (ja) 内視鏡画像取込み方法および内視鏡装置
JP2003232605A (ja) 位相データのアンラップ方法及びその装置
KR100714821B1 (ko) 단일영상을 이용한 거리영상 획득방법
KR100585272B1 (ko) 단색 정현파 위상천이 기반 2개 영상을 이용한 거리영상 획득 장치 및 방법
JP3178436B2 (ja) 位相接続方法及び装置並びに記録媒体
JP3148020B2 (ja) フリンジスキャニング干渉測定方式による波面の位相つなぎ方法
JP3148001B2 (ja) フリンジスキャニング干渉測定方式による波面の位相つなぎ方法
JP3432047B2 (ja) フリンジスキャニング干渉測定方式による波面の位相つなぎ方法
JP2000161908A (ja) 縞走査干渉測定方式による波面の位相つなぎ方法
JP2022138862A (ja) 三次元形状計測方法および三次元形状計測装置
KR20220122529A (ko) 3차원 계측 장치 및 3차원 계측 방법
JPH03218431A (ja) フリンジスキャニング干渉測定方式における波面の位相つなぎ方法
JP2002081908A (ja) 情報獲得方法、画像撮像装置及び、画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3483139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091017

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151017

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees