JP4073670B2 - 画像検査システム - Google Patents

画像検査システム Download PDF

Info

Publication number
JP4073670B2
JP4073670B2 JP2002006170A JP2002006170A JP4073670B2 JP 4073670 B2 JP4073670 B2 JP 4073670B2 JP 2002006170 A JP2002006170 A JP 2002006170A JP 2002006170 A JP2002006170 A JP 2002006170A JP 4073670 B2 JP4073670 B2 JP 4073670B2
Authority
JP
Japan
Prior art keywords
image inspection
image
molding
line
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002006170A
Other languages
English (en)
Other versions
JP2003207322A (ja
Inventor
浩之 八田
Original Assignee
株式会社 英田エンジニアリング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 英田エンジニアリング filed Critical 株式会社 英田エンジニアリング
Priority to JP2002006170A priority Critical patent/JP4073670B2/ja
Publication of JP2003207322A publication Critical patent/JP2003207322A/ja
Application granted granted Critical
Publication of JP4073670B2 publication Critical patent/JP4073670B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する分野】
本発明は、アンコイラーより繰り出される帯状鋼板に、ロール成形を加え、所定断面の形鋼を生産するロールフォーミングラインや、ロール成形・溶接を行って管を生産するチューブミルラインなど、所要材料に所要の成形を加えて製品製造を行う連続成形ラインにおいて、その成形作業が適正に行われているか否かを検査するための検査システムに係り、特に、成形中の材料若しくは成形後の材料を撮像し、その撮像データを、あらかじめ記憶された記憶画像データと比較し、その差異を数値解析することにより検査を行う画像検査システムに関する。
【0002】
【技術的背景】
ロールフォーミングラインにおいては、アンコイラーより繰り出された帯状鋼板は、ロール成形機により所定の形状に成形後、切断される。ロール成形機は、その成形ロールの微妙な調整を必要とされる場合が多く、特に、材料の違い等による修正は、熟練を必要とすると言われている。また、熟練した者による調整においても、成形される形状が安定するまでには、多くの不良品が生じてしまう。
【0003】
また、最近では、ロールフォーミングの前工程で、穴あけ加工を行う工程を含むラインが増えているが、そのようなラインでは、ロール成形による成形寸法のバラツキや、波うち等の問題が発生し易く、また、検査は製品が完成してからとなるので、ライン調整完了までに多量の不良品が生じてしまう。
【0004】
この種の問題を解決する為に、本願出願人は、成形された製品を撮像し、その撮像データを、予め記憶された基準画像データと比較解析することにより、成形の良否判断を行う発明につき出願を行った(特願2000−254879)。しかし、この発明では、
撮像データが、基準画像データから予想している以上にずれている場合などには、その成形ラインの使用者側による対応が困難であったり、不可能であったりすることがあり、同成形ラインの設計設置を行った成形ライン提供者側の技術者が当該成形ラインへ出向き、対応にあたる必要が生じる場合もあった。
【0005】
【技術的解決課題】
本発明は、上記の如き点に鑑み、撮像データが、基準画像データから予想以上にずれている場合などであっても、迅速適正に対応できるようにするための画像検査システムを提供することを目的としている。
【0006】
【解決のための手段】
すなわち、本発明に係る画像検査システムは、帯状金属材料を所定の形状に成形するロールフォーミングラインやチューブミルラインなど、所要材料に所要の成形を加えて製品製造する連続成形ラインの成形作業を検査し、その検査結果に基づき、同成形作業への必要な補正制御を行うことができるようにするための画像検査システムであって、連続成形ラインの使用者側に設置され、該連続成形ラインで行われる成形作業が適正か否かを、成形中もしくは成形後の材料の形状の撮像データに基づき検査する第1の画像検査装置と、上記連続成形ラインの提供者側等、上記使用者側から遠隔の地に設置され、同連続成形ラインで行われる成形作業が適正か否かを、成形中若しくは成形後の材料の形状の撮像データに基づき検査する第2の画像検査装置と、を備え、第1の画像検査装置は、成形中若しくは成形後の上記材料を撮像する撮像手段と、該撮像手段による撮像に基づき得られる撮像データと、あらかじめ記憶された基準画像データとを比較解析する第1の画像解析部と、を備え、その解析結果に基づいて上記連続成形ラインにおける成形作業への必要な補正制御を行うことができるようにされており、第2の画像検査装置は、撮像手段による撮像に基づき得られる撮像データと、あらかじめ記憶された基準画像データとを比較解析する第2の画像解析部を備え、第1及び第2の画像検査装置を電話回線、イーサネット(登録商標)等の通信回線を介して接続可能とし、第2の画像検査装置による撮像データの解析処理を行い、その解析結果に基づいて上記連続成形ラインにおける成形作業への必要な補正制御を行いことができるようにしたことを特徴とする。
【0007】
第1の画像検査装置は、第1の画像解析部における解析結果に基づき、成形ラインへの補正制御を行うための補正データを予め備え、解析結果に応じた補正データを選択して、それに基づき上記補正制御を行うことができるようにすることができる。
【0008】
第1の画像検査装置は、同装置内に予め備えられている補正データを、オペレータが修正、追加を行うための入力手段を有するようにすることができる。
また、第2の画像検査装置が、第1の画像検査装置内に予め備えられている補正データを修正、追加するための補正手段を有するようにすることもできる。
【0009】
第2の画像検査装置の上記補正手段が、第2の画像解析部における解析結果に応じてオペレータが、第1の画像検査装置内に予め備えられている補正データを修正、追加するための入力手段を有するようにすることができる。
【0010】
第2の画像検査装置が、第2の画像解析部における解析結果に基づき、成形ラインへの補正制御を行うための補正データを予め備え、解析結果に応じた補正データを選択して、それに基づき上記補正制御を行うことができるようにすることができる。
【0011】
成形ラインに供給される材料が長尺材料である場合、上記第1及び第2の画像解析部が、成形を受けた当該長尺材料の長さ方向で異なる位置の断面形状を解析することにより、同長尺材料の長さ方向における反りや捻りを検査することができるようにすることができる。
【0012】
【発明の実施形態】
以下、本発明に係る画像検査システムをロールフォーミングラインに適用した場合の実施形態につき説明する。
【0013】
図1に示すロールフォーミングライン1は、円筒状にまかれた帯状鋼板11から鋼板10を(図1において右方向に)繰り出すアンコイラー11と、このアンコイラー11からの鋼板10を所定の断面形状に成形するロール成形機12と、このロール成形機12によって所定の形状に成形された鋼板10を所定の長さに切断する走行切断機13とを備えている。
ロール成形機12は、鋼板の移送方向に沿って並べられた複数の成形ロール部14を有しており、鋼板10は、この複数の成形ロール部14を通されることによって所定の形状に成形される。
上記走行切断機13は、所定の形状に成形された鋼板10と同じ速度で走行しながら、同鋼板を所定長さに切断する。
本発明は、このようなロールフォーミングライン1において成形される鋼板を撮像し、その撮像データを基に当該ラインでの成形作業が適正に行われているか否かを判断する画像検査システムを提供するものであるが、図1に示す例では、鋼板の撮像を行うカメラ15は、鋼板10が成形機12を通過した、すなわち、成形作業が完了した時点での鋼板を撮像する位置とされている。このカメラの位置は、検査目的に応じて所要の位置に設定することができ、また、図1では1個のカメラのみを示しているが、複数設定し、種々の角度から撮像することが好ましい。
本発明に係る画像検査システムは、図2に示す如く、成形ライン1の使用者側に設置される第1の画像検査装置30と、使用者側から遠隔の地にある、成形ライン提供者側に設置される第2の画像検査装置40とを備え、両画像検査装置30、40は、電話回線やイーサネット(登録商標)などの既存の通信回線を通して接続可能とされている。
第1の画像検査装置30は、カメラ15によって撮像された撮像データを間欠的に取得処理する画像処理部17と、画像処理部で処理された撮像データを基準画像データと比較し、その差異を数値解析する画像解析部18と、基準画像データや、画像解析部18による解析結果に応じてロールフォーミングラインでの成形への必要な補正を指示するための補正データなどを記憶する記憶部(図示せず)と、を備える。画像処理部17は、カメラによって撮像されたデータから、成形された鋼板の輪郭形状に関するデータを抽出する処理を行う。図3及び図4は、鋼板を溝形鋼に成形する場合の、輪郭形状データ及び基準画像データを画像として、画像解析部のモニター画面上に表示している例を示している。
第2の画像検査装置40は、図2においては、その外観のみを示しているが、第1の画像検査装置30と同様に、撮像データを処理する画像処理部と、記憶部と、画像解析部とを備えている。
【0014】
図5は、上記画像検査システムによる検査作業のフローチャートを示している。
通常の検査作業は、成形ライン使用者側の第1の画像検査装置30に基づき行われる。
先ず、カメラ15は、成形された鋼板を連続的に撮像する。
画像処理部17は、撮像データを間欠的に取得し、成形鋼板の輪郭を表す輪郭形状データとし(ステップ61)、該輪郭形状データは基準画像データと比較され(ステップ62)、輪郭形状データの基準画像データからの差異(ズレ)が、許容範囲内であれば(図3)、ステップ61に戻り、同じ作業が繰り返され、ロールフォーミングラインに何らの修正も行わずに成形作業が続けられる。
【0015】
輪郭形状データの基準画像データからの差異が、許容範囲を超えるものである場合には(図4)、どの部分がどれだけ許容範囲を超えて変形しているかの数値的解析を行い(ステップ64)、それに基づき、記憶部に予め記憶された補正データから最適なデータを選択し(ステップ65)、選択された補正データを切断機制御部、成形機制御部、あるいは、フィーダー制御部に送信する(ステップ66)。
それぞれの制御部では、補正データを受信し(ステップ70)、所要の補正を開始する(ステップ71)。補正データは、成形形状の変化のパターン(例えば幅方向の寸法ずれ、成形角度の変化など)ごとに多数用意することができる。
【0016】
予め記憶された補正データが適正でなかった場合、不足していた場合等には、成形ライン使用者側のオペレータが入力手段(図示せず)を介して、補正データを修正、追加することができるようになっている。
【0017】
しかし、成形された鋼板が、基準の形よりも予想を超える変形を受けていた場合などには、成形ライン使用者側のオペレータによる対応が困難であったり不可能であったりする場合がある。本発明に係る画像検査システムにおいては、そのような場合に、成形ラインでの撮像データを、成形ライン提供者側の画像検査装置で受信して、成形ライン提供者側のオペレータが画像解析を行って、成形ラインにおける成形作業への必要な補正制御をすることができるようになっている。
【0018】
すなわち、そのような場合においては、成形ライン提供者側の画像検査装置40と成形ライン使用者側の画像検査装置30とを接続状態とし(ステップ50)、カメラからの撮像データを成形ライン提供者側の画像検査装置40に供給し、第1の画像検査装置30で行われたと同様の画像検査作業が行われ(ステップ61’−66’)、必要な補正データを第1の画像検査装置30に送信し、それに基づき、該画像検査装置内の補正データの修正、追加や、成形ラインでの成形作業への必要な補正制御が行われる。この場合、どの部分がどれだけ変形しているかを解析できた段階(ステップ64’)において、その解析結果を成形ライン使用者側のオペレータに伝えて、同オペレータにより第1の画像検査装置における補正データの修正、追加等を行うようにすることもできる。また、異常変形の原因が例えば成形ロールの磨耗によるものであることが分かれば、それを第1の画像検査装置のオペレータに伝えて、同成形ロールの交換を行うようにすることもできる。
【0019】
上述したように、本発明に係る画像検査システムでは、成形ラインでの成形作業を連続的に行いながら、同ラインにおける必要な補正を行うものであるため、単に、成形される鋼板の断面形状の検査を行うだけでなく、同鋼板の長さ方向での反りや捻れをも検査補正することができる。すなわち、図4に示す例で述べるならば、成形された溝形の鋼板の一断面の輪郭形状を示すa'-b'-c'-d'における溝形の底辺輪郭b'-c'が、基準となるb-cから浮き上がっており、長さ方向での反りが生じていることが分かり、また、b'-c'が左右方向で傾斜していることから、捻れが生じていることが分かるが、本発明では、この輪郭形状a'-b'-c'-d'を基準画像a-b-c-dに一致させるように移動することにより、その移動量を測定することができ、同様の測定を、成形された溝形の鋼板の他の断面について行うことにより、それらの断面間の距離及び上記測定した移動量に基づき、当該鋼板の反りや捻りの程度を解析することができる。
【0020】
【発明の効果】
本発明に係る画像検査システムは、上述の如きものであり、成形ライン提供者側(ロールフォーミングライン提供者側)に設置された画像検査装置により、被成形品の形状を画像解析できる為、例えば成形された形状が予想を超えたような場合であって成形ライン使用者側では対応が困難であったり不可能であったりした場合に、成形ライン提供者側で対応し(すなわち、画像解析を行い)、それに基づき、成形ライン使用者側へ当該成形ラインへの補正方法等の指示を与え、所要の補正を行うようにすることができる。
【0021】
また、そのような場合、成形ライン提供者側の画像検査装置により、成形ライン提供者側の画像検査装置から成形ライン使用者側の画像検査装置に、成形ラインの成形作業への補正を指令する補正データの追加、あるいは修正を行うことも可能である。
【0022】
さらに、成形ライン提供者側のオペレータが、その画像検査装置からを成形ラインを遠隔操作することができる。すなわち、オペレータは設備提供者側の画像検査装置のモニター画面等を見ながら、リアルタイムで成形ラインにおける必要な補正作業を行いことができる。
【0023】
更に、成形される材料が長尺材料である場合には、成形の際に当該材料に生じる反り、あるいは、捻りを検査することが可能である。この反りや捻りの検査は、専用のカメラを設ける必要が無く行うことができる。
【図面の簡単な説明】
【図1】本発明に係る画像検査システムが用いられるロールフォーミングラインの側面図である。
【図2】本発明に係る画像検査システムのブロック図である。
【図3】同画像検査システムにおける画像処理部のモニター画面に画像として表された撮像データと基準画像データを示す図である。
【図4】図3と同様に画像として表された撮像データと基準画像データを示す図である。
【図5】同画像検査システムにおいて行われる画像処理及びそれに基づく制御のフローチャートである。
1:ロールフォーミングライン
15:撮像手段(カメラ)
17:画像処理部
18:画像解析部
20:切断機制御部
21:成形機制御部
22:フィーダ制御部
30:第1の画像検査装置
40:第2の画像検査装置

Claims (5)

  1. 帯状金属材料を所定の形状に成形するロールフォーミングラインやチューブミルラインなど、所要材料に所要の成形を加えて製品製造する連続成形ラインの成形作業を検査し、その検査結果に基づき、同成形作業への必要な補正制御を行うことができるようにするための画像検査システムにおいて、
    前記連続成形ラインの使用者側である第1の場所に設置され、該連続成形ラインで行われる成形作業が適正か否かを、成形中もしくは成形後の材料の形状の撮像データに基づき検査する第1の画像検査装置と、前記連続成形ラインの提供者側である第2の場所であって前記第1の場所から遠隔の地に設置され、前記連続成形ラインで行われる成形作業が適正か否かを、成形中若しくは成形後の材料の形状の撮像データに基づき検査する第2の画像検査装置と、を備え、
    前記第1の画像検査装置は、成形中若しくは成形後の前記材料を撮像する撮像手段と、該撮像手段による撮像に基づき得られる撮像データと、あらかじめ記憶された第1の基準画像データとを比較解析する第1の画像解析部と、を備え、その解析結果に基づいて前記連続成形ラインにおける成形作業への必要な補正制御を行うものであり、
    前記第2の画像検査装置は、上記撮像手段による撮像に基づき得られる撮像データと、あらかじめ記憶された第2の基準画像データとを比較解析する第2の画像解析部を備え、
    前記第1及び第2の画像検査装置を電話回線を含む通信回線を介して接続し前記第2の画像検査装置による撮像データの解析処理を、前記第1の画像検査装置で行われたのと同様に行い、その解析結果に基づいて前記連続成形ラインにおける成形作業への必要な補正制御を行うものであり、
    前記第1の画像検査装置が、同装置内に予め備えられている補正データを修正、追加するためのオペレータ用の入力手段を有し、
    前記第2の画像検査装置が、前記第1の画像検査装置内に予め備えられている補正データを修正、追加するための補正手段を有する、ことを特徴とする画像検査システム。
  2. 請求項1に記載の画像検査システムにおいて、前記第1の画像検査装置が、前記第1の画像解析部における解析結果に基づき、前記成形ラインへの補正制御を行うための補正データを予め備え、前記解析結果に応じた補正データを選択して、それに基づき前記補正制御を行うものであることを特徴とする画像検査システム。
  3. 請求項に記載の画像検査システムにおいて、前記第2の画像検査装置の前記補正手段が、前記第2の画像解析部における解析結果に応じて前記第1の画像検査装置内に予め備えられている補正データを修正、追加するためのオペレータ用の入力手段を有することを特徴とする画像検査システム。
  4. 請求項1乃至のいずれか一項に記載の画像検査システムにおいて、前記第2の画像検査装置が、前記第2の画像解析部における解析結果に基づき、前記成形ラインへの補正制御を行うための補正データを予め備え、前記解析結果に応じた補正データを選択して、それに基づき前記補正制御を行うものであることを特徴とする画像検査システム。
  5. 請求項1ないしのいずれか一項に記載の画像検査システムにおいて、前記成形ラインに供給される材料が長尺材料であり、前記第1及び第2の画像解析部が、成形を受けた当該長尺材料の長さ方向で異なる位置での断面形状を解析することにより、同長尺材料の長さ方向における反りや捻りを検査するものであることを特徴とする画像検査システム。
JP2002006170A 2002-01-15 2002-01-15 画像検査システム Expired - Fee Related JP4073670B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002006170A JP4073670B2 (ja) 2002-01-15 2002-01-15 画像検査システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002006170A JP4073670B2 (ja) 2002-01-15 2002-01-15 画像検査システム

Publications (2)

Publication Number Publication Date
JP2003207322A JP2003207322A (ja) 2003-07-25
JP4073670B2 true JP4073670B2 (ja) 2008-04-09

Family

ID=27645010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002006170A Expired - Fee Related JP4073670B2 (ja) 2002-01-15 2002-01-15 画像検査システム

Country Status (1)

Country Link
JP (1) JP4073670B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5082746B2 (ja) * 2007-10-12 2012-11-28 Jfeスチール株式会社 角形鋼管の製造設備および製造方法
CN111448526B (zh) * 2017-11-22 2023-07-18 东芝三菱电机产业***株式会社 工业工厂用数据再现装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2803386B2 (ja) * 1991-04-16 1998-09-24 株式会社明電舎 電縫管溶接管理方法およびその装置
JPH05293670A (ja) * 1992-04-20 1993-11-09 Meidensha Corp 電縫管溶接の監視方法およびその装置および電縫管溶接の制御方法
JPH0771933A (ja) * 1993-06-30 1995-03-17 Nikon Corp 形状測定方法および装置
JPH0861942A (ja) * 1994-08-22 1996-03-08 Yokogawa Electric Corp シート測定制御装置
JPH09229874A (ja) * 1996-02-22 1997-09-05 Nisshin Steel Co Ltd 金属帯の表面監視装置
JP3672405B2 (ja) * 1997-01-28 2005-07-20 富士写真フイルム株式会社 遠隔診断方法および遠隔診断ネットワーク
JP3348823B2 (ja) * 1997-06-06 2002-11-20 横河電機株式会社 シート測定制御装置
JP2000055637A (ja) * 1998-08-10 2000-02-25 Mazda Motor Corp ワーク検査装置及び部品画像生成装置及びワーク検査方法及びコンピュータ読み取り可能な記憶媒体
JP3093202B1 (ja) * 1999-06-09 2000-10-03 ニチハ株式会社 被加工板の表面検査システム
JP4189094B2 (ja) * 1999-09-08 2008-12-03 パナソニック株式会社 検査システム
JP2002066627A (ja) * 2000-08-25 2002-03-05 Aida Engineering Co Ltd チューブミルライン及びロールフォーミングライン
JP2003065959A (ja) * 2001-08-23 2003-03-05 Hitachi Ltd 非破壊検査装置

Also Published As

Publication number Publication date
JP2003207322A (ja) 2003-07-25

Similar Documents

Publication Publication Date Title
JP4294713B1 (ja) 形状計測システム
JPWO2020129617A1 (ja) 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
EP1418158A1 (en) Glass gob quality control method and quality control device in glass article molding method
EP2498157B1 (de) Steuerungsvorrichtung und Steuerungsverfahren für eine Maschine zur Herstellung stabförmiger Artikel der Tabak verarbeitenden Industrie
KR102010059B1 (ko) 소재 디스케일러 장치 및 디스케일링 방법
JP2003080393A (ja) 溶接変形推定方法及び溶接変形推定装置
KR101379438B1 (ko) 벤딩 설비의 실시간 곡률 보정 시스템 및 그 방법
JP4073670B2 (ja) 画像検査システム
JP5305002B2 (ja) 外観検査装置
KR100841261B1 (ko) 압연 트레인의 작동 방법 및 그에 부합되게 형성된 압연트레인
DE102012207045B4 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
CN116452595B (zh) 一种基于图像处理的控制方法及设备
JP2008284604A (ja) 鍛伸加工の工程設計システムと鍛伸加工方法
CN112752881A (zh) 监视***
JP2002066627A (ja) チューブミルライン及びロールフォーミングライン
JP2003136171A (ja) コイルバネにおけるコイル外径の検出装置
JP2023032725A (ja) 未加硫のゴムシート部材の製造方法および製造システム
WO2021206134A1 (ja) 金属管の製造方法と装置
EP3655175A1 (de) Verfahren zum betrieb einer bearbeitungsanlage mit beweglichem stempel
JP7270322B2 (ja) データ推定制御装置
KR101141013B1 (ko) 압연기의 오차측정 장치
CN113226633B (zh) 焊接异常诊断装置
EP3892394A1 (en) Method and control system for delivering rolling stock to a cooling bed
JP5154240B2 (ja) 加工品の移送方向の長さ良否判定方法
JP2022081819A (ja) クロップ長自動測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4073670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110201

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120201

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130201

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130201

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees