JPH0812050B2 - 基板マーク位置検出方式 - Google Patents

基板マーク位置検出方式

Info

Publication number
JPH0812050B2
JPH0812050B2 JP3163726A JP16372691A JPH0812050B2 JP H0812050 B2 JPH0812050 B2 JP H0812050B2 JP 3163726 A JP3163726 A JP 3163726A JP 16372691 A JP16372691 A JP 16372691A JP H0812050 B2 JPH0812050 B2 JP H0812050B2
Authority
JP
Japan
Prior art keywords
template
reference position
image
mark
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3163726A
Other languages
English (en)
Other versions
JPH04361104A (ja
Inventor
博明 師岡
Original Assignee
ジューキ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジューキ株式会社 filed Critical ジューキ株式会社
Priority to JP3163726A priority Critical patent/JPH0812050B2/ja
Publication of JPH04361104A publication Critical patent/JPH04361104A/ja
Publication of JPH0812050B2 publication Critical patent/JPH0812050B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、チップマウンタにセ
ットされたプリント基板等の基板上に形成されたマーク
の位置を正確に検出するための基板マーク位置検出方式
に関する。
【0002】
【従来の技術】チップマウンタような装置においては、
一般にX−Yテーブル上にワークとしてのプリント基板
を装着して、その位置を高精度に制御しながらチップ部
品をマウントしていくが、そのためには基板上に基準位
置を示すように形成されたマーク(「基板マーク」と称
する)の位置を精度よく検出する必要がある。
【0003】そのための基板マーク位置検出方式として
は、基板マークをTVカメラやイメージスキャナ等によ
って撮像し、その画像データを2値化した2値画像の重
心位置を計測する方式や、基板マークの画像データと多
数の登録図形(テンプレート)の画像データとのパター
ンマッチングをとって規準位置に対する相対的な位置ず
れ量を求めるテンプレート・マッチング法などが従来採
られていた。
【0004】
【発明が解決しようとする課題】しかしながら、2値画
像の重心位置を計測する方式は、照明の具合や像の変化
によつてマークのエッジ付近の像が著しく変化するた
め、精密な位置検出が困難であった。
【0005】また、従来のテンプレート・マッチング法
では、基板マークの形状や大きさが、予めテンプレート
として登録されているものに規制されるばかりか、規準
位置に対する相対的な位置ずれ量が判るだけであって、
対象とする基板上の基板マークの絶対的な中心位置を検
出(計測)することはできなかった。
【0006】そのため、基準となる基板が正確に規準位
置にセットされて、その基板マークからテンプレートが
作成されればよいが、その保障はないので、基準となる
基板のセット位置がずれていると、その後の各基板の相
対的な位置ずれ量を検出してそれを修正しても、正規の
位置に修正することができないことになるという問題が
あった。
【0007】この発明は上記の点に鑑みてなされたもの
であり、基板マークの形状や大きさの自由度を高め、し
かもその絶対的な中心位置を精度よく検出(計測)でき
るようにすることを目的とする。
【0008】
【課題を解決するための手段】上記の目的を達成するた
め、この発明による第一の基板マーク位置検出方式は、
基板上に形成された点対称形状の基板マークを含む画像
を撮像し、その画像上で上記基板マークの一部又は全部
が入る点対称形状の第1のテンプレートを作成して、そ
の中の一点を第1の基準位置とし、上記第1のテンプレ
ートを180°回転させて第2のテンプレートを作成し
て、その上記第1の基準位置が180°回転された点を
第2の基準位置とし、これらのデータをそれぞれ登録し
ておく。
【0009】その後、入力される上記基板マークを含む
撮影画像と第1のテンプレート及び第2のテンプレート
とのマッチングをそれぞれとり、各々マッチングがとれ
た状態での第1の基準位置と第2の基準位置とを結ぶ直
線の中点の座標を上記基板マークの中心位置として検出
する。
【0010】また、この発明による第二の基板マーク位
置検出方式は、基板上に形成された点対称形状の基板マ
ークを含む画像を撮像した際にその画像上で前記基板マ
ークの一部又は全部が入る点対称形状のウィンドゥを予
め設定し、その中の一点を第1の基準位置として登録し
ておき、その後、上記基板マークを含む画像を撮像して
入力し、上記ウィンドゥ内の画像を180°回転させて
テンプレートを作成して、その上記第1の基準位置が1
80°回転された点を第2の基準位置とし、上記画像と
テンプレートとのマッチングをとった後、第1の基準位
置と第2の基準位置とを結ぶ直線の中点の座標を上記基
板マークの中心位置として検出する。
【0011】
【作用】この発明によれば、基板上のマーク及びテンプ
レートあるいはウィンドゥの形状を点対称形状とし、そ
のテンプレートあるいはウィンドゥ中の一点を第1の規
準位置とし、上記テンプレートあるいはウィンドゥ内の
画像を180°回転させてテンプレートを作成して、上
記第1の規準位置が180°回転された点を第2の位置
とし、入力画像と上記各テンプレートとのマッチングを
とり、上記第1,第2規準位置の中点を基板マークの中
心位置とすることにより、テンプレートの中心と基板マ
ークの中心とのオフセットを相殺して、精度よく基板マ
ークの中心位置を検出できる。
【0012】さらに、第二の基板マーク位置検出方式に
よれば、テンプレートを予め作成して登録しておく必要
がなく、ウィンドゥと第1の規準位置だけを予め決めて
おけば、基板マークの中心位置を検出できる。したがっ
て、オペーレータの作業工数が少なくなり、テンプレー
ト・マッチングをとる回数も半減して処理が速くなり、
メモリの使用容量も少なくて済む。これらの方式によれ
ば、基板マークは点対称形状でありさえすれば、その形
状及び大きさは任意である。
【0013】
【実施例】以下、この発明の実施例を図面に基づいて具
体的に説明する。図3は、この発明による基板マーク位
置検出方式を実施する基板位置制御システムの概略構成
図である。
【0014】このシステムは、電子機器用のプリント回
路基板等の基板1を載置するX−Yテーブル2と、その
図示しないX軸モータ及びY軸モータを駆動して基板1
の位置を制御する位置制御装置3と、基板1の基準位置
に形成された基板マークMを含む所定領域を撮像するT
Vカメラ4と、それによって撮像された画像をデイスプ
レイに表示するCRT等の表示装置5と、その画像デー
タを処理して基板マークMの中心位置を検出する画像処
理装置6とによって構成されている。
【0015】そして、画像処理装置6が基板マークの中
心位置検出データを位置制御装置3へ送り、それによっ
て位置制御装置3が基板マークMを規準の位置に一致さ
せるように、その規準位置に対するずれ量だけ制御デー
タを補正してX−Yテーブル2を制御する。基板マーク
Mは、基板1の基準位置に例えば銅箔によって点対称形
状に形成され、その上に半田を載せて均一な明るさで撮
像されるようにする。
【0016】次に、この発明の第1実施例による基板マ
ーク位置検出方式について、図1及び図2と図4も参照
して説明する。図3に示したX−Yテーブル2上にセッ
トされた基板1上の位置決めの基準とすべき基板マーク
M(この例では円形のマーク)を含む部分をTVカメラ
4によって撮像し、図1に実線で示す基板マークMの画
像(以下便宜上この画像も「基板マークM」と称する)
を含む所定エリアの撮影画像10を得る。この画像デー
タはA/D変換されて画像処理装置6内の画像メモリに
記憶され、また表示装置5の画面に表示される。
【0017】そこで、オペレータが、画像処理装置に接
続されたキーボードあるいはポインティングデバイス
(マウス)等を使用して、図1に破線で示すように基板マ
ークMが一部又は全部(この例では全部)入る点対称形
状(この例では正方形)のエリアを指定し、そのエリア
内の画像を第1のテンプレート11として設定し、それ
をメモリに登録すると共に、その中の一点(この例では
左上角の点)aを第1の規準位置とする。
【0018】次いで図2に示すように、第1のテンプレ
ート11をその中心に対して180°回転させる処理
(合成)を行ない、その画像データを第2のテンプレー
ト12としてメモリに登録すると共に、第1の規準位置
である点aが180°回転された点bを第2の規準位置
とする。
【0019】そして、実際に基板マークMの位置を検出
しようとする基板の撮影画像10と、上述のように登録
された第1,第2のテンプレート11,12とのマッチ
ングをそれぞれとるが、最初にテンプレートを作成した
基板に対しては、第1のテンプレート11とのマッチン
グはとれているので、第2のテンプレート12とのマッ
チングのみをとればよい。次の基板からは、第1のテン
プレート11及び第2のテンプレート12とのマッチン
グをそれぞれとる必要がある。
【0020】マッチングをとる方法は、従来から行なわ
れているテンプレート・マッチングの方法を用いればよ
く、例えばテンプレートをX方向及びY方向へ1ピッチ
ずつ移動させて、その都度それに対応するエリアの撮影
画像との相関をとり、最も相関度が高い位置をマッチン
グがとれた位置とすればよい。
【0021】あるいは、テンプレート及び撮影画像に対
してそれぞれX方向とY方向の投影(プロジェクショ
ン)データを作成し、その各X方向の投影データ相互及
びY方向の投影データ相互の相関をとり、その各相関値
のピーク位置によってマッチング位置を求めるようにす
れば、相関計算の回数を大幅に減らして、短時間でマッ
チングをとることが可能になる。
【0022】そして、マッチングがとれた状態では、撮
影画像10に対して第1のテンプレート11が図1に破
線で示す位置になり、第2のテンプレート12が一点鎖
線で示す位置になる。この場合、基板マークMが点対称
形状であるので、その中心位置(点)pに対する第1の
テンプレート11上の第1の規準位置aと第2のテンプ
レート12上の第2の規準位置bとの位置関係は、正負
が逆転して距離が等しい。
【0023】したがって、第1の規準位置aと第2の規
準位置bとを結ぶ直線(図1に細い実線で示す)の中
点、すなわち点aと点bから等距離の点pが基板マーク
Mの中心位置である。この基板マークMの中心位置pの
座標値(xp,yp)は、第1の規準位置aの座標(x
1,y1)及び第2の規準位置bの座標(x2,y2)か
ら、次のように簡単に求められる。 xp=(x1+x2)/2 yp=(y1+y2)/2
【0024】図4は、図3に示した画像処理装置6によ
る基板マーク位置を検出するための処理のフローチヤー
トである。この処理は、上述のように第1のテンプレー
トを設定(第1の規準位置aの決定を含む)し、それを
180°回転させて第2のテンプレートを合成(第2の
規準位置bの確定を含む)した後、撮影画像を入力して
第1のテンプレート及び第2のテンプレートのマッチン
グを順次とり、そのマッチング状態での第1の規準位置
aと第2の規準位置bの中点の座標値を算出して、基板
マークの中心位置pを検出する。
【0025】この方式によれば、テンプレートの中心と
基板マークの中心とのオフセットを相殺して、精度よく
基板マークの中心位置を検出できる。そして、基板マー
クは点対称形状でありさえすれば、その形状及び大きさ
は任意である。
【0026】次に、この発明の第2実施例による基板マ
ーク位置検出方式について、図5及び図6と図3を参照
して説明する。この実施例では、前述の第1実施例のよ
うに予め2つのテンプレートを登録せずに、図6のフロ
ーチヤートに示すように、予めウィンドゥの位置と大き
さのみを設定する。
【0027】すなわち、図5に実線で示すように、基板
マークMを含む画像を撮像した際にその画像上で基板マ
ークMの一部又は全部が入る点対称形状(この例では正
方形)のウィンドゥ13の位置及び大きさを設定し、そ
の中の一点(この例では左上の角の点)aを第1の基準
位置とする。
【0028】その後、図3に示したTVカメラ4からの
基板マークMを含む撮影画像を入力し、ウィンドゥ13
内の画像を180°回転させてテンプレート14を合成
して、その第1の基準位置aが180°回転された点を
第2の基準位置bとする。このテンプレート14は、前
述の実施例において図2に示した第2のテンプレート1
2と同様であるが、予め登録しておく必要はない。
【0029】次いで、入力画像とテンプレート14との
マッチングをとって、図5に破線で示すマッチング状態
で、第1の基準位置aと第2の基準位置bとを結ぶ直線
の中点pの座標値を算出して、基板マークMの中心位置
を検出する。
【0030】この実施例によれば、テンプレートを予め
決めて登録しておく必要がないので、オペレータの操作
が簡単になり、しかも2つのテンプレートの画像データ
を記憶させておくメモリも不要になるので、画像メモリ
の容量が少なくて済み、メモリ資源の節約になる。さら
に、テンプレートと入力画像とのマッチングをとる回数
も1回で済むので検出処理が速くなる。
【0031】なお、この発明に用いる基板マークの形状
は、円形に限らず点対称形状であればよいので、例えば
図7に示すような楕円,正方形,長方形,菱形,平行四
辺形,正六角形,十字形等種々の形状を任意に使用する
ことができる。同様に、テンプレートあるいはウィンド
ゥの形状も、点対称形状であればどのような形状でも構
わない。
【0032】また、第1の規準位置aは、第1のテンプ
レート11あるいはウィンドゥ13中の点であればどの
点に決めてもよい。例えばどの角の点でも、外周線上の
どの点でも、あるいは中心点でもよいし、それ以外の任
意の点でもよい。第2の規準位置bは、その任意に設定
された第1の規準位置aを中心点に対して180°回転
させた点であればよい。
【0033】さらに、第1のテンプレート11あるいは
ウィンドゥ13内に、撮影画像10上の基板マークMが
全部入るようにしたほうがマッチングの精度はよくなる
が、この発明に必須のことではなく、少なくとも基板マ
ークMの一部が入るようにすればよい。
【0034】図8は基板マークMを4辺が内側に湾曲し
た変形菱形にし、ウィンドゥ13及びテンプレート14
を基板マークMが全部入る位置及び大きさの円形にした
例を示し、図9はそのウィンドゥ13とテンプレート1
4との関係を示す。なお、図8,図9において図5と対
応する部分には同一の符号を付してある。
【0035】この例では、ウィンドゥ13の円周上の一
点を第1の規準位置aとしている。そして、撮影画像1
0を入力し、図9に示すようにこのウィンドゥ13内の
画像を180°回転させてテンプレート14を合成し、
第1の規準位置aが180°回転された点を第2の規準
位置bとする。その後、図8に示すようにテンプレート
14と撮影画像10とのマッチングをとれば、やはり第
1の規準位置aと第2の規準位置bとを結ぶ直線の中点
Pが基板マークMの中心位置となる。
【0036】図10は基板マークMを正方形にし、ウィ
ンドゥ13及びびテンプレート14を基板マークMが一
部入る位置及び大きさの円形にした例を示し、図11は
そのウィンドゥ13とテンプレート14との関係を示
す。なお、図10,図11においても図5と対応する部
分には同一の符号を付しており、それらの説明は省略す
る。
【0037】この例では、ウィンドゥ13の中心(円の
中心)点を第1の規準位置aとしている。この場合に
も、図10に示すようにテンプレート14と撮影画像1
0とのマッチングをとれば、やはり第1の規準位置aと
第2の規準位置bとを結ぶ直線の中点Pが基板マークM
の中心位置となる。
【0038】また、ウィンドゥ13内の画像データを1
80°回転させてテンプレート14を合成するのに代え
て、図12の(A)に示す通常のマッチングのための画
像の走査(左→右,上→下)に対して、(B)に示すよ
うに逆走査(右→左,下→上)することによっても同様
なテンプレートを得ることができる。
【0039】さらに、この発明を応用すれば、基板マー
クを点対称でない形状、例えば正三角形にし、第1のテ
ンプレート又はウィンドゥの形状も基板マークと相似形
にすることも可能であり、正三角形の場合には第1のテ
ンプレート又はウィンドゥ内の画像(0°)及び規準位
置をそれぞれ120°と240°回転させたテンプレー
ト及び規準位置を作り、各テンプレートを撮影画像とマ
ッチングさせると、その各規準位置から当距離の点が基
板マークの中心位置となる。
【0040】このようにすれば、より精度よく基板マー
クの中心位置を検出することができるが、テンプレート
の画像データを格納する画像メモリの容量が多く必要に
なり、テンプレートのマッチングをとる回数も多くなる
ので処理時間が少し長くなることになる。
【0041】
【発明の効果】以上説明してきたように、この発明によ
れば基板マークの絶対的な中心位置を精度よく検出でき
るので、チップマウンタ等におけるセットされた基板の
位置調整を精度よく行なうことができる。また、基板マ
ークは点対称形状でありさえすれば、その形状及び大き
さは任意でよいので、その自由度が高くなる。
【0042】さらに、第二番目の発明によれば、テンプ
レートを予め決めて登録しておく必要がないので、オペ
レータの操作が簡単になり、画像メモリの容量が少なく
て済む。さらに、テンプレートと入力画像とのマッチン
グをとる回数も1回で済むので検出処理が速くなる。
【図面の簡単な説明】
【図1】この発明の第1実施例による撮影画像と第1,
第2のテンプレートとのマッチング状態の説明図であ
る。
【図2】同じくその第1のテンプレートと第2のテンプ
レートとの関係を示す説明図である。
【図3】この発明による基板マーク位置検出方式を実施
する基板位置制御システムの概略構成図である。
【図4】図3の画像処理装置6において図1に示した第
1実施例の方式で基板マークの中心位置を検出するため
の処理のフロー図である。
【図5】この発明の第2実施例によるウィンドゥ及び撮
影画像とテンプレートとのマッチング状態の説明図であ
る。
【図6】図3の画像処理装置6において図5に示した第
2実施例の方式で基板マークの中心位置を検出するため
の処理のフロー図である。
【図7】この発明を実施する際の基板マーク及び第1の
テンプレートあるいはウィンドゥの種々の異なる形状例
を示す図である。
【図8】基板マークを4辺が内側に湾曲した変形菱形に
しウィンドゥ及びテンプレートを基板マークが全部入る
位置及び大きさの円形にした例を示す図5と同様な図で
ある。
【図9】同じくそのウィンドゥとテンプレートとの関係
を示す説明図である。
【図10】基板マークを正方形にしウィンドゥ及びびテ
ンプレートを基板マークが一部入る位置及び大きさの円
形にした例を示す図5と同様な図である。
【図11】同じくそのウィンドゥとテンプレートとの関
係を示す説明図である。
【図12】この発明の第2実施例においてウィンドゥ内
の画像データからテンプレートを作成するための他の方
法を示す説明図である。
【符号の説明】
1 基板 2 X−Yテーブル 3 位置制御装置 4 TVカメラ 5 表示装置 6 画像処理装置 10 撮影画像 11 第1のテンプレ
ート 12 第2のテンプレート 13 ウィンドゥ 14 テンプレート M 基板マーク a 第1の規準位置 b 第2の規準位置 p 基板マークの中心位置

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 基板上に形成された点対称形状の基板マ
    ークを含む画像を撮像し、その画像上で前記基板マーク
    の一部又は全部が入る点対称形状の第1のテンプレート
    を作成して、その中の一点を第1の基準位置とし、前記
    第1のテンプレートを180°回転させて第2のテンプ
    レートを作成して、その前記第1の基準位置が180°
    回転された点を第2の基準位置とし、これらのデータを
    それぞれ登録しておき、その後、入力される前記基板マ
    ークを含む画像と前記第1のテンプレート及び第2のテ
    ンプレートとのマッチングをそれぞれとり、各々マッチ
    ングがとれた状態での前記第1の基準位置と第2の基準
    位置とを結ぶ直線の中点の座標を前記基板マークの中心
    位置として検出することを特徴とする基板マーク位置検
    出方式。
  2. 【請求項2】 基板上に形成された点対称形状の基板マ
    ークを含む画像を撮像した際にその画像上で前記基板マ
    ークの一部又は全部が入る点対称形状のウィンドゥを予
    め設定し、その中の一点を第1の基準位置として登録し
    ておき、その後、前記基板マークを含む画像を撮像して
    入力し、前記ウィンドゥ内の画像を180°回転させて
    テンプレートを作成して、その前記第1の基準位置が1
    80°回転された点を第2の基準位置とし、前記画像と
    前記テンプレートとのマッチングをとった後、前記第1
    の基準位置と第2の基準位置とを結ぶ直線の中点の座標
    を前記基板マークの中心位置として検出することを特徴
    とする基板マーク位置検出方式。
JP3163726A 1991-06-07 1991-06-07 基板マーク位置検出方式 Expired - Fee Related JPH0812050B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3163726A JPH0812050B2 (ja) 1991-06-07 1991-06-07 基板マーク位置検出方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3163726A JPH0812050B2 (ja) 1991-06-07 1991-06-07 基板マーク位置検出方式

Publications (2)

Publication Number Publication Date
JPH04361104A JPH04361104A (ja) 1992-12-14
JPH0812050B2 true JPH0812050B2 (ja) 1996-02-07

Family

ID=15779500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3163726A Expired - Fee Related JPH0812050B2 (ja) 1991-06-07 1991-06-07 基板マーク位置検出方式

Country Status (1)

Country Link
JP (1) JPH0812050B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013140468A (ja) * 2012-01-04 2013-07-18 Hitachi High-Technologies Corp パターンマッチング装置、検査システム、及びコンピュータプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022940A (ja) * 1999-07-13 2001-01-26 Juki Corp 画像認識方法及び装置
JP4582309B2 (ja) * 2005-01-06 2010-11-17 株式会社ニコン パターンマッチング装置
JP4860452B2 (ja) * 2006-12-15 2012-01-25 Juki株式会社 テンプレートマッチングを用いたマーク位置決め方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013140468A (ja) * 2012-01-04 2013-07-18 Hitachi High-Technologies Corp パターンマッチング装置、検査システム、及びコンピュータプログラム

Also Published As

Publication number Publication date
JPH04361104A (ja) 1992-12-14

Similar Documents

Publication Publication Date Title
US5655030A (en) Method for detecting the center of target marks by image processing
JPH0812050B2 (ja) 基板マーク位置検出方式
JP4707423B2 (ja) 部品位置検出方法及び装置
JP2000199704A (ja) 画像処理装置のキャリブレ―ション方法
JP2007040968A (ja) 部品位置検出方法及び装置
JPS63109307A (ja) チツプ部品の装着検査装置
JPH0689341A (ja) 部品位置検出方法
JP2006060101A (ja) 部品データ作成方法及び部品データ作成装置
JP2000258121A (ja) 複数カメラ校正用のマスター基板及び画像認識カメラの校正方法
JPH05145295A (ja) 部品装着装置
JP2985380B2 (ja) 電子部品の位置検出方法
JPS6311804A (ja) 位置決め用マ−ク位置検出方式
JP2624322B2 (ja) 対象物の特徴部の位置の検出方法
JPH05313380A (ja) 位置合わせ装置
JP3040232B2 (ja) 部品実装機における装着位置制御方法
JP3342582B2 (ja) 画像認識方法
JPH10117100A (ja) 部品の位置検出方法
JPH10308598A (ja) スキャン型センサのキャリブレーション方法
JPH04238206A (ja) 多角形部品の多視野認識方法
JP2539071B2 (ja) 位置合わせ装置
JPH08127115A (ja) クリームはんだ印刷装置
JP4829701B2 (ja) 部品実装機のカメラスケーリング取得方法
JPH06331312A (ja) 画像処理によるターゲットマークの中心位置検出方法
JP2703437B2 (ja) 部品装着位置データ作成装置
JP3108076B2 (ja) 認識装置

Legal Events

Date Code Title Description
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080207

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090207

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090207

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100207

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100207

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110207

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees