JPH06323822A - ボンディングワイヤ形状認識方法 - Google Patents
ボンディングワイヤ形状認識方法Info
- Publication number
- JPH06323822A JPH06323822A JP5114913A JP11491393A JPH06323822A JP H06323822 A JPH06323822 A JP H06323822A JP 5114913 A JP5114913 A JP 5114913A JP 11491393 A JP11491393 A JP 11491393A JP H06323822 A JPH06323822 A JP H06323822A
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- wire
- bonding wire
- recognition method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L24/00—Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
- H01L24/74—Apparatus for manufacturing arrangements for connecting or disconnecting semiconductor or solid-state bodies
- H01L24/78—Apparatus for connecting with wire connectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
- H01L2224/26—Layer connectors, e.g. plate connectors, solder or adhesive layers; Manufacturing methods related thereto
- H01L2224/31—Structure, shape, material or disposition of the layer connectors after the connecting process
- H01L2224/32—Structure, shape, material or disposition of the layer connectors after the connecting process of an individual layer connector
- H01L2224/321—Disposition
- H01L2224/32151—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
- H01L2224/32221—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
- H01L2224/32245—Disposition the layer connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being metallic
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
- H01L2224/42—Wire connectors; Manufacturing methods related thereto
- H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
- H01L2224/48—Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
- H01L2224/4805—Shape
- H01L2224/4809—Loop shape
- H01L2224/48091—Arched
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
- H01L2224/42—Wire connectors; Manufacturing methods related thereto
- H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
- H01L2224/48—Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
- H01L2224/481—Disposition
- H01L2224/48151—Connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
- H01L2224/48221—Connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
- H01L2224/48245—Connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being metallic
- H01L2224/48247—Connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being metallic connecting the wire to a bond pad of the item
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
- H01L2224/42—Wire connectors; Manufacturing methods related thereto
- H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
- H01L2224/48—Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
- H01L2224/484—Connecting portions
- H01L2224/48463—Connecting portions the connecting portion on the bonding area of the semiconductor or solid-state body being a ball bond
- H01L2224/48465—Connecting portions the connecting portion on the bonding area of the semiconductor or solid-state body being a ball bond the other connecting portion not on the bonding area being a wedge bond, i.e. ball-to-wedge, regular stitch
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
- H01L2224/42—Wire connectors; Manufacturing methods related thereto
- H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
- H01L2224/49—Structure, shape, material or disposition of the wire connectors after the connecting process of a plurality of wire connectors
- H01L2224/491—Disposition
- H01L2224/4912—Layout
- H01L2224/49171—Fan-out arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/73—Means for bonding being of different types provided for in two or more of groups H01L2224/10, H01L2224/18, H01L2224/26, H01L2224/34, H01L2224/42, H01L2224/50, H01L2224/63, H01L2224/71
- H01L2224/732—Location after the connecting process
- H01L2224/73251—Location after the connecting process on different surfaces
- H01L2224/73265—Layer and wire connectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/74—Apparatus for manufacturing arrangements for connecting or disconnecting semiconductor or solid-state bodies and for methods related thereto
- H01L2224/78—Apparatus for connecting with wire connectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/80—Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected
- H01L2224/85—Methods for connecting semiconductor or other solid state bodies using means for bonding being attached to, or being formed on, the surface to be connected using a wire connector
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
- H01L2924/01—Chemical elements
- H01L2924/01004—Beryllium [Be]
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
- H01L2924/01—Chemical elements
- H01L2924/01033—Arsenic [As]
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
- H01L2924/01—Chemical elements
- H01L2924/01082—Lead [Pb]
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Wire Bonding (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
抽出という過程を必要とせずに実現でき、ワイヤボンデ
ィング工程の加工後のワイヤ形状の評価を機械化するこ
とが可能になり、ワイヤボンディングの出来映え評価の
高能率化、評価基準・方法の均一化を実現できるボンデ
ィングワイヤ形状認識方法を提供する。 【構成】ワイヤボンディング後の物品を撮像装置で撮像
して得られた画像の映像信号に対して処理を行い、画像
上のワイヤ像の形状を認識する方法において、画像上の
ワイヤ像を、画像の分解能よりも粗い間隔で離散的な点
列として認識し、離散的な点列によって前記ワイヤ像の
形状を表現することを特徴とする。
Description
の一つであるワイヤボンディング工程の加工後にボンデ
ィングワイヤの形状を認識する方法に係り、特に、ボン
ディングされたワイヤの形状を自動的に画像認識する方
法に関する。
ディング工程後の半製品のボンディングの出来映えの評
価を行うためにボンディングワイヤの形状を認識する方
法として、最も原始的な手法は、実体顕微鏡などを用い
て人間がワイヤの形状を観察して直観的にその出来映え
を評価していた。
人差や、同じ人間でも体調等による直観のちがいなどが
あり、昨今の半導体製品の微細化・高集積化に供うワイ
ヤボンディングの高密度化に際しては、出来映え評価を
精密・高い信頼性で行うことが不可能となってきてい
る。
ヤの形状が理想とする直線にどれだけ近いかなどを評価
する時には、測微計などを用いて理想直線(ワイヤの両
端点を結んだ直線分)から最も離れている部位の離れ量
を計測するという手法がとられている。
が理想直線から最も離れているかという判断は、計測を
行う人間の目分量(直観)に依存しており、果して本当
に評価結果の信頼性が高いのであろうかという不安が残
る。また、上記した測微計などを用いる計測作業は極め
て手間のかかるものであり、能率が悪い。
によって得られるデータは、「理想直線からの離れ量」
という一つの特徴量にすぎず、他の特徴量、例えば「最
も湾曲した部位」やその「曲率」などを計測しようとす
れば、さらに別の手順で行わなければならない。
た人間による出来映え評価では、精密な計測はなんとか
可能なものの能率は極めて悪く、採取できるデータ量に
は事実上限界があった。
術により機械化しようという試みがなされてきている。
つまり、ワイヤボンディング後の半製品を撮像装置によ
って撮像し、得られた画像の中からワイヤの像だけを抽
出し、その抽出されたワイヤ像の形状を認識することに
より、自動計測させようというものである。
画像認識するために一般的に用いられるハードウェアの
構成を示している。即ち、ワイヤボンディング後の半製
品11をCCDカメラ12で撮像し、それにより得られ
た生の画像(例えば図12に示す)の映像信号は画像処
理装置14へと伝達される。
ェイス15、画像メモリ16、モニタ・インターフェイ
ス17、画像プロセッサ18を持っている。画像処理装
置14において、映像信号入力は、カメラ・インターフ
ェイス15によってA/D変換され、画像メモリ16に
格納される。画像プロセッサ18は、ホストコンピュー
タ19からの指示に従い、画像メモリ16上でワイヤ像
の抽出などの処理を行う。画像メモリ16の内容は、モ
ニタ・インターフェイス17を通して画像モニター13
で見ることができる。
中に示したような生の画像の映像信号に対して種々の処
理を行い、図13に示すようなワイヤ像120のみが残
された画像を得るように処理する。この場合、生の画像
には、ワイヤ像120の他に、リードフレームのインナ
ーリード121、アイランド122、ICペレット12
3、ICペレット上のパッド124、ICペレット上の
パターン125、マウントペースト126など種々の像
が含まれている。
他に種々の像が混在した画像の場合、この画像中からワ
イヤ像120のみを完全な形で(欠落部分が生じないよ
うに)、かつ、他の像を残さないように、つまり、図1
3に示したようにワイヤ像120のみを高い信頼性で確
実に抽出する方法は、現在のところ実現されていない。
示したような混在画像の中から直接にワイヤ像120の
形状を認識・計測しようとする方法が考えられている。
この方法は、まず、ワイヤ像120の端点を何らかの方
法で求めておき、その点を始点として1画素毎に明度の
連続性の高い方向へ追跡することにより、ワイヤ像を認
識しようとするものである。
詳細に説明する。この方法で使用されるハードウェアの
構成は図11と同じである。図14中の碁盤目状の模様
は、ワイヤボンディング後の半製品11をCCDカメラ
12で撮像して得られた映像信号をA/D変換して画像
メモリ16に格納するときの量子化格子である。即ち、
この碁盤目の各区画毎にそれぞれ固有の明度をもってお
り、その1つの区画を画素(ピクセル)と呼んでいる。
そして、この画素の集合として画像が構成されている。
上記各画素の明度は、A/D変換精度および画像メモリ
の構成にもよるが、一般に256段階の階調を持つもの
が使用されることが多い。つまり、各画素は、0〜25
5のうちどれかの明度を持っている。
0の各画素は碁盤目状の区画内に表示された数字のよう
な明度をそれぞれ持っている(なお、説明上必要でない
画素の明度の表示は省略した)場合を想定する。そし
て、明度200を持つ画素141が、予めワイヤの端点
として与えられているとする。
は、現在の追跡点となっている画素141の隣接周囲8
画素のうち、現在の追跡点となっている画素141の明
度に最も近い明度を持つ画素へ進んで行くことにより行
う。図14の場合では、明度200の画素141から、
その周囲8画素のうち最も近い明度209を持つ真下の
画素へ進む。そして、今度は、上記明度209の画素か
ら、その周囲8画素のうち最も近い明度195を持つ画
素へと進んでゆく。この際、以前に通過した画素はその
進行対象からは除外される。
14中に太線で囲んだ画素を進んでゆくことになり、ワ
イヤ像140を追跡できたことになる。しかし、この方
法では、図14に示したような理想的な状態の画像では
ワイヤ像140をうまく追跡できるが、どのような画像
でもうまく追跡できるかというとそうではなく、実用に
耐え得るだけの安全性・信頼性をもって実現すること
は、現在のところ不可能である。
に隣接して存在し、その明度がワイヤ像の明度に近かっ
た場合には、追跡はワイヤ以外のものの像の方向へ進ん
でしまい、ワイヤ像をうまく追跡することができない。
案されているボンディングワイヤ形状認識方法は、ワイ
ヤ像の他に種々の像が混在した画像中からワイヤ像のみ
を実用に耐え得るだけの安全性・信頼性をもって抽出す
ることは困難であるという問題があった。
れたもので、画像処理によるワイヤの形状認識をワイヤ
像の抽出という過程を必要とせずに実現でき、ワイヤボ
ンディング工程の加工後のワイヤ形状の評価を機械化す
ることが可能になり、ワイヤボンディングの出来映え評
価の高能率化、評価基準・方法の均一化を実現し得るボ
ンディングワイヤ形状認識方法を提供することを目的と
する。
ィング後の物品を撮像装置で撮像して得られた画像の映
像信号に対して処理を行い、画像上のワイヤ像の形状を
認識する方法において、上記画像上のワイヤ像を、前記
画像の分解能よりも粗い間隔で離散的な点列として認識
し、上記離散的な点列によって前記ワイヤ像の形状を表
現することを特徴とする。
の画素のうち、現在の画素の明度に最も近い明度を持つ
画素へ1画素毎に連続的に追跡してゆくのではなく、1
画素以上飛ばして離散的に追跡してゆく。
認識をワイヤ像の抽出という過程を必要とせず、また、
ワイヤ像を1画素毎に追跡する処理が可能な程に安定な
コントラストをもった画像が得られなくても、画像処理
によって自動的にワイヤの形状を評価するに必要なだけ
の情報を得ることが可能となる。
の出来映えの評価を自動化することができ、作業能力の
向上、高能率化、評価の信頼性の向上、評価基準・方法
の均一化を実現することが可能になる。
に説明する。図1は、本発明のボンディングワイヤ形状
認識方法で用いたハードウェアの構成例を示している。
後の半製品11を、照明装置10で照明した状態でCC
Dカメラ12で撮像する。このCCDカメラ12により
得られた映像信号は、画像処理装置21に取り込まれ、
カメラ・インターフェイス22により8ビットデータに
A/D変換され、画像メモリ23に格納される。この場
合、画像メモリ23に格納するときの量子化格子の碁盤
目の各区画(画素)毎にそれぞれ固有の明度をもってい
る。
2の画素の画面の4画面分のメモリ容量を有しており、
各画素は8ビットのデータで表わされる0〜255の階
調の明度を持っている。この画像メモリ23の内容は、
モニタ・インターフェイス17によってD/A変換され
て映像信号として出力され、モニター13で見ることが
できる。
3のデータに対して、加算・階調変換などの処理を高速
に行い、画像メモリ23上でワイヤ像の追跡処理を行う
機能を持っており、それらの処理はホストコンピュータ
25からの指令に従って実行される。
プロセッサ24による認識を始めるに先立ち、次の情報
が与えられている。 (1)ワイヤの始・終点(両端点)の概略の位置。
ワイヤボンダの動作プログラムから容易に引き出せる。 (2)リードフレームの概略の形状。
ードフレームのインナーリードやアイランドの輪郭を近
似的な多角形データとして表現している。 (3)その他、以下に詳細に説明する種々の認識過程に
用いられるパラメータ。 これらは、予め設定されており、以下、予め設定してい
るパラメータと呼ぶ。
断面図である。ここで、30aはワイヤ、31aはリー
ドフレームのインナーリード、32aはアイランド、3
3aはICペレット、36aはマウントペースト、37
aはリードフレームのアイランドの凸部である。
カメラ12で撮像して得られた画像(生の画像)の一例
を示している。この画像には、認識対象であるワイヤ像
30の他に、リードフレームのインナーリード像31、
リードフレームのアイランド像32、ICペレット像3
3、ICペレット上のパッド像34、ICペレット上の
パターン像35、マウントペースト像36、リードフレ
ームのアイランドの表面性状(凹凸など)による明暗像
37などが含まれる。
イヤ像30は他のものに比べて比較的明るく(明度25
5により近い値で)撮像されている。勿論、部分的に
は、ワイヤ像30よりも明るい部分も存在するし、ワイ
ヤ像30自体も全てにわたってきれいに明るく撮像され
ているわけではない。
認識方法の一実施例における画像プロセッサによるワイ
ヤ像の追跡処理の概要を示すフローチャートである。本
実施例のボンディングワイヤ形状認識方法は、ワイヤボ
ンディング後の半製品11をCCDカメラ12で撮像し
て得られた画像の映像信号に対して処理を行い、画像上
のワイヤ像30の形状を認識する際、画像上のワイヤ像
30を、画像の分解能よりも粗い間隔で離散的な点列と
して認識し、離散的な点列によってワイヤ像30の形状
を表現することを特徴とするものである。
30の追跡処理の概要について説明する。まず、現在の
追跡点となっている画素の隣接周囲8画素のうち、現在
の画素の明度に最も近い明度を持つ画素へ1画素毎に連
続的に追跡してゆくのではなく、1画素以上飛ばして
(つまり、画像の分解能よりも粗い間隔で)離散的に追
跡してゆく。この理由は、後述の認識方法に起因すると
共に認識処理全体の高速化を目的としたものであり、そ
の詳細は後述する。
点列をワイヤ像の形状として評価に用いる。この際に、
折れ線状の線分として直接用いるか、あるいは三次曲線
などによって近似してその曲線を用いるかは、状況に応
じて使い分ける。それぞれの得失等の詳細については後
述する。
ディングされた接合部)付近において曲がっていること
が多いので、その曲がりをできるだけ忠実に認識できる
ように、それ以外の部分よりも細かい間隔で認識を行
う。
イヤ像の中央部付近を開始点とする。これは、後述の追
跡手順に関連して重要であり、追跡の初期条件としてで
きるだけ信頼性の高い、ワイヤ像以外の像による外乱影
響の少ないデータを得ようとするものであり、その詳細
については後述する。
うに見つけるかについて、概要を簡単に述べる。図3に
示した画像には、計測しようとしているワイヤ像30の
他に、マウントペースト像36、リードフレームのアイ
ランド上の表面の微妙な凹凸による明暗像37などの不
安定な要素が含まれており、この不確定な外乱要素(画
像36、37)はどこにどのように映るか予測がつかな
い。
を受けずにワイヤ像30上の点を特定するために、ま
ず、図3の画像中に示すような短冊状の長方形の窓領域
38を設定する。そして、この窓領域38内の各要素の
明度を例えば図3中の横方向に加算して例えば図5に示
すグラフのような一次元のデータを得る。この場合、窓
領域38の向き(横長か縦長か)と各要素の明度の加算
方向はワイヤ像30の向きによって決められる。
38の長辺に対応し、横方向は、窓領域38内の各画素
の明度を窓領域38の短辺方向に加算した値を示してい
る。また、図5のグラフにおいて、前記ワイヤ像30に
相当する部分51は明確な極値として現れており、前記
リードフレームのアイランド上の表面の微妙な凹凸によ
る明暗像37に相当する部分52は比較的小さな極値と
なる。
度を加算することによって、リードフレームのアイラン
ド上の表面の微妙な凹凸37などの外乱による影響を本
来のワイヤ像30に比べて小さくしている。そして、こ
のワイヤ像30に相当する極値から、この点の窓領域3
8内の上下方向の位置を求め、窓領域38内の左右方向
の位置は短辺方向の中央値を採用している。
は、加算していく方向を短辺と呼んでおり、実際には後
述の窓領域38のサイズ・位置の設定方法によっては短
辺の方が長くなることもあり得る。
ら、ワイヤ像の形状を離散的な点列として順々に認識し
てゆく(追跡してゆく)。この場合、ワイヤ像はそれほ
ど急激に折れ曲っていることはないという前提の基に
(もし、ワイヤ像が折れ曲がっていたとしても、それ
は、形状を評価する以前の問題と判断してかまわな
い)、前回と前々回あるいはさらにそれらに加えてその
前の回に追跡してきた点の延長上にあると考える。従っ
て、窓領域38を設定する位置は、これまでに追跡して
きた点の延長上(直線であっても曲線であってもよい)
を中心とした位置とする。
向でない方)の長さを決める方法の指針を述べる。 (1)窓領域38の長辺方向(加算方向でない方)の長
さは、前回の追跡点からの距離(点列の間隔)に応じて
設定される。つまり、前回の追跡点から離れていれば、
その間にワイヤ像が曲がっているかもしれないと考え、
ワイヤ像を探す範囲を広くとるものとする。これに対し
て、前回の追跡点から近ければ、その間にワイヤ像がた
とえ曲がっていても、以前の点からの延長上からのずれ
は小さいと考え、ワイヤ像を探す範囲を狭くとるものと
する。
域38の長辺方向(加算方向でない方向)の長さに相当
しており、必要最小限にとどめておいた方が処理時間は
短くてすむし、外乱による影響を受ける可能性も低減で
きる。
画像の中で斜めに映っていた場合には、画像処理装置の
ハードウェアの制約によって窓領域38を理想的なワイ
ヤ像との直交方向に設定できないとすると、結果とし
て、ワイヤ像60によるピークはなまったものとなって
しまう。この場合には、窓領域38の長辺方向(加算方
向でない方向)の長さは、理想的な状態よりも大きめに
設定する必要がある。
かの追跡点を直線または曲線で近似してその延長上に窓
領域38の中心を設定するが、この近似に際して相関係
数によって(即ち、前回までの追跡点がその近似線から
ばらついているか、近似線上にきれいにのっているかに
よって)、窓領域38の長辺方向(加算方向でない方
向)の長さを変える。この際、前回までの追跡点が、そ
の近似線からばらついている場合にはワイヤ形状は荒れ
ていると考えて探す範囲を広めにとり、上記近似線上に
きれいにのっている場合には素直な形状のワイヤである
と考えて探す範囲を狭めにとる。
が斜めに映っていた場合には、窓領域38の短辺方向
(加算方向)の幅が広いほど、前述のワイヤ像60によ
るピークのなまり具合は大きくなるので、長辺方向(加
算方向でない方向)を大きくとる必要がある。
に従い、窓領域38の長辺方向(加算方向でない方向)
の範囲(位置と長さ)を決めるものとすると、図7に示
すように複数のワイヤ像301、302が至近に存在し
た場合、ワイヤ像301用の窓領域381がワイヤ像3
02にかかってしまったり、ワイヤ像302用の窓領域
382がワイヤ像301にかかってしまったりして、誤
認識の要因となる。
がそれぞれ対応するワイヤ像301、302の独自の基
準により設定されているからであり、このような状況が
生じた場合には、図8に示すように、誤認識のおそれが
ないように、各々の窓領域381、382のオーバーラ
ップ部分を調整する。この際、オーバーラップする側の
調整が重要であり、反対側(オーバーラップされる側)
の調整は特に必要はないが、調整してもよい。
クからワイヤ像の窓領域中での長辺方向(加算方向でな
い方向)の位置を求める方法について詳細に説明する。
図9に示したグラフにおいて、縦方向は窓領域の長辺方
向(加算方向でない方向)位置に対応しており、横方向
は明度の加算値データを示しており、データのピーク9
1がワイヤ像により得られるものであり、データのピー
ク92は外乱によるものである。
大の値を追跡開始の閾値S1とし、その閾値S1以上の
値が連続するデータ部分をさがす。そして、連続するデ
ータの個数として、予め設定してあるワイヤ像の太さに
相当する個数(例えば5)を超えるものが出現するま
で、前記閾値を順次下げていく。
タは、ピーク92による1個であるか、または該当する
ものはない。次に、閾値をS2に下げると、ピーク91
による2個の連続と、ピーク92による3個の連続が出
現するが、設定値5にはまだ該当しない。
1の所に5個の連続が出現し、これをワイヤ像により得
られたピークと認識する。そして、窓領域中での長辺方
向(加算方向でない方向)の位置は、この5連続の両端
の中央とする。
データ93と94が5連続の両端であり、その中央のデ
ータ95の値が窓領域中での長辺方向(加算方向でない
方向)の位置となる。
な撮像方法である場合には、閾値と極値・最大値の関係
は逆になる。また、図6に示したような斜めのワイヤ像
60に対しては、加算した値のピークがなまっているの
で、ワイヤ像の太さに相当する個数は、ワイヤ像が斜め
でない場合に比べて大きく設定する必要がある。
示したグラフのような明確なピークが観測されていない
場合には、上述のような手法によるワイヤ像の位置の認
識には疑わしさが生じてくると言える。そこで、この加
算データの最大値と平均値とを比べ、もし、十分な差異
または比率がない場合には、この部位における(つま
り、この窓領域における)認識を停止し、次の追跡位置
へと進む。
検出できたとしても、その場合の閾値が前回の追跡点を
検出した場合の閾値と大きく異なる場合には、その付近
でワイヤが断線していると判断する。
順について、図10に詳細に示す画像を参照しながら詳
細に説明する。図10において、301、302はワイ
ヤ像であり、その他の部分は図3中と同様であるので同
一符号を付している。
識の手順の手順はプログラムとしてホストコンピュータ
25に与えられており、すべて自動的に実行される。ま
ず、画面中のワイヤ像301の両端点の概略の位置か
ら、この画面中においてワイヤ像301は縦に近いか横
に近いかを判断する。これは、この後に行われる追跡処
理において、追跡する間隔を決める軸(X軸かY軸)、
窓領域内での明度加算を行う方向などを全て決めるもの
となる。以下、X軸(横軸)の追跡処理をXモード、Y
軸(縦軸)の追跡処理をYモードと呼ぶ。
ではなく、ワイヤ像301の全体的あるいは部分的な傾
きに応じて、より多段階(無限段階を含む)の選択を適
宜行うべきであるが、画像処理装置の機能上の制約と処
理の簡易化(即ち、高速化)のために、ワイヤ像毎ある
いは画面毎にこの二者択一を行っている。勿論、同一画
面上の同一のワイヤ像に対して部位に応じてX軸とY軸
とを切り換えてもよいが、これも処理を簡易化する上で
実施していない。
ワイヤ像301の背景に何もない領域を決める。この領
域は、上述のXモードかYモードかによって、Xで表現
されるかYで表現されるか決まる。
もない領域をXの座標値i1、i2によって表現してお
り、この領域内では、単純な二値化処理によりワイヤ像
301を確実に抽出することが可能である。この場合、
ワイヤ像301上の最低3点の各座標を求める。
めパラメータとして設定されている。この3点の座標
を、p1(x1、y1)、p2(x2、y2)、p3
(x3、y3)とする。
求める。この場合、直線ではなく二次、三次式などの曲
線で近似してもよいが、そうすると、算出に必要な初期
値の点数が多くなり、計算が複雑になる割には、後に述
べる追跡に与える影響が少ないので、本実施例では直線
を用いている。
ータとして設定された値だけ直線方向に移動したx4の
点における直線上のYの値y4´を求める。そして、こ
の点の座標(x4、y4´)を中心として、長方形の窓
領域381を設定する。
幅は予めパラメータv1として設定されているので、窓
領域381のX方向の始点・終点はx4とv1から一意
に定まる。
める。このw4は、次に述べる(1)〜(4)の変数に
依存する値となっている。 (1)x4とx3の差の絶対値(つまり、前回の認識点
からの間隔)。
係数をかける。 (2)p1〜p3によって求めた回帰直線L4の傾きの
絶対値。 これが大きい程、w4が大きくなるような係数をかけ
る。勿論、最初に定めたXかYかのモードによっては、
傾きの係数をとる場合もある。 (3)回帰直線L4に対するp1〜p3の相関係数。
程、つまり、ばらついている程)、w4が大きくなるよ
うな係数をかける。しかし、これについては、さほど顕
著な効果は表われないので、殆んど効かないような係数
としたり、あるいは、考慮に入れずに計算を簡略化した
方が、処理速度上有利である。 (4)パラメータv1。
係数をかける。これは、回帰直線L4の傾きの絶対値が
大きい時の方がより重要であるので、この項に含める。
以上の各変数に対する係数は、いろいろなサンプルに対
して試験を行いながら調整し、実験的に定めている。基
本的には、外乱要素をできるだけ含まずに、かつ、回帰
直線L4で予測される位置からのずれ要因(回帰直線L
4の近似誤差によるものと、ワイヤ像の曲りによるもの
がある)を吸収できるだけのものが理想的であると言え
る。勿論、上述した依存要素の他に、定数項として与え
ている基本値があり、この基本値が最も支配的である。
は、予めパラメータとして与えている基本値に、上述の
依存要因による補正を加えていると捉えた方が的を得て
いる。さて、上記したようにして、座標(x4、y4
´)を中心として、v1×w4の大きさを持つ長方形の
窓領域381を設定し、その窓領域381内の画素の明
るさをX方向に加算し、一次元のデータを得る。これを
基に、この追跡における認識点(x4、y4)を求める
わけであるが、y4の求め方については先に述べている
ので省略する。この時に、上記一次元データの様子(最
大値と平均値、所望の幅のピークを求めた時の閾値の高
さ)に応じて、この認識結果は信用できる、または怪し
いかもしれないなどの判断をつけ加えてゆく。
目の点pn(xn、yn)を探す時には、n−1、n−
2、n−3番目の3点を基に求めた近似直線を用いる。
そして、この3点の中に、上記のような怪しいかもしれ
ないという判断のついたものがあれば、その点は近似直
線算出の材料からはずし、代わりに更に1つ前の点(n
−4番目)を用いる。xnの決め方は、予め与えられた
パラメータをx(n−1)に加えた、またはx(n−
1)から減じた値としている。
第2のパラメータに切り換え、点列の間隔を狭める。同
時に、窓領域381のX方向、Y方向の大きさも、より
小さい値に切り換える。また、窓領域381が隣接する
ワイヤ像302を含んでしまいそうな時(これは、隣接
するワイヤ像用の窓領域がオーバーラップすることによ
って予測がつく)は、隣接するワイヤ像用の窓領域を削
ることによって、誤認識を防ぐ。最終的には、上記した
ような追跡がワイヤ像301の端点位置まで到達した
ら、追跡を停止する。
ナーリード側それぞれの方向について行うことにより、
結果としてワイヤ像301を離散的な点列として認識で
きる。
る窓領域内の加算値を基にワイヤ像の位置を認識すると
いう方法は、加算による積分効果によって外乱の影響を
極力減じ、認識の信頼性を高めていることが大きな特徴
であると言える。
っている現象(切れ、曲り)については、やや感度が鈍
くなるが、ワイヤの性状からして、そのような急激な変
化が生ずる可能性は極めて少なく、実用上全く問題な
い。
でワイヤ像の形状を表現し、その形状を評価する際、そ
の表現の方法には次のようなものが考えられる。まず、
最も単純に折れ線状の線分と見なす方法は、各窓領域内
での点の認識(加算データからの認識)が高精度であ
り、しかも、比較点の間隔が粗い場合に有効である。何
故ならば、各々の点の信頼性が高いので、生のデータを
使っても問題がなく、点数が少ない場合に後述の近似式
を求めてもあまり意味がない。
〜四次式くらいがワイヤ像の形状を表現するには適切で
あることが実験的に分かっている)で近似する方法であ
り、これは点数が比較的多い(点の間隔が狭い)場合に
信頼性の高い近似が可能であり、これによって個々の点
の認識精度をカバーすることもできる。
め、曲線近似表現することが望ましいが、求める点を増
すほど、また、個々の点の認識に高精度を求めるほど長
い処理時間を要するので、点の数、認識精度は処理時間
との兼ね合いで決める。
と、図9を参照して説明したように閾値を変化させてゆ
く時の刻み幅が影響することが分かっている。この刻み
幅を小さくする程、精度は上がるが、処理時間が長くな
る。
の中央をその位置とする方法の他に、両端の間の加算値
の重心を求める方法や、理想とするワイヤ像のピークの
形状との一致度(相互相関係数など)が最も高い位置を
求める方法などもある。
るものの、ワイヤ像上での太さ方向の明度の分布が片側
に片寄っている場合などには精度が低下するという問題
がある。後者は、計算が複雑であり、処理時間が長くな
るなどの問題がある。
倍率(ワイヤ像の太さが何画素分あるか)や、照明方法
(ワイヤ像がどのようなコントラストで撮像できるか)
とも大きな関連がある。
イヤ形状認識方法によれば、ワイヤボンディング工程後
の半製品の画像からボンディングされたワイヤ像のみを
完全に抽出することができなくとも、また、ワイヤ像を
1画素ごとに追跡する処理が可能な程に安定なコントラ
ストをもった画像が得られなくても、画像処理によって
自動的にワイヤの形状を評価するに必要なだけの情報を
得ることが可能となる。
の製品の出来映えの評価を自動化することができ、作業
能力の向上、評価の信頼性の向上、評価基準の均一化を
達成できる。
一実施例で用いたハードウェアの構成例を示す図。
を示す側面図。
示す図。
実施例における画像プロセッサによるワイヤ像の追跡処
理の概要を示すフローチャート。
領域内の各要素の明度を横方向に加算して得られた一次
元のデータの一例を示す図。
を簡略的に示す図。
他の例を簡略的に示す図。
ーバーラップ部分を調整した場合の一例を示す図。
向および短辺方向に対応させてデータの分布を示す図。
を詳細に示す図。
ために一般的に用いられるハードウェアの構成を示す
図。
半製品を撮像して得られた生の画像の一例を示す図。
従来の方法により種々の処理を行うことに得られたワイ
ヤ像のみが残された画像の一例を示す図。
いて画像の映像信号をA/D変換して画像メモリに格納
した場合の各画素の明度の分布例を示す図。
…CCDカメラ、13…モニター、17…モニタ・イン
ターフェイス、21…画像処理装置、22…カメラ・イ
ンターフェイス、23…画像メモリ、24…画像プロセ
ッサ、25…ホストコンピュータ、30、301、30
2…ワイヤ像、38、381、382…窓領域。
Claims (16)
- 【請求項1】 ワイヤボンディング後の物品を撮像装置
で撮像して得られた画像の映像信号に対して処理を行
い、画像上のワイヤ像の形状を認識する方法において、 上記画像上のワイヤ像を、前記画像の分解能よりも粗い
間隔で離散的な点列として認識し、上記離散的な点列に
よって前記ワイヤ像の形状を表現することを特徴とする
ボンディングワイヤ形状認識方法。 - 【請求項2】 請求項1記載のボンディングワイヤ形状
認識方法において、 前記離散的な点列よりなる折れ線状の線分を前記ワイヤ
像の形状と見做すことを特徴とするボンディングワイヤ
形状認識方法。 - 【請求項3】 請求項1記載のボンディングワイヤ形状
認識方法において、前記離散的な点列から求めた近似曲
線分を前記ワイヤ像の形状と見做すことを特徴とするボ
ンディングワイヤ形状認識方法。 - 【請求項4】 請求項1乃至3のいずれか1項に記載の
ボンディングワイヤ形状認識方法において、 前記離散的な点列は、前記ワイヤ像のボンディング接合
部付近においてそれ以外の部分よりも狭い間隔をもって
構成されることを特徴とするボンディングワイヤ形状認
識方法。 - 【請求項5】 請求項1乃至4のいずれか1項に記載の
ボンディングワイヤ形状認識方法において、 前記離散的な点列を構成する各点を求める順序は、前記
ワイヤ像の中央部付近を開始点とし、ワイヤ像の端部を
向って進んでいくことを特徴とするボンディングワイヤ
形状認識方法。 - 【請求項6】 請求項1乃至5のいずれか1項に記載の
ボンディングワイヤ形状認識方法において、 前記離散的な点列を構成する各点のうちの少なくとも1
点は、前記画像上のワイヤ像とほぼ平行な方向に前記画
像上の複数の隣接する画素の明るさを加算した値の極値
から、前記ほぼ平行な方向に直交する方向の座標値が求
められており、 前記加算の範囲の中央値を前記ほぼ平行な方向の座標値
としていることを特徴とするボンディングワイヤ形状認
識方法。 - 【請求項7】 請求項6記載のボンディングワイヤ形状
認識方法において、 前記加算した値の極値を求めるための前記ほぼ平行な方
向に直交する方向の範囲は、前記離散的な点列を構成す
る他の複数の点を基に得られる近似直線または近似曲線
が前記加算の範囲の中央値においてとる値を中心として
いることを特徴とするボンディングワイヤ形状認識方
法。 - 【請求項8】 請求項7記載のボンディングワイヤ形状
認識方法において、 前記加算した値の極値を求めるための範囲の幅は、前記
離散的な点列の間隔の関数となる値であることを特徴と
するボンディングワイヤ形状認識方法。 - 【請求項9】 請求項7または8記載のボンディングワ
イヤ形状認識方法において、 前記加算した値の極値を求めるための範囲の幅は、前記
ほぼ平行な方向の傾きと前記複数の点を基に得られる近
似直線または近似曲線の傾きとがなす角度の関数となる
値であることを特徴とするボンディングワイヤ形状認識
方法。 - 【請求項10】 請求項7乃至9のいずれか1項に記載
のボンディングワイヤ形状認識方法において、 前記加算した値の極値を求めるための範囲の幅は、前記
近似直線または近似曲線の相関係数の関数となる値であ
ることを特徴とするボンディングワイヤ形状認識方法。 - 【請求項11】 請求項7乃至10のいずれか1項に記
載のボンディングワイヤ形状認識方法において、 前記加算した値の極値を求めるための範囲の幅は、前記
加算の範囲の広さの関数となる値であることを特徴とす
るボンディングワイヤ形状認識方法。 - 【請求項12】 請求項6乃至11のいずれか1項に記
載のボンディングワイヤ形状認識方法において、 前記画像上のワイヤ像について前記加算した値の極値を
求めるための範囲の幅は、上記ワイヤ像に対して隣接す
る他のワイヤ像についてそれとほぼ平行な方向に前記画
像上の複数の隣接する画素の明るさを加算した値の極値
を求めるための範囲との重なり部分が小さくなるように
狭められることを特徴とするボンディングワイヤ形状認
識方法。 - 【請求項13】 請求項6記載のボンディングワイヤ形
状認識方法において、 前記ほぼ平行な方向に直交する方向の座標値は、前記加
算した値の極値を含み、ある閾値と上記極値との間の値
が、前記ワイヤ像の太さに相当する数以上連続している
領域の中央値であることを特徴とするボンディングワイ
ヤ形状認識方法。 - 【請求項14】 請求項13記載のボンディングワイヤ
形状認識方法において、 前記ワイヤ像の太さに相当する数は、前記ほぼ平行な方
向の傾きと前記複数の点を基に得られる近似直線または
近似曲線の傾きとがなす角度の関数となる値であること
を特徴とするボンディングワイヤ形状認識方法。 - 【請求項15】 請求項6記載のボンディングワイヤ形
状認識方法において、 前記加算した値の極値を求めるための前記ほぼ平行な方
向に直交する方向の範囲内における前記加算した値の最
大値と平均値との差異または比率が、予め定められた値
よりも小さい場合には、その部位における前記点を求め
る操作を放棄することを特徴とするボンディングワイヤ
形状認識方法。 - 【請求項16】 請求項13記載のボンディングワイヤ
形状認識方法において、 前記ほぼ平行な方向に直交する方向の座標値を求めるた
めのある閾値の前記隣接する点間での差異が、予め定め
られた値よりも大きい場合には、前記ワイヤ像は前記隣
接する点付近で断線していると判断することを特徴とす
るボンディングワイヤ形状認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11491393A JP3338122B2 (ja) | 1993-05-17 | 1993-05-17 | ボンディングワイヤ形状認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11491393A JP3338122B2 (ja) | 1993-05-17 | 1993-05-17 | ボンディングワイヤ形状認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06323822A true JPH06323822A (ja) | 1994-11-25 |
JP3338122B2 JP3338122B2 (ja) | 2002-10-28 |
Family
ID=14649770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11491393A Expired - Fee Related JP3338122B2 (ja) | 1993-05-17 | 1993-05-17 | ボンディングワイヤ形状認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3338122B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002124534A (ja) * | 2000-10-13 | 2002-04-26 | Tanaka Electronics Ind Co Ltd | 金属細線の直進性評価装置及び方法 |
US7473703B2 (en) | 2002-01-30 | 2009-01-06 | Amgen Inc. | Heterocyclic arylsulfonamidobenzylic compounds |
WO2020217970A1 (ja) * | 2019-04-22 | 2020-10-29 | 株式会社新川 | ワイヤ形状測定装置及びワイヤ三次元画像生成方法並びにワイヤ形状測定方法 |
-
1993
- 1993-05-17 JP JP11491393A patent/JP3338122B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002124534A (ja) * | 2000-10-13 | 2002-04-26 | Tanaka Electronics Ind Co Ltd | 金属細線の直進性評価装置及び方法 |
US7473703B2 (en) | 2002-01-30 | 2009-01-06 | Amgen Inc. | Heterocyclic arylsulfonamidobenzylic compounds |
WO2020217970A1 (ja) * | 2019-04-22 | 2020-10-29 | 株式会社新川 | ワイヤ形状測定装置及びワイヤ三次元画像生成方法並びにワイヤ形状測定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3338122B2 (ja) | 2002-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4915655B2 (ja) | 自動追尾装置 | |
US4435835A (en) | Method and device for detecting the position of an object | |
US20120229618A1 (en) | Defect inspection device and defect inspection method | |
JP6702097B2 (ja) | 画像処理プログラム、画像処理方法および画像処理装置 | |
JP6648925B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 | |
CN112964724B (zh) | 一种多目标多区域视觉检测方法及检测*** | |
JPWO2019009214A1 (ja) | 画像から変状を検知する画像処理装置、画像処理方法及びプログラム | |
JP2007041730A (ja) | 電線異常検出方法および装置およびプログラム | |
US6885777B2 (en) | Apparatus and method of determining image processing parameter, and recording medium recording a program for the same | |
JP5264457B2 (ja) | 物体検出装置 | |
JP2011002882A (ja) | 撮像装置、画像処理プログラム、および撮像方法 | |
JP2017224974A (ja) | 撮像装置および撮像システム並びに外観検査装置および製造方法 | |
JPH06323822A (ja) | ボンディングワイヤ形状認識方法 | |
JP2021022637A (ja) | ボンディングワイヤの検査装置、ボンディングワイヤの検査方法、及びボンディングワイヤの検査プログラム | |
JP6704336B2 (ja) | 検査装置及び検査方法 | |
CN111563883B (zh) | 屏幕视觉定位方法、定位设备及存储介质 | |
JP4796535B2 (ja) | 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム | |
JP2858530B2 (ja) | エッジ強調装置 | |
JPH0737893B2 (ja) | パターンマッチング方法 | |
JPH11102442A (ja) | エッジ検出方法及びその装置 | |
JP3111434B2 (ja) | 画像処理装置 | |
JPH0982739A (ja) | ボンディングワイヤ検査装置 | |
JP3278555B2 (ja) | ボンディングワイヤの認識方法 | |
JP2002190021A (ja) | 位置検出装置および方法 | |
JP2002162366A (ja) | 欠陥検査方法とその装置、及び欠陥の自動分類のための欠陥位置検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070809 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080809 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090809 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090809 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100809 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100809 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110809 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110809 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120809 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |