JP2002024804A - 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体 - Google Patents

部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体

Info

Publication number
JP2002024804A
JP2002024804A JP2000207299A JP2000207299A JP2002024804A JP 2002024804 A JP2002024804 A JP 2002024804A JP 2000207299 A JP2000207299 A JP 2000207299A JP 2000207299 A JP2000207299 A JP 2000207299A JP 2002024804 A JP2002024804 A JP 2002024804A
Authority
JP
Japan
Prior art keywords
component
electronic component
electrode
recognition
electrodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000207299A
Other languages
English (en)
Other versions
JP3877501B2 (ja
Inventor
Atsushi Tanabe
敦 田邊
Kimiaki Sano
公昭 佐野
Junichi Hata
純一 秦
Eiichi Hachitani
栄一 蜂谷
Seishirou Yanaike
征志郎 梁池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000207299A priority Critical patent/JP3877501B2/ja
Priority to CNB018124550A priority patent/CN1254768C/zh
Priority to DE60139877T priority patent/DE60139877D1/de
Priority to PCT/JP2001/005913 priority patent/WO2002005211A1/ja
Priority to US10/312,772 priority patent/US7539339B2/en
Priority to EP01947906A priority patent/EP1306801B1/en
Publication of JP2002024804A publication Critical patent/JP2002024804A/ja
Application granted granted Critical
Publication of JP3877501B2 publication Critical patent/JP3877501B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/24765Rule-based classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04Mounting of components, e.g. of leadless components
    • H05K13/0404Pick-and-place heads or apparatus, e.g. with jaws
    • H05K13/0413Pick-and-place heads or apparatus, e.g. with jaws with orientation of the component while holding it; Drive mechanisms for gripping tools, e.g. lifting, lowering or turning of gripping tools
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0813Controlling of single components prior to mounting, e.g. orientation, component geometry
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/0882Control systems for mounting machines or assembly lines, e.g. centralized control, remote links, programming of apparatus and processes as such
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 各電子部品に設定され、電子部品を認識させ
る際に参照される部品認識データを、認識アルゴリズム
の特性を意識することなく、正確且つ迅速に作成するこ
とができる部品認識データ作成方法及び作成装置並びに
電子部品実装装置及び記録媒体を提供する。 【解決手段】 電子部品のボディ及び電極の情報を入力
する入力手段と、入力されたボディ及び電極の情報に基
づいて電子部品の部品種を特定し、この特定された部品
種に適応する認識アルゴリズムを選定する認識アルゴリ
ズム選定手段と、選定された認識アルゴリズムによる認
識処理に必要とされる部品形状データを、入力されたボ
ディ及び電極の情報から自動的に抽出する部品形状デー
タ抽出手段とを備えて電子部品の認識条件が記録された
部品認識データを作成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、電子部品を撮像し
た画像データから該電子部品を認識する装置に適用さ
れ、電子部品の認識条件が記録された部品認識データを
作成する部品認識データ作成方法及び作成装置並びに電
子部品実装装置及び記録媒体に関し、例えば、電子部品
実装装置の吸着ノズルに吸着された電子部品を認識し
て、その吸着姿勢から実装位置を補正することに用いて
好適なデータ入力技術に関する。
【0002】
【従来の技術】近年、電子部品実装分野では、電子部品
高速且つ高精度に回路基板に実装する技術が必要とされ
ている。一般的には電子部品を撮像して得られる画像デ
ータを高速に処理して、電子部品の位置・回転量を正確
に検出し、電子部品の実装位置・回転量の補正を行う画
像認識技術が取り入れられている。また、電子部品の多
電極・細密化が進むにつれ、電子部品の個々の電極が基
板のランド上に正確に装着されるようにするため、電極
位置を検出し補正を行う技術が用いられるようになって
きた。個々の電極位置を検出するためには、個々の電極
がどのような配置になっているかを前提条件として明ら
かにしなければならない。そのため、部品の形状に応じ
て電極を検出するアルゴリズムを定めると共に、このア
ルゴリズムに応じて必要な寸法や電極個数等のデータを
設定しなければならない。
【0003】まず、角型チップ部品を認識する場合のデ
ータ作成の様子を説明する。図48は、角形チップ部品
301の外観形状を示す図である。角形チップ部品30
1は左右に電極302が配された形状であり、このよう
な左右に電極302を有する部品を認識する場合、角型
チップ部品用のアルゴリズムを使用して電極302の検
出を行う。このアルゴリズムでは、図48に示すように
角型チップ部品301の部品寸法L1,W1、及び電極
の長さd1,d2のデータが必要となる。よって角形チ
ップ部品301を認識するための部品認識データは、
【0004】 が必要となる。
【0005】次に、QFP部品を認識する場合のデータ
作成の様子を説明する。図49はQFP部品311の外
観形状を示した図である。QFP部品311は等間隔で
並んだ電極312が上下左右の辺にそれぞれ配された形
状をしている。このような上下左右の辺に等間隔の電極
312が配された部品を認識する場合、リード型部品用
のアルゴリズムを使用して電極312の検出を行う。こ
のアルゴリズムでは、図49に示すようにQFP部品3
11の部品寸法L1,W1、リード外形Lt,Wt、電
極の幅h1,電極の間隔Pt、電極数Nu,Nd,N
l,Nrのデータが必要となる。よって、QFP部品3
11を認識するための部品認識データは、
【0006】 が必要となる。
【0007】このように必要となる部品認識データは、
使用するアルゴリズムによって異なるが、寸法の入力定
義として、 部品寸法 :L1,L2,W1,W2 リード外形:Lt,Wt 電極寸法 :d1,d2,h1,h2,Pt 電極数 :Nu,Nd,Nl,Nr 等のデータを用いることで、全ての部品形状を表現して
いる。
【0008】また、部品認識データには、この他にも撮
像するカメラの視野サイズを切り替えるためのカメラ番
号Cnや、電子部品を照明する際の照明角度や照明の強
さを切り替えるための照明コード番号Lc等がある。こ
れらのデータも認識対象となる電子部品のサイズや形状
等によって設定する必要がある。このように、定型の寸
法定義を用いることにより、電子部品の形状に関わらず
同一サイズの部品認識データを作成することができる。
【0009】従来、これらの部品認識データは全て人手
によって設定されていた。即ち、認識対象となる電子部
品と図5に示すような部品種毎に示されたデータシート
とを見比べて、最適な認識アルゴリズムを選択し、この
選択された認識アルゴリズムに応じて所定位置の寸法を
計測することで部品認識データの入力を行っていた。
【0010】
【発明が解決しようとする課題】上記従来の方法では、
まず、複数用意された認識アルゴリズムのうち、どれを
選択するかが重要となる。例えば図50に示すようなコ
ネクタ部品321の場合には、前述したQFP部品を認
識するための認識アルゴリズムが適当である。しかし、
認識アルゴリズムを選択するためのデータシートにQF
P部品の図が記載されていた場合、図50のコネクタ部
品に同一の認識アルゴリズムが適応できるかどうか判断
するには認識アルゴリズムに関する十分な知識が必要と
なる。仮に最適な認識アルゴリズムを選択できたとして
も、入力するデータがQFP部品の場合と異なり、L
t,Nd,Nl,Nrに相当するデータはコネクタ部品
321には存在しない。このため、作業者が例えば図5
1に示すような入力画面で入力する際に、実際には部品
に存在しないデータの入力項目があるため、作業者はこ
れらのデータをどのように入力すればよいのか分からず
悩んでしまう。
【0011】このような事態を回避するために部品の形
状に応じて個別にデータシートを用意することも考えら
れるが、膨大な量のデータシートが必要となるばかり
か、その中から適切なデータシートを選択することも容
易でない。
【0012】また、コネクタ部品には、図52に示すよ
うなコネクタ部品331も存在する。このコネクタ部品
331は、通常の電極332とは別に補強用の電極33
4が両端に配されている。このように両端に補強用の電
極334が存在する場合は、補強用の電極334を無視
して検出を行っている。そのため、部品認識データとし
ては、図51に示したコネクタ部品321と全く同一の
形状となる。しかし、補強用の電極334を無視するこ
とを知らない場合、2種類のリード幅、リード間隔が存
在するため、作業者はどのようにデータ入力をすればよ
いかを判断できない。
【0013】このような例外的な入力方法は、部品の形
状が複雑化しているため、ますます増加する傾向にあ
る。そのため、部品認識データの作成には、適応する認
識アルゴリズムに関する深い知識が必要となっている。
【0014】本発明は、このような従来の問題点に鑑み
てなされたもので、各電子部品に設定され、電子部品を
認識させる際に参照される部品認識データを、認識アル
ゴリズムの特性を意識することなく、正確且つ迅速に作
成することができる部品認識データ作成方法及び作成装
置並びに電子部品実装装置及び記録媒体を提供すること
を目的としている。
【0015】
【課題を解決するための手段】上記目的達成のため、本
発明に係る請求項1記載の部品認識データ作成方法は、
電子部品を撮像した画像データから該電子部品を認識す
る装置に適用され前記電子部品の認識条件が記録された
部品認識データを作成する部品認識データ作成方法であ
って、前記電子部品のボディ及び電極の情報を入力する
ことで、該電子部品の部品種を特定し、該特定された部
品種に適応する認識アルゴリズムを選定し、該認識アル
ゴリズムによる認識処理に必要とされる部品形状データ
を前記ボディ及び電極の情報から自動的に抽出すること
を特徴とする。
【0016】この部品認識データ作成方法では、電子部
品のボディ及び電極の情報を入力することで、この電子
部品に適応する認識アルゴリズムが設定され、この認識
アルゴリズムによる認識処理に必要とされる部品形状デ
ータが入力されたボディ及び電極の情報から自動的に抽
出される。これにより、認識アルゴリズムによる認識処
理に必要となる電子部品のボディ及び電極の情報を逐一
入力することなく自動的に入力されるため、認識アルゴ
リズムの特性を意識することなく、正確且つ迅速に部品
認識データを作成することが可能となる。
【0017】請求項2記載の部品認識データ作成方法
は、前記電子部品を前記選定された部品種に適応する最
適な条件で撮像する光学条件を入力することを特徴とす
る。
【0018】この部品認識データ作成方法では、電子部
品を撮像する際に、撮像視野サイズや照明条件等の光学
条件を最適な条件に設定することで、電子部品をより確
実に認識することができる。
【0019】請求項3記載の部品認識データ作成方法
は、認識対象である電子部品のボディの情報と該電子部
品の電極の情報とを入力するボディ・電極データ入力ス
テップと、前記電極を前記ボディ外周の辺毎にグループ
化するグループ化ステップと、前記グループ化された電
極に対して、各グループ間で重複する電極及び電子部品
の認識に用いない電極を除外する不要電極の除外ステッ
プと、前記電子部品に適応する認識アルゴリズムを決定
する認識アルゴリズムの決定ステップと、決定された認
識アルゴリズムによる認識処理に必要な部品形状データ
を、前記ボディ及び電極の情報から自動的に抽出する部
品形状データ抽出ステップと、前記電子部品を撮像する
際の最適な光学条件を決定する光学条件決定ステップと
を有することを特徴とする。
【0020】この部品認識データ作成方法では、入力さ
れた電子部品のボディの情報及び電極の情報とによっ
て、電極をボディ外周の辺毎にグループ化し、このグル
ープ化された電極に対して、各グループ間で重複する電
極及び電子部品の認識に用いない電極を除外した後、こ
の電子部品に適応する認識アルゴリズムを決定し、この
決定された認識アルゴリズムによる認識処理に必要な部
品形状データを、既に入力されているボディ及び電極の
情報から自動的に抽出し、さらに、電子部品を撮像する
際の最適な光学条件を決定することで部品認識データを
作成している。これにより、入力された電極が辺毎にグ
ループ化されて電子部品の種別が確実に判別されるため
認識アルゴリズムを適切に選択できる。また、認識アル
ゴリズムによる認識処理に必要となる電子部品のボディ
及び電極の情報が逐一入力することなく自動的に入力さ
れるため、認識アルゴリズムの特性を意識することな
く、正確且つ迅速に部品認識データを作成することが可
能となる。
【0021】請求項4記載の部品認識データ作成方法
は、前記入力されたボディの情報からボディ形状を作図
するステップと、前記入力された電極の情報から電極形
状を作図するステップと、作図されたボディ及び電極の
位置関係が正しいかを判定する電極位置の判定ステップ
と有し、前記ボディ及び電極の情報を視覚的に確認する
ことを特徴とする。
【0022】この部品認識データ作成方法では、入力さ
れたボディの情報からボディ形状を作図し、入力された
電極の情報から電極形状を作図することで、作図された
ボディ及び電極の位置関係等が正しいかを視覚的に確認
して判定することができる。これにより、数値データだ
けから判定する場合と比較して、瞬時にして確認が行え
るようになり、簡単にして迅速に入力した情報の正誤を
確認することができる。
【0023】請求項5記載の部品認識データ作成方法
は、前記電子部品を撮像するステップと、前記撮像され
た電子部品の画像データに対してボディ部分に相当する
領域を指定するボディ領域指定ステップと、前記画像デ
ータに対して電極部分に相当する領域を指定する電極領
域指定ステップと、前記指定されたボディ領域からボデ
ィの情報を取得し、前記指定された電極領域から電極の
情報を取得する情報抽出ステップと、前記情報抽出ステ
ップにより取得された情報を用いて部品認識データを作
成することを特徴とする。
【0024】この部品認識データ作成方法では、電子部
品を撮像して得られた画像データに対して、電子部品の
ボディ部分に相当する領域と電極部分に相当する領域を
指定することで、ボディ領域と電極領域部分の画像デー
タからボディ及び電極の情報を取得することにより、ボ
ディの寸法、色或いは濃度等の部品形状データ、及び電
極の寸法、個数、配列ピッチ等の部品形状データの情報
を自動的に抽出することができ、各データを逐一入力す
る必要がなくなるため、部品認識データの作成をより簡
略化できる。
【0025】請求項6記載の部品認識データ作成方法
は、前記グループ化ステップが、前記電子部品のボディ
の左辺・上辺・右辺・下辺の各辺に対し、選定した辺の
反対側に存在する電極を該選定した辺のグループから除
外するステップと、前記選定した辺のグループに対して
前記電極の中心が前記選定した辺に近い順に順位付けを
行うステップと、前記選定した辺に最も近い電極を抽出
するステップと、を有することを特徴とする。
【0026】この部品認識データ作成方法では、電子部
品のボディの左辺・上辺・右辺・下辺の各辺に対し、選
定した辺の反対側に存在する電極を選定した辺のグルー
プから除外した後、選定した辺のグループで電極の中心
が選定した辺に近い順に順位付けして、選定した辺に最
も近い電極を、この選定した辺のグループに設定する。
このようなグループ化ステップにより、各辺に対する電
極のグループ化が行われる。
【0027】請求項7記載の部品認識方法は、前記不要
電極の除外ステップが、対面する辺のグループ同士で同
一の電極が存在するときに、両辺のグループから前記同
一の電極を除外するステップと、前記選定した辺のグル
ープの電極数が3より少なく、且つ、電極が隣接辺のグ
ループに含まれている場合、該隣接辺のグループの電極
数が2より多いときに前記選定した辺のグループから電
極を全て除外し、2以下のときに電極の並びの中心が前
記ボディの中央にない方の辺のグループから電極を全て
除外する重複電極の除外ステップと、を有することを特
徴とする。
【0028】この部品認識データ作成方法では、対面す
る辺のグループ同士で同一の電極が存在するときに、こ
れら両辺のグループから同一の電極を除外する。そし
て、選定した辺のグループの電極数が3より少なく、且
つ、電極が隣接辺のグループに含まれている場合には、
隣接辺のグループの電極数が2より多いときには、選定
した辺のグループから電極を全て除外する一方、2以下
のときには、電極の並びの中心がボディの中央にない方
の辺のグループから電極を全て除外することで重複した
電極を除外する。これにより、不要となる電極が除外さ
れる。
【0029】請求項8記載の部品認識データ作成装置
は、電子部品を撮像した画像データから該電子部品を認
識する際に用いられ前記電子部品の認識条件が記録され
た部品認識データを作成する部品認識データ作成装置で
あって、前記電子部品のボディ及び電極の情報を入力す
る入力手段と、前記入力されたボディ及び電極の情報に
基づいて電子部品の部品種を特定し、該特定された部品
種に適応する認識アルゴリズムを選定する認識アルゴリ
ズム選定手段と、前記選定された認識アルゴリズムによ
る認識処理に必要とされる部品形状データを前記入力さ
れたボディ及び電極の情報から自動的に抽出する部品形
状データ抽出手段とを備えたことを特徴とする。
【0030】この部品認識データ作成装置では、入力手
段から電子部品のボディ及び電極の情報を入力し、この
入力されたボディ及び電極の情報に基づいて、認識アル
ゴリズム選定手段によって特定された電子部品の部品種
に適応する認識アルゴリズムを選定し、選定された認識
アルゴリズムによる認識処理に必要とされる部品形状デ
ータを部品形状データ抽出手段によりボディ及び電極の
情報から自動的に抽出することで部品認識データを作成
する。これにより、認識アルゴリズムによる認識処理に
必要となる電子部品のボディ及び電極の情報を逐一入力
することなく自動的に入力されるため、認識アルゴリズ
ムの特性を意識することなく、正確且つ迅速に部品認識
データを作成することが可能となる。
【0031】請求項9記載の部品認識データ作成装置
は、前記電子部品を前記選定された部品種に適応する最
適な条件で撮像する光学条件を設定する光学条件設定手
段を備えたことを特徴とする。
【0032】この部品認識データ作成装置では、電子部
品を撮像する際に、撮像視野サイズや照明条件等の光学
条件を最適な条件に設定することで、電子部品をより確
実に認識することができる。
【0033】請求項10記載の部品認識データ作成装置
は、前記入力手段から入力された前記電子部品のボディ
及び電極の情報を画面表示する表示手段を備えたことを
特徴とする。
【0034】この部品認識データ作成装置では、入力手
段から入力されたボディ及び電極の情報から得られるボ
ディ形状や電極形状等の情報を、表示手段によって画面
表示することにより、表示されたボディ及び電極の位置
関係等の情報が正しいかを視覚的に確認して判定するこ
とができる。これにより、数値データだけから判定する
場合と比較して、瞬時にして確認が行えるようになり、
簡単にして迅速に入力した情報の正誤を確認することが
できる。
【0035】請求項11記載の部品認識データ作成装置
は、前記入力手段が、電子部品を撮像した画像データか
ら前記電子部品のボディ及び電極の情報を抽出して入力
することを特徴とする。
【0036】この部品認識データ作成装置では、電子部
品を撮像して得られた画像データから、電子部品のボデ
ィ部分に相当する領域と電極部分に相当する領域からボ
ディ及び電極の情報を抽出することにより、ボディの寸
法、色或いは濃度等の情報、及び電極の寸法、個数、配
列ピッチ等の部品形状データの情報を自動的に取得する
ことができ、各データを逐一入力する必要がなくなるた
め、部品認識データの作成をより簡略化できる。
【0037】請求項12記載の電子部品実装装置は、電
子部品を脱着自在に保持する吸着ノズルを備えた部品保
持手段により、入力されたNC情報に基づいて回路基板
の所定位置に前記電子部品を順次装着する電子部品実装
装置において、前記電子部品のボディ及び電極の情報を
入力する入力手段と、前記入力されたボディ及び電極の
情報に基づいて電子部品の部品種を特定し、該特定され
た部品種に適応する認識アルゴリズムを選定する認識ア
ルゴリズム選定手段と、前記選定された認識アルゴリズ
ムによる認識処理に必要とされる部品形状データを前記
入力されたボディ及び電極の情報から自動的に抽出する
部品形状データ抽出手段と、前記電子部品を撮像する際
に前記選定された部品種に適応する条件で撮像するため
の光学条件を設定する光学条件設定手段と、前記吸着ノ
ズルに保持された電子部品の吸着姿勢を認識する認識装
置と、該認識装置により認識された電子部品の吸着姿勢
に応じて、前記回路基板への実装位置を補正する補正手
段と、を備えたことを特徴とする。
【0038】この電子部品実装装置では、入力手段から
電子部品のボディ及び電極の情報を入力し、この入力さ
れたボディ及び電極の情報に基づいて、認識アルゴリズ
ム選定手段によって特定された電子部品の部品種に適応
する認識アルゴリズムを選定し、選定された認識アルゴ
リズムによる認識処理に必要とされる部品形状データを
部品形状データ抽出手段によりボディ及び電極の情報か
ら自動的に抽出することで部品認識データを作成する。
この部品認識データに基づいて吸着ノズルに保持された
電子部品の吸着姿勢を認識装置により認識し、認識され
た電子部品の吸着姿勢に応じて、補正手段により電子部
品の回路基板への実装位置を補正する。これにより、認
識アルゴリズムによる認識処理に必要となる電子部品の
ボディ及び電極の情報を逐一入力することなく自動的に
入力されるため、認識アルゴリズムの特性を意識するこ
となく、正確且つ迅速に部品認識データを作成すること
が可能となり、電子部品を安定して精度良く回路基板の
所定位置に実装することができる。
【0039】請求項13記載の記録媒体は、電子部品を
撮像した画像データから該電子部品を認識する装置に適
用され前記電子部品の認識条件が記録された部品認識デ
ータを、プログラムされたコンピュータによって作成す
る部品認識データ作成プログラムが記録された記録媒体
であって、認識対象である電子部品のボディの情報と該
電子部品の電極の情報とを入力するステップと、前記電
極を前記ボディ外周の辺毎にグループ化するステップ
と、前記グループ化された電極に対して、各グループ間
で重複する電極及び電子部品の認識に用いない電極を除
外するステップと、前記電子部品に適応する認識アルゴ
リズムを決定するステップと、該決定された認識アルゴ
リズムによる認識処理に必要な部品形状データを、前記
ボディ及び電極の情報から抽出するステップと、前記電
子部品を撮像する際の最適な光学条件を決定するステッ
プとを実行する部品認識データ作成プログラムが記録さ
れた記録媒体である。
【0040】この記録媒体では、電子部品のボディ及び
電極の情報を入力するステップと、電極をグループ化す
るステップと、各グループ間で重複する電極及び電子部
品の認識に用いない電極を除外するステップと、認識ア
ルゴリズムを決定するステップと、決定された認識アル
ゴリズムによる認識処理に必要な部品形状データを抽出
するステップと、電子部品を撮像する際の最適な光学条
件を決定するステップとが実行されるプログラムが記録
されることにより、このプログラムを実行することで、
認識アルゴリズムによる認識処理に必要となる電子部品
のボディ及び電極の情報を逐一入力することなく自動的
に入力でき、認識アルゴリズムの特性を意識することな
く、正確且つ迅速に部品認識データを作成することが可
能となる。
【0041】
【発明の実施の形態】以下、本発明の部品認識データ作
成方法の実施形態について図面を参照して詳細に説明す
る。本発明は、例えば図1に示す電子部品実装装置等に
適用して好適な部品認識データの作成方法であって、電
子部品実装装置を用いて、供給された電子部品を吸着ノ
ズルにより取り出して回路基板上に実装する際に、吸着
ノズルに保持された電子部品の姿勢を認識するときに参
照される電子部品の形状が定義された部品認識データ
を、作業者が容易に入力して設定できるように、この部
品認識データの入力方式を改良したことを特徴としてい
る。
【0042】ここで、図1に本発明に係る部品認識デー
タ作成方法を適用する電子部品実装装置の斜視図、図2
に電子部品実装装置の移載ヘッドの拡大斜視図、図3に
電子部品実装装置の動作を説明するための概略的な平面
図を示した。
【0043】まず、電子部品実装装置100の構成を説
明する。図1に示すように、電子部品実装装置100の
基台10上面中央には、回路基板12のガイドレール1
4が設けられ、このガイドレール14の搬送ベルトによ
って回路基板12は、一端側のローダ部16から電子部
品の実装位置18に、また、実装位置18から他端側の
アンローダ部20に搬送される。回路基板12上方の基
台10上面両側部には、Yテーブル22,24がそれぞ
れ設けられ、これら2つのYテーブル22,24の間に
は、Xテーブル26が懸架されている。また、Xテーブ
ル26には移載ヘッド28が取り付けられており、これ
により移載ヘッド28をX−Y平面内で移動可能にして
いる。
【0044】上記Xテーブル26、Yテーブル22,2
4からなるXYロボット上に搭載され、X−Y平面(水
平面)上を自在移動する移載ヘッド28は、例えば抵抗
チップやチップコンデンサ等の電子部品が供給されるパ
ーツフィーダ30、又はSOPやQFP等のICやコネ
クタ等の比較的大型の電子部品が供給されるパーツトレ
イ32から所望の電子部品を吸着ノズル34により吸着
して、認識装置36により電子部品の吸着姿勢を検出し
た後、回路基板12の所定位置に装着できるように構成
されている。このような電子部品の実装動作は、予め設
定された実装プログラムに基づいて図示しない制御装置
(メインコントローラ)により制御される。なお、制御
装置には操作パネル52によりデータ入力が可能であ
る。
【0045】ここで、実装プログラムとは、電子部品実
装装置100に入力され実装される電子部品の情報を有
するNC情報に対して、実装順序を組み替えて作成した
組み替えデータを、上記XYロボットや移載ヘッドのノ
ズル等を駆動するための命令形態に変換したプログラム
である。この実装プログラムの作成にあたっては、各電
子部品の実装位置等の情報が記録されているNC情報
と、各電子部品の電極形状等の情報が登録されている部
品データとを用いて、作業者からの入力を伴って行なわ
れる。このように作成された実装プログラムを制御装置
により実行することで、電子部品の回路基板への実装が
行われる。
【0046】パーツフィーダ30は、ガイドレール14
の両端部に多数個並設されており、各パーツフィーダに
は、例えば抵抗チップやチップコンデンサ等の電子部品
が収容されたテープ状の部品ロールがそれぞれ取り付け
られている。また、パーツトレイ32は、ガイドレール
14と直交する方向が長尺となるトレイ32aが計2個
載置可能で、各トレイ32aは部品の供給個数に応じて
ガイドレール14側にスライドして、Y方向の部品取り
出し位置を一定位置に保つ構成となっている。このトレ
イ32a上には、QFP等の電子部品が載置される。
【0047】ガイドレール14に位置決めされた回路基
板12の側部には、吸着ノズル34に吸着された電子部
品の二次元的な位置ずれ(吸着姿勢)を検出して、この
位置ずれをキャンセルするように移載ヘッド28側で補
正させるための姿勢認識カメラを備えた認識装置36が
設けられている。認識装置36の内側底部には姿勢認識
カメラが設けられ、この姿勢認識カメラ周囲の筐体内面
には、吸着ノズル34に吸着された電子部品を照明する
ための発光ダイオードLED等の発光素子が多段状に複
数設けられている。これにより、電子部品の実装面に対
して所望の角度(例えば10゜,45゜,80゜)から
光を照射することができ、部品種類に応じて適切な照明
角度で撮像することができる。この照明角度は、部品認
識データによって各電子部品毎に設定される。また、得
られた認識装置36による撮像データは、制御装置によ
り認識処理がなされ、電子部品の中心位置や電極位置等
が認識され、実装位置や角度の補正データに供される。
【0048】移載ヘッド28は、図2に示すように、複
数個(本実施形態では4個)の装着ヘッド(第1装着ヘ
ッド38a,第2装着ヘッド38b,第3装着ヘッド3
8c,第4装着ヘッド38d:部品保持手段)を横並び
に連結した多連式ヘッドとして構成している。4個の装
着ヘッド38a,38b,38c,38dは同一構造で
あって、吸着ノズル34と、吸着ノズルに上下動作を行
わせるためのアクチュエータ40と、吸着ノズル34に
θ回転を行わせるためのモータ42、タイミングベルト
44、プーリ46とを備えている。各装着ヘッドの吸着
ノズル34は交換可能であり、他の吸着ノズルは電子部
品実装装置100の基台10上のノズルストッカ48に
予め収容されている。吸着ノズル34には、例えば1.
0×0.5mm程度の微小チップ部品を吸着するSサイ
ズノズル、18mm角のQFPを吸着するMサイズノズ
ル等があり、装着する電子部品の種類に応じて選定され
て用いられる。
【0049】次に、上記構成の電子部品実装装置100
の動作を説明する。図3に示すように、ガイドレール1
4のローダ部16から搬入された回路基板12が所定の
実装位置18に搬送されると、移載ヘッド28はXYロ
ボットによりXY平面内で移動して。パーツフィーダ3
0又はパーツトレイ32から実装プログラムに基づいて
所望の電子部品を吸着し、認識装置36の姿勢認識カメ
ラ上に移動する。認識装置36は、部品認識データに基
づいて電子部品の吸着姿勢を認識して吸着姿勢の補正動
作を行う。この補正動作としては、X方向及びY方向へ
のずれ量をXYロボットにオフセットとして持たせた
り、回転成分のずれ量を吸着ノズル34をモータ42に
より回転させることによって行う。その後、回路基板1
2の所定位置に電子部品を装着する。
【0050】各装着ヘッド38a,38b,38c,3
8dは、パーツフィーダ30又はパーツトレイ32から
吸着ノズル34により電子部品を吸着するとき、及び、
回路基板12の所定位置に電子部品を装着するとき、吸
着ノズル34をXY平面上から鉛直方向(Z方向)に下
降する。また、電子部品の種類に応じて、吸着ノズルを
適宜交換して装着動作が行われる。上記の電子部品の吸
着、回路基板12への装着動作の繰り返しにより、回路
基板12に対する電子部品の実装が完了する。実装が完
了した回路基板12は実装位置18からアンローダ部2
0へ搬出される一方、新たな回路基板がローダ部16に
搬入され、上記動作が繰り返される。
【0051】次に、上記電子部品実装装置100におけ
る部品認識データに関するデータ処理の流れを図4に示
すブロック図を用いて簡単に説明する。図4に示すよう
に、種々のタイプの電子部品が登録されている部品デー
タ1を参照しつつ、入力手段2(操作パネル52)から
電子部品の形状データを入力し、この入力された電子部
品に最適となる認識アルゴリズムを認識アルゴリズム選
定手段3により認識アルゴリズム4から選定して、この
選定された認識アルゴリズムに必要な部品形状データ
を、部品形状データ抽出手段5によって、入力手段2か
ら入力された形状データから自動的に抽出することで、
部品認識データ6を作成する。作成された部品認識デー
タ6は制御装置7に入力される。また、制御装置7には
吸着ノズル34に吸着された電子部品が撮像された画像
データが認識装置36から入力される。制御装置7は、
入力された画像データを部品認識データ6に指定された
認識アルゴリズムに基づいて電子部品の吸着姿勢を認識
する。この認識結果に応じて、補正手段8としてのXY
ロボット(Xテーブル26、Yテーブル22,24)に
よりX、Y方向のずれ成分(ΔX,ΔY)、及び補正手
段8としての吸着ノズル34により回転ずれ成分(Δ
θ)を補正する。
【0052】なお、部品認識データ6は、電子部品実装
装置100上で作成する以外にも、電子部品実装装置1
00にネットワーク等の通信手段やフロッピー(登録商
標)ディスク等の記録媒体を介して接続される外部コン
ピュータ9上で部品認識データを作成し、この作成され
た部品認識データを電子部品実装装置100に入力する
方式であっても構わない。これによれば、電子部品実装
装置100が稼働中であっても部品認識データ6の作成
作業を行うことができ、作業効率を向上できる。
【0053】次に、吸着ノズル34に吸着された電子部
品を認識装置36により撮像し、この撮像された電子部
品の吸着姿勢を認識させるための部品認識データの作成
手順を詳細に説明する。まず、前提条件として、以下の
表1に示す電子部品の認識アルゴリズムが予め用意され
ていると仮定する。
【0054】
【表1】
【0055】それぞれの認識アルゴリズムは、図5に示
す電子部品の種類に対応してそれぞれ定義されている。
即ち、アルゴリズムA1は図5(a)に示すチップ部品
のような箱型の部品に、アルゴリズムA2は図5(b)
に示すボディ内側に電極が存在する部品に、アルゴリズ
ムA3は図5(c)に示すボディ外側に電極が存在する
部品に、アルゴリズムA4は図5(d)に示す一辺に4
本以上の電極が等間隔に並んでいる部品に、アルゴリズ
ムA5は図5(e)に示す半田ボール電極が格子状に並
んでいる部品に対して、それぞれ好適に適用できるもの
である。
【0056】また、光学系としては、前述の姿勢認識カ
メラとして、10×10mm以下の視野サイズを撮像す
る小視野カメラCAM1と、60×60mm以下の視野
サイズまで撮像できる大視野カメラCAM2を備えると
共に、それぞれ部品の実装側面に対して10゜方向から
照射する照明LED1と、45゜方向から照射する照明
LED2と、80゜方向から照明する照明LED3を備
えているものとする。なお、上記の撮像範囲及び照射角
度は、あくまでも一例として示したもので、撮像対象に
応じて任意に設定することができる。
【0057】これらの前提条件のもと、図6に外観形状
を示した電子部品60の部品認識データを作成する場合
を、図7〜図9に示すフローチャートに基づいて説明す
る。図6に示すように、電子部品60は、ボディ62と
電極64,65,66とから構成されており、この電子
部品60の部品認識データ作成にあたっては、まず、図
7に示すように、電子部品60に対するボディ62及び
電極64,65,66の寸法や形状、色等の部品データ
を入力する(ステップ1、以降はS1と略記する)。こ
の電子部品60の場合、各部分の部品データは以下の表
2に示すようになる。
【0058】
【表2】
【0059】次に、入力された各電極64,65,66
を、電子部品60の左辺62a,上辺62b,右辺62
c,下辺62dの各辺毎にグループ化する(S2)。こ
の電極のグループ化の手順を、図8に示すフローチャー
トを用いて説明する。まず、電子部品60のボディ62
の左辺62a、上辺62b、右辺62c、下辺62dの
中から一つ辺を選定する(S11)。最初に左辺62a
に対してグループ化処理を行うと、ボディ62の中心O
b(0,0)よりもX方向プラス側(選定した辺の反対
側)に中心が位置する電極を除外する(S12)。この
とき、電極66はボディ62の中心ObよりX方向プラ
ス側に位置しているので除外される。
【0060】次に、除外された電極(電極66)以外の
電極(電極64,65)に対して、電極中心Opn(n
は整数で電極の数を表す)が左辺62aに対して近い順
に、即ち、X座標が小さい順に順位付けを行う(S1
3)。すると、電極64,65はX方向の電極中心Op
位置が同じであるため同順となる。さらに、これら順位
付けされた電極(電極64,65)の中で最もX方向の
電極中心Opが小さい電極を抽出すると(S14)、電
極64,65の両方が抽出される。従って、左辺62a
に対するグループ要素として電極64,65が設定され
る。
【0061】上記のS11〜S14のステップを各辺に
対して行う(S15)。まず、上辺62bに対して左辺
62aの場合と同様にグループ化すると、電極64だけ
が抽出される。同様に右辺62cに対しては電極66が
抽出され、下辺62dに対しては電極65が抽出され
る。
【0062】以上の各辺に対して電極を抽出してグルー
プ化した後、各グループ内の不要電極を除外する(S
3)。この不要電極の除外処理の手順を図9のフローチ
ャートに示した。まず、対辺同士で同一の電極がグルー
プ要素として含まれていないかをチェックする(S2
1)。含まれている場合には、その電極を各グループか
ら除外する(S22)。この場合は、左辺62aと右辺
62cのグループ、上辺62bと下辺62dのグループ
に対しては、どの電極も二重にグループ化されていない
のでそのままとなる。
【0063】次に、各辺のうち一つを選定し(S2
3)、この選定された辺のグループが3つより少ない電
極で構成され、かつグループ要素の電極が隣接する他の
辺のグループに含まれているかをチェックする(S2
4)。左辺62aをチェックすると、左辺62aのグル
ープに含まれる電極数は2つであって3つより少ない。
また、電極64は隣接する上辺62bのグループにも含
まれている。従って、左辺62aはS19の条件を満足
している。なお、S19の条件が満足されていない場合
は、選定された辺の処理を終了する。
【0064】次いで、隣接する上辺62bのグループに
含まれる電極数が2つより多いかをチェックする(S2
5)。上辺62bのグループは電極64のみで構成され
ており、電極数は1である。
【0065】この場合は、左辺62a、上辺62bのグ
ループに対して電極の並びの中心がボディ62の中央
(Y=0mm又はX=0mm)に位置しているかをチェ
ックする(S26)。すると、左辺62aは電極64,
65で構成されているので、そのY方向中心は0mmと
なる。一方、上辺62bは電極64のみで構成されてい
るので、そのX方向中心は−2.5mmとなり、ボディ
62の中央に位置していない。そこで上辺62bのグル
ープから電極を除外する。なお、隣接する上辺62bの
グループに含まれる電極数が2つより多い場合は、自方
の左辺62aのグループから電極を除外する(S2
7)。
【0066】また、左辺62aと逆隣の下辺62dに対
してもS24のチェックをすると、左辺62a、下辺6
2dのどちらにも電極65が含まれている。そこで上辺
62bの場合と同様に判定すると、下辺62dのグルー
プから電極65が除外される(S26)。そして、上記
S18〜S22のステップを各辺に対して行う(S2
8)。ここでは、グループ要素に電極が唯一残されてい
る右辺62cに対してチェックすると、右辺62cの電
極66は隣接する上辺62bにも下辺62dにも含まれ
ていないので、S19の条件が満足されず、そのままと
なる。このようにして各電極64,65,66をグルー
プ化すると、表3に示すようになる。
【0067】
【表3】
【0068】左辺62aには電極が2つ存在するが、こ
れらの電極の大きさ、形状、種類は同一である。ここで
は、全ての電極を検出対象とみなすことができ、電子部
品60には検出対象外の電極は存在しないことになる。
【0069】次に、上記電子部品60に適応する部品認
識用のアルゴリズムを決定する(S4)。電極64,6
5,66は全てその形状が四角(平ら)であり、半田ボ
ール電極ではないためアルゴリズムA5は適用できな
い。また、4辺に対するグループを構成する電極数は全
辺がそれぞれ4つ未満なのでアルゴリズムA4も適用で
きない。さらに、電極64,65,66は全て電極種類
が内部電極であるためアルゴリズムA3も適用できな
い。また、内部電極はボディ62と電極64,65,6
6とのコントラストがなければ電極64,65,66を
判別できないので、ボディ62と電極64,65,66
とのコントラストを考えると、電子部品60は、ボディ
62の色が白であり、金属面である電極とのコントラス
トは十分に得ることができず、電極64,65,66を
検出することは困難と考えられる。このためアルゴリズ
ムA2も適用できない。逆に、ボディ62は四角形であ
って撮像時にはボディ62の全面で照明光を反射するた
め、ボディ62が明るく撮像されると予想できる。この
ため、箱型状の部品を認識できるアルゴリズムA1を適
用できると判断できる。
【0070】上記のようにアルゴリズムA1が設定され
たので、次にアルゴリズムA1に必要な部品形状データ
を抽出する(S5)。図5(a)に示されるように、ア
ルゴリズムA1は、部品寸法L1,W1のみが必要とな
る。そこで、ボディ62の寸法より、部品形状データと
して、L1=6mm,W1=6mmが設定される。な
お、この部品形状データは、既に入力された表2に示す
部品データに基づいて自動的に設定される。
【0071】次に、光学条件の設定を行う(S6)。電
子部品60の最大寸法は6mm×6mmであるため、こ
の場合は小視野カメラCAM1を使用できる。また、上
記のように電極を検出しないアルゴリズムA1が選択さ
れているので、ボディ62の形状を検出し易くするため
に照明はできるだけ明るい方が望ましい。このため、照
明LED1,LED2,LED3の全てを使用して照明
光を照射するように設定する。以上のステップにより、
電子部品60に対する部品認識データが作成される。こ
のようにして、回路基板に実装する電子部品の全種類に
対して、部品認識データをそれぞれ作成することで、こ
の部品認識データに基づいて吸着ノズルに保持された電
子部品の吸着姿勢が確実に認識され、この認識された電
子部品の吸着姿勢に応じて、電子部品の回路基板への実
装位置を正確に補正することができる。
【0072】本実施形態の部品認識データ作成方法によ
れば、電子部品のボディ及び電極の情報を入力すること
で、この電子部品に適応する認識アルゴリズムが設定さ
れ、この認識アルゴリズムによる認識処理に必要とされ
る部品形状データが入力されたボディ及び電極の情報か
ら自動的に抽出される。これにより、認識アルゴリズム
による認識処理に必要となる電子部品のボディ及び電極
の情報を逐一入力することなく自動的に入力されるた
め、認識アルゴリズムの特性を意識することなく、正確
且つ迅速に部品認識データを作成することが可能とな
る。
【0073】次に、本発明に係る部品認識データ作成方
法の第2実施形態を説明する。本実施形態は、図10に
外観形状を示した電子部品70に対して部品認識データ
を作成するものである。この電子部品70は、ボディ7
1と、このボディ71の一辺に配列された電極72,7
3〜79,80から構成されており、この電子部品70
に対する部品認識データ作成にあたっては、前述の図7
〜図9に示す第1実施形態と同様な手順で行うことがで
きる。まず、電子部品70に対するボディ71、電極7
2,73〜79,80の寸法や形状、色等の部品データ
を入力する(S1)。この電子部品70の場合、各部分
の部品データは、以下の表4に示すようになる。
【0074】
【表4】
【0075】次に、入力された各電極72,73〜7
9,80を電子部品70の左辺71a、上辺71b、右
辺71c、下辺71dの各辺毎にグループ化する(S
2)。このグループ化の方法を第1実施形態の場合と同
様に図8を用いて以下に説明する。まず、電子部品70
のボディ71の上記各辺の中から一つ辺を選定する(S
11)。最初に左辺71aに対してグループ化処理を行
うと、ボディ71の中心Ob(0,0)よりもX方向プ
ラス側(選定した辺の反対側)に中心が位置する電極を
除外する(S12)。このとき、電極76〜79、80
はボディ71の中心ObよりX方向プラス側に位置して
いるので除外される。
【0076】次に、除外された電極(電極76〜79,
80)以外の電極(電極72,73〜75)に対して、
電極中心Xpnが左辺71aに対して近い順に、即ち、
X座標が小さい順に順位付けを行う(S13)。する
と、電極72,73,74,75という順になる。これ
ら順位付けされた電極の中で最もX方向の電極中心Xp
が小さい電極を抽出すると(S14)、電極72のみが
抽出される。従って、左辺71aに対するグループ要素
として電極72が設定される。上記のS11〜S14の
ステップを各辺に対して行う(S15)。まず、上辺7
1bを左辺71aの場合と同様にグループ化すると、電
極72,73〜79,80が抽出される。同様に右辺7
1cに対しては電極80が抽出され、下辺71dに対し
ては抽出されない。
【0077】次に、各グループ内の不要電極を除外する
(S3)。図9に示すように、まず、対辺同士で同一の
電極がグループ要素として含まれていないかをチェック
すると(S21)、どの辺も該当しないのでこのままと
なる。
【0078】次に、各辺のうち一つを選定し(S2
3)、この選定された辺のグループが3つより少ない電
極で構成され、かつグループ要素の電極が隣接する他の
辺のグループに含まれているかをチェックする(S2
4)。まず、左辺71aをチェックすると、電極72は
隣接する上辺71bのグループにも含まれている。隣接
する上辺71bは9つの電極から構成されているので、
左辺71aのグループから電極72を除外する。次に、
電極が3つより少ない辺は右辺71cがある。左辺71
aの場合と同様に判定すると、右辺71cのグループか
ら電極80が除外となる。このようにしてグループ化し
た後に、不要電極を除外した結果は表5に示すようにな
る。
【0079】
【表5】
【0080】ところが、上辺71bのグループには電極
が9つ存在するが、電極72,80と電極73〜79と
は、大きさ及び配列間隔が異なっている。そのため、両
外側に位置する電極72,80を認識対象から除外す
る。そして、さらに他の辺に対しても、前述の方法と同
様にしてグループ化すると、その結果は表6に示すよう
になる。
【0081】
【表6】
【0082】次に、適応するアルゴリズムを設定する
(S3)。この電子部品70に対しては、上辺71bの
グループが7つの電極73〜79から構成され、すべて
形状が四角(平ら)であるから、アルゴリズムA4が適
用できる。ここで、アルゴリズムA4が設定されたの
で、アルゴリズムA4に必要な部品形状データを抽出す
る(S4)。図5(d)に示すように、アルゴリズムA
4は、部品寸法L1,W1,Lt,Wt,h1,Pt,
Nr,Nl,Nu,Ndが必要である。そこで、上記部
品寸法を、ボディ71、電極73〜79の部品データか
ら抽出することにより、表7に示す値に設定する。
【0083】
【表7】
【0084】次に、光学条件の設定を行う(S5)。電
子部品70の最大寸法は17.0mm×6.0mmであ
るため、大視野カメラCAM2を使用できる。また、上
記のように電極を検出するアルゴリズムA4が選択され
ており、また、電極の形状が平らであるため、照明は電
子部品70の実装面から45゜の角度で照射する照明L
ED2を使用するように設定する。
【0085】以上のステップにより、電子部品70に対
する部品認識データが作成される。このように、本実施
形態の部品認識データ作成方法によっても、第1実施形
態と同様な効果を得ることができる。
【0086】次に、本発明に係る部品認識データ作成方
法の第3実施形態を説明する。本実施形態は、入力され
たデータに基づいて例えば図10に示す電子部品の形状
を作図しながら部品認識データを作成するものである。
ここで、図11は部品認識データの作成手順を示すフロ
ーチャートであり、図12は電子部品70の部品認識デ
ータを作図しながら作成する様子を示す図である。
【0087】作図方法としては種々の形態があり、例え
ば線画を組み合わせて電子部品の形状を表示する場合
や、サンプルの形状を選択して、大きさ、位置等のパラ
メータを変化させることで表示する場合等がある。これ
らの形態は任意に設定することができるが、本実施形態
においては、入力をより簡略に且つ正確に行うため、必
要最小限の大きさ、位置、形状、色等のデータを入力し
て自動的に電子部品の図形を表示させる形態としてい
る。
【0088】本実施形態の部品認識データ作成方法を図
11に基づいて説明する。まず、ボディ71の作図を行
うために、寸法、形状、色のデータを表8に示すように
入力する(S31)。
【0089】
【表8】
【0090】なお、形状、色は予め用意された候補から
の選択方式とすることで、入力を簡略化できる。これら
の入力に従って、図12(a)に示すようにモニタ等の
表示手段による表示画面上の作図領域85にボディ71
を作図して表示させる(S32)。次に、電極72〜7
9の作図を行う。電子部品70は電極72,80と電極
73〜79の2種類の電極から構成されており、最初に
電極73〜79の入力から行う(S33)。この入力方
法としては、個々の電極を一つずつ入力することも可能
であるが、同一間隔の電極を一括して入力することもで
きる。本実施形態の場合は、表9に示す部品データを入
力することで電極を一括して入力している。
【0091】
【表9】
【0092】即ち、表9に示す電極間隔と電極個数が含
まれる部品データから個々の電極の中心位置を計算し、
図12(b)に示すように作図領域85にまとめて電極
73〜79の図形を表示する(S34)。なお、電極の
データ入力は、電極個数の代わりに電極の両端の電極中
心間距離9mmを入力して、電極間隔と中心間距離によ
って行うことも可能である。同様にして、電極72,8
0の入力も表9に示すようにできる。
【0093】
【表10】
【0094】即ち、表9に示す電極間隔と電極個数が含
まれる部品データを入力し、図12(c)に示すように
作図領域85に電極72,80の図形を作図する。
【0095】これにより、全てのデータ入力及び作図が
完了したので(S35)、続いて、その位置関係が正し
いかを判定する(S36)。即ち、電極72〜80の図
形は全て外部電極であるため、これらの電極中心はボデ
ィ71の図形の外部になければならない。電極中心のY
座標は全て−3.0mmであり、ボディ71の端は、ボ
ディ中心が0mmでY方向寸法が4mmであることから
−2.0mmとなる。このため、各電極72〜80はボ
ディ71の図形の外部にあると判断できる。よって入力
された部品データは正しいと判断し、データ入力を完了
する。
【0096】本実施形態の部品認識データ作成方法によ
れば、入力されたボディの情報からボディ形状を作図
し、入力された電極の情報から電極形状を作図すること
で、作図されたボディ及び電極の位置関係等が正しいか
を視覚的に確認して判定することができる。これによ
り、数値データだけから判定する場合と比較して、瞬時
にして確認が行えるようになり、簡単にして迅速に入力
した情報の正誤を確認することができる。
【0097】次に、本発明に係る部品認識データ作成方
法の第4実施形態を説明する。本実施形態においては、
部品認識データを、電子部品を撮像した画像データから
抽出することで作成する。ここで、図13は部品認識デ
ータの作成手順を示すフローチャートであり、図14は
電子部品70の部品認識データを撮像する様子を概念的
に示す図で、図15は、撮像した画像データから部品認
識データを抽出する様子を示す図である。なお、ここで
は、図10に示す電子部品を一例として用いて説明す
る。
【0098】以下、本実施形態の部品認識データ作成方
法を図13に基づいて説明するまず、図14に示すよう
に、電子部品70を撮像装置88により撮像し、画像デ
ータ89を得る(S41)。撮像装置88は、電子部品
実装装置100の認識装置36で実際に電子部品の認識
を行う姿勢認識カメラと共用することが望ましいが、撮
像装置88の撮像倍率を正しく把握することができれ
ば、これに限らず一般的なデジタルカメラやスキャナ等
であってもよい。
【0099】次に、図15(a)に示すように、画像デ
ータ89の電子部品70のボディ71に相当する領域を
入力手段2からの入力操作によりウィンドウ90を設け
ることで設定する(S42)。そして、設定されたウィ
ンドウ90近辺の明るさ(画素濃度)の変化する位置か
ら正確なボディ71のエッジを検出し、検出されたエッ
ジ情報からボディ71の形状、ボディ71の中心位置等
のボディ情報を抽出する(S43)。ボディ71の中心
位置は、データの都合上(0,0)に設定しているた
め、ここで得られる中心位置は、以下に示す電極の中心
位置の計算に用いられるオフセット値となる。また、撮
像装置88がカラー画像の撮像が可能であれば、エッジ
内部の領域からボディ71の色データを抽出することが
可能である。なお、撮像装置が白黒の画像入力がしかで
きない場合は、色情報に代えて明るさ(濃度)情報を抽
出することで代用できる。
【0100】次に、図15(b)に示すように電極72
に相当する領域をウィンドウ92で指示する(S4
4)。そして、指示されたウィンドウ92の近辺の明る
さが変化する位置から正確な電極72のエッジを検出
し、検出されたエッジ情報から電極72の形状、電極中
心位置等の電極情報を抽出する(S45)。電極中心位
置は、上記のボディ71中心から得られたオフセット値
を用いて計算する。さらに、ボディ71との位置関係か
ら電極72が内部電極型か外部電極型かを判断できるた
め、電極72の種類も抽出可能である。図示した例の場
合、電極72はボディの外側に位置するので外部電極と
判断できる。また、ウィンドウ92の内部領域から色又
は濃度のデータを抽出できる。以下同様にして電極73
〜80に対しても部品認識データの抽出を行い(S4
6)、データ入力を完了する。
【0101】なお、画像データから電子部品のデータを
作成する本実施形態の部品認識データ作成方法において
は、ボディ71や電極72〜80を入力手段2から手入
力しているが、ボディ71や電極72〜80の画像がそ
の背景と比較して十分なコントラストが得られる場合に
は、画像データから候補となるボディ領域及び電極領域
を自動的に抽出することが容易に可能となる。これによ
れば、作業者の負担を軽減してより簡単に部品認識デー
タを作成することができる。
【0102】部品データに登録されていない電子部品を
実装する際には、まず、その電子部品に対する部品デー
タを作成する必要があり、従来は、その部品データを逐
一入力していた。このため、その入力作業には細部にわ
たって入力項目を熟知していないと入力に多くの時間を
費やすことになる。ところが、本実施形態の部品認識デ
ータの作成方法によれば、単に、入力しようとする電子
部品を撮像することにより、部品認識データが自動的に
作成されるため、データ入力に熟練を要することなく、
簡単にいち早く部品認識データを得ることができる。
【0103】このように、本実施形態の部品認識データ
作成方法によれば、電子部品を撮像して得られた画像デ
ータに対して、電子部品のボディ部分に相当する領域と
電極部分に相当する領域を指定することで、ボディ領域
と電極領域部分の画像データからボディ及び電極の情報
を取得することにより、ボディの寸法、色或いは濃度等
の部品形状データ、及び電極の寸法、個数、配列ピッチ
等の部品形状データの情報を自動的に抽出することがで
き、各データを逐一入力する必要がなくなるため、部品
認識データの作成をより簡略化できる。
【0104】ここで、上記部品認識データの作成にあた
ってのデータ入力は、電子部品実装装置100の操作パ
ネル52から制御装置に直接入力することもできるが、
電子部品実装装置100外部のコンピュータにより部品
認識データを作成して、記録媒体や電気的接続を介して
電子部品実装装置100に入力することもできる。
【0105】以上説明した本発明に係る部品認識データ
作成方法は、図1〜図3に示す電子部品実装装置100
のように、複数個の装着ヘッドを連結した多連式ヘッド
を備えた構成に適用することに限らず、高速実装可能な
ロータリー式ヘッドを備えた構成に適用してもよい。
【0106】ここで、図16にロータリー式ヘッドを備
えた電子部品装着装置全体の外観を、図17にこの電子
部品装着装置の部品装着機構の概略構成を示した。図1
6に示すように、この電子部品装着装置200は主に、
電子部品を供給する部品供給部201と、部品供給部2
01の所定の部品供給位置で電子部品を吸着して回路基
板に装着するロータリーヘッド203と、回路基板を位
置決めするXYテーブル205と、吸着された電子部品
の吸着姿勢を認識する認識装置206とを有し、ローダ
部207から供給された回路基板をXYテーブル205
上に載置して、ロータリーヘッド203により電子部品
の装着を行った後、認識装置206により吸着姿勢を認
識して、認識された吸着姿勢に応じて実装位置の補正を
行いつつ部品装着し、部品装着を完了した回路基板をX
−Yテーブル205上からアンローダ部209に搬出す
るものである。
【0107】部品供給部201は、図17に示すよう
に、多数の電子部品を収容した複数の部品供給ユニット
211が紙面垂直方向に並列して配置され、その並列方
向に移動することで所定の部品供給位置に所望の電子部
品を供給する。XYテーブル205は、ローダ部207
とアンローダ部209との間に移動可能に設けられ、ロ
ーダ部207の基板搬送路に接続される位置に移動して
部品装着前の回路基板を受け取り、回路基板を固定して
ロータリーヘッド203の部品装着位置に移動する。そ
して、各電子部品の装着位置に応じた回路基板の移動を
繰り返し、部品装着を完了するとアンローダ部209に
接続される位置まで移動し、回路基板をアンローダ部2
09へ送り出す。
【0108】ロータリーヘッド203は、電子部品を吸
着する複数の装着ヘッド213と、装着ヘッド213を
上下動可能に周面で支持して回転駆動される回転枠体2
15と、回転枠体215をインデックス回転駆動する図
示しない間欠回転駆動装置を備えている。
【0109】装着ヘッド213は、回転枠体215の回
転により部品供給部201の部品供給位置からその反対
側の部品装着位置までを連続的に回転移動し、部品供給
部201の部品供給位置で下降動作することで電子部品
を吸着し、部品認識装置206のある部品認識位置で電
子部品の吸着姿勢を認識し、ロータリーヘッド203の
部品装着位置で下降動作することで電子部品を回路基板
上に装着する。このようなロータリー式ヘッドを備えた
電子部品実装装置200に対しても、上記各実施形態の
部品認識データ作成方法を適用することができ、同様な
効果を得ることができる。
【0110】また、本発明の部品認識データ作成方法
は、電子部品実装装置の吸着部品に対する部品認識デー
タ作成に限らず、例えば、電子部品の半田付け検査装置
の検査プログラム作成のための部品データの作成に適用
できる他、電子部品を認識する必要のある種々の装置に
対して好適に適用することができる。
【0111】
【実施例】次に、図6に示す電子部品60及び図10に
示す電子部品70に対して、プログラムされたコンピュ
ータを用いて部品認識データを作成する過程を、図18
〜図47に示すモニタへの表示画面を用いて説明する。
まず、図6に示す電子部品60の部品認識データを作成
する過程を説明する。図18に示すように、ボディの入
力ステップにおいて、ボディ形状、ボディ色、ボディ寸
法(横、縦)を入力する。すると、画面右側にはボディ
62の外観が入力データに基づいて表示される。次に、
図19に示すように電極の入力ステップに移り、最初に
電極64の新規追加のため「追加」ボタンをクリックす
る。すると、図20に示す合計9つの電極パターンが表
示され、ここで入力する電極がどのタイプかを選定す
る。この電子部品60の場合は装着面に電極が存在する
ので、「装着面型」を選択する。
【0112】次いで、図21に示すように電極先端の断
面形状を入力する。電極形状は断面矩形状の「平面型」
と、断面が円形状の「湾曲面型」があり、ここでは「平
面型」を選択する。そして、図22に示すように電極寸
法を入力する。電極64の寸法は横1.0mm、縦1.
2mmであるため、これらの数値を入力する。ここで、
電極の追加は1個のみ追加と、複数個(横並び、縦並
び、格子配列)追加とが選択自由である。そのため、電
極64と電極65とが同一形状であることから「複数個
(縦並び)追加」を選択して同時に入力する。
【0113】すると、図23に示すように電極の間隔を
入力する画面が表示される。ここでは、電極の並びの距
離又は電極個数のいずれかと、電極間距離とを入力す
る。この場合は、電極の個数を2個、電極間距離を3.
0mmとして入力を行っている。この入力データに基づ
いて、図24に示すように画面右側には2つの電極6
4,65が表示される。そして、これらの2つの電極の
中心位置をX=−2.5mm、Y=0mmに設定して、
電極64,65をGroup 001として登録する。
【0114】次に、図24に示す「追加」を選択して電
極66の入力を行う。図25に示すように電極寸法
(横、縦)を入力した後、「1個のみ(単体)追加」を
選択する。すると、図26に示すように、Group 001の
登録電極と共に、新たに電極66が表示される。表示さ
れた電極66の位置をX=2.4mm、Y=0mmに設
定して、電極66をLead 001として登録する。その結
果、図27に示すように、電子部品60の各部品寸法が
自動的に設定されて表示される。このとき、図7に示す
グループ化S2及び不要電極の除外S3の処理が自動的
に行われる。
【0115】ここで、図28に示すように電子部品60
の全リードに対して表示を行うと、図面右側に示される
ように電極64,65,66がボディ62の内部位置に
表示される。この画面では、部品中心計算に使用する電
極、即ち、部品認識に用いる電極を指定することができ
る。この部品の場合は、全ての電極64,65,66を
使用して認識するため、全ての電極64,65,66が
白枠で囲まれて表示されている。
【0116】また、図29に示すように左辺グループに
対して表示させると、電極64,65が表示され、左辺
グループに電極64,65が含まれていることが示され
る。同様に、図30に示すように右辺グループに対して
表示させると、電極66が表示され、図31、図32に
示すように、上辺、下辺グループに対して表示させる
と、これらのグループには電極が含まれないため、画面
には電極は何も表示されない。
【0117】次に、図33に示すように認識アルゴリズ
ムの決定(S4)が自動的になされて、決定された認識
アルゴリズムが表示される。この場合は、箱形(前述の
アルゴリズムA1)の認識アルゴリズムが設定されてい
る。
【0118】続いて、部品形状データの抽出(S5)が
行われた後、光学条件の設定(S6)が行われる。図3
4に示すように、電子部品実装装置100に備えられた
2次元センサとしての大視野カメラ、小視野カメラのう
ち、大視野カメラが設定される。このカメラの種類は、
電子部品60のサイズによって自動的に選定される。
【0119】次に、照明条件を設定する。照明には、上
段照明、中段照明、下段照明の3種類の照明が個別に設
定できる。まず、図35に上段照明の設定画面を示し
た。上段照明とは、電子部品の実装面に対して略横方向
から浅い照射角度で照明光を照射するもので、ここでは
照射角度が約14゜となる位置から照射している。ま
た、光量は0〜3までの4段階に切り替え可能になって
いる。なお、ここでは各段階毎に「断面がフラットな場
合」や「断面が湾曲している場合」等の適用して好適と
なる照明対象を併せて表示することや、照明角度を図示
して説明することにより、作業者に対して入力内容の意
味を明確に理解させることができると共に、光量の設定
を経験則を要することなく簡単に行えるようにでき、入
力ミスや不正データの入力の発生を極力防止できる。
【0120】また、図36は中段照明の設定画面を示し
ている。中段照明は、電子部品の実装面に対して照射角
度が上段照明と下段照明との中間の角度で照明光を照射
するもので、ここでは照射角度が約45゜となる位置か
ら照射している。その光量は0〜7までの8段階に設定
可能になっている。ここで、「通常4を指定して下さ
い」等と表示することにより、設定すべき光量が不明な
場合にどの程度の光量を設定すればよいかを明示した
り、「種別105の場合は0にして下さい」等と表示す
ることにより、特定の場合に特定の段階に設定すること
を指示している。これにより、作業者が入力内容につい
て悩むことがなくなり、円滑な入力が可能になる。
【0121】さらに、図37は下段照明の設定画面を示
している。下段照明は、電子部品の実装面に対して略垂
直方向から照明光を照射するもので、ここでは照明角度
が約80゜となる位置から照射している。ここで、「ボ
ディが暗いときはより強く点灯してください」等と表示
することにより、設定した光量でうまくいかなかった場
合に、どのように対処するかを明示するこができ、これ
により、作業者に修正の方向を指示することができ、良
好な状態にいち早く設定することが可能になる。
【0122】上記の光学条件の設定を行うと、図38に
示すような光学条件の確認用画面が表示される。設定内
容を変更する場合は、適宜、前述の設定画面に戻ること
で入力をやり直すことができる。入力した設定内容でよ
い場合は「完了」をクリックして終了する。以上の設定
操作によって部品認識データの作成が完了する。この入
力方法により部品認識データを作成することで、作成に
要する時間が大幅に短縮できると共に、作業者の負担が
軽減され、入力に迷うことなく、円滑にデータ入力が行
えた。
【0123】次に、図10に示す電子部品70の部品認
識データを作成する過程を説明する。ここでは、上記の
電子部品60に対する部品認識データの作成過程と同様
な設定画面は省略して説明する。まず、図39に示すよ
うに、ボディの入力ステップにおいて、ボディ形状、ボ
ディ色、ボディ寸法(横、縦)を入力すると、画面右側
にボディ71の外観が入力データに基づいて表示され
る。次に、電極の入力ステップに移り、電極73〜79
を位置を合わせて入力する。その結果を図40に示す。
そして、図41に示すように電極72を追加し、次いで
図42に示すように電極80を追加して入力する。
【0124】上記入力の完了後、グループ化して全リー
ドを表示させると図43に示すようになる。即ち、ボデ
ィ71の上辺に電極72,73〜79,80が配列され
て表示される。ここで、電極72,80を部品認識に使
用しない電極として設定してグループ化する。すると、
上辺のグループは、図44に示すように電極72,80
が削除されて電極73〜79だけとなる。電極の入力を
完了すると、図45に示すように、部品寸法、リード外
径、リード本数、電極寸法の部品形状データが自動的に
設定される。
【0125】そして、入力された部品の形状データに基
づいて、この電子部品70に適切な認識アルゴリズムが
図46に示すように「リード型」と設定される。更に、
光学条件の設定を行うことで、図47に示すような光学
条件の確認用画面が表示される。表示された条件でよけ
れば「完了」をクリックして終了する。以上の設定操作
によって部品認識データの作成が完了する。この入力方
法により部品認識データを作成することで、作成に要す
る時間が大幅に短縮できると共に、作業者の負担が軽減
され、入力に迷うことなく、円滑にデータ入力が行え
た。
【0126】
【発明の効果】本発明の部品認識データ作成方法及び作
成装置によれば、認識アルゴリズムによる認識処理に必
要となる電子部品のボディ及び電極の情報を逐一入力す
ることなく自動的に入力されるため、認識アルゴリズム
の特性を意識することなく、正確且つ迅速に部品認識デ
ータを作成することが可能となる。また、視覚的に確認
しながらデータを入力することで、瞬時にして確認が行
えるようになり、簡単にして迅速に入力した情報の正誤
を確認することができる。さらに、電子部品を撮像して
得られた画像データから、電子部品のボディ部分に相当
する領域と電極部分に相当する領域からボディ及び電極
の情報を抽出することにより、各データを逐一入力する
必要がなくなるため、部品認識データの作成をより簡略
化できる。
【0127】また、本発明の電子部品実装装置によれ
ば、作成された部品認識データに基づいて吸着ノズルに
保持された電子部品の吸着姿勢を認識装置により認識
し、認識された電子部品の吸着姿勢に応じて、補正手段
により電子部品の回路基板への実装位置を補正すること
により、電子部品を安定して精度良く回路基板の所定位
置に実装することができる。
【0128】また、本発明の記録媒体によれば、記録さ
れたプログラムを実行することで、認識アルゴリズムに
よる認識処理に必要となる電子部品のボディ及び電極の
情報を逐一入力することなく自動的に入力でき、認識ア
ルゴリズムの特性を意識することなく、正確且つ迅速に
部品認識データを作成することが可能となる。
【図面の簡単な説明】
【図1】本発明に係る部品認識データ作成方法を適用す
る電子部品実装装置の斜視図である。
【図2】電子部品実装装置の移載ヘッドの拡大斜視図で
ある。
【図3】電子部品実装装置の動作を説明するための概略
的な平面図である。
【図4】電子部品実装装置における部品認識データに関
するデータ処理の流れを示すブロック図である。
【図5】各認識アルゴリズムが適応する電子部品の種類
を示す図である。
【図6】電子部品の外観形状を示す図である。
【図7】電子部品の部品認識データ作成の手順を示すフ
ローチャートである。
【図8】電極のグループ化の手順を示すフローチャート
である。
【図9】不要電極の除外処理の手順を示すフローチャー
トである。
【図10】電子部品の外観形状を示す図である。
【図11】部品認識データの作成手順を示すフローチャ
ートである。
【図12】電子部品の部品認識データを作図しながら作
成する様子を示す図である。
【図13】部品認識データの作成手順を示すフローチャ
ートである。
【図14】電子部品の部品認識データを撮像する様子を
概念的に示す図である。
【図15】撮像した画像データから部品認識データを抽
出する様子を示す図である。
【図16】ロータリー式ヘッドを備えた電子部品装着装
置全体の外観を示す図である。
【図17】図16に示す電子部品装着装置の部品装着機
構の概略構成を示す図である。
【図18】ボディの入力ステップにおけるボディ形状、
ボディ色、ボディ寸法(横、縦)を入力する表示画面を
示す図である。
【図19】電極の入力ステップにおける電極を追加する
ときの表示画面を示す図である。
【図20】合計9つの電極パターンが表示された表示画
面を示す図である。
【図21】電極先端の断面形状を入力するときの表示画
面を示す図である。
【図22】電極寸法を入力するときの表示画面を示す図
である。
【図23】電極の間隔を入力するときの表示画面を示す
図である。
【図24】入力された電極が表示された様子を示す図で
ある。
【図25】電極を追加入力するときの表示画面を示す図
である。
【図26】追加された電極が表示された様子を示す図で
ある。
【図27】電子部品の各部品寸法が自動的に設定されて
表示された様子を示す図である。
【図28】全リードを表示した様子を示す図である。
【図29】左辺グループの電極を表示した様子を示す図
である。
【図30】右辺グループの電極を表示した様子を示す図
である。
【図31】上辺グループの電極を表示した様子を示す図
である。
【図32】下辺グループの電極を表示した様子を示す図
である。
【図33】認識アルゴリズムが自動的に決定されたとき
の認識アルゴリズム名が表示された様子を示す図であ
る。
【図34】光学条件の設定を行うときの表示画面を示す
図である。
【図35】上段照明の設定画面を示す図である。
【図36】中段照明の設定画面を示す図である。
【図37】下段照明の設定画面を示す図である。
【図38】光学条件の確認用画面を示す図である。
【図39】ボディの入力ステップにおけるボディ形状、
ボディ色、ボディ寸法(横、縦)を入力するときの表示
画面を示す図である。
【図40】電極の入力ステップにおける電極の入力する
ときの表示画面を示す図である。
【図41】電極を追加した様子を示す図である。
【図42】他の電極を追加した様子を示す図である。
【図43】全リードを表示した様子を示す図である。
【図44】上辺グループの電極を表示した様子を示す図
である。
【図45】部品寸法、リード外径、リード本数、電極寸
法の各データが自動的に設定された様子を示す図であ
る。
【図46】認識アルゴリズムが自動的に決定されたとき
の認識アルゴリズム名が表示された様子を示す図であ
る。
【図47】光学条件の確認用画面を示す図である。
【図48】角形チップ部品の外観形状を示す図である。
【図49】QFP部品の外観形状を示す図である。
【図50】コネクタ部品の外観形状を示す図である。
【図51】従来の電子部品の入力画面を示す図である。
【図52】他のコネクタ部品に対する外観形状を示す図
である。
【符号の説明】
1 部品データ 2 入力手段 3 認識アルゴリズム選定手段 4 認識アルゴリズム 5 部品形状データ抽出手段 6 部品認識データ 7 制御装置 8 補正手段 12 回路基板 28 移載ヘッド 34 吸着ノズル 36 認識装置 38a〜38d 装着ヘッド 40 アクチュエータ 42 モータ 44 タイミングベルト 52 操作パネル 60,70 電子部品 62,71 ボディ 62a,71a 左辺 62b,71b 上辺 62c,71c 右辺 62d,71d 下辺 64,65,66,72,73,74,75,76,7
7,78,79,80電極 85 作図領域 88 撮像装置 89 画像データ 90,92 ウィンドウ 100,200 電子部品実装装置 213 装着ヘッド A1,A2,A3,A4,A5 認識アルゴリズム CAM1 小視野カメラ CAM2 大視野カメラ Cn カメラ番号 LED1〜3 照明 L1,W1,Lt,Wt,h1,Pt,Nr,Nl,N
u,Nd 部品寸法 Nu,Nd,Nl,Nr 電極数 Wt リード外形 Ob ボディ中心 Op(Opn) 電極中心 Pt 電極間隔 h1 電極幅
───────────────────────────────────────────────────── フロントページの続き (72)発明者 秦 純一 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 蜂谷 栄一 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 梁池 征志郎 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Fターム(参考) 2F065 AA03 AA07 AA16 AA37 AA52 AA61 BB05 CC25 DD06 FF01 FF04 FF61 GG07 HH14 JJ03 JJ09 JJ26 MM02 PP12 QQ31 QQ36 RR05 SS04 UU05 2G051 AA65 AB14 BA01 CA04 DA07 EA12 EA14 EB09 5B047 AA12 AB02 BB04 BC12 BC14 CA19 CB22 5B057 AA03 BA02 DA12 DA17 DB02 DB09 DC08 DC09 5L096 AA06 BA03 CA02 FA67 FA70 HA13 JA11

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 電子部品を撮像した画像データから該電
    子部品を認識する装置に適用され前記電子部品の認識条
    件が記録された部品認識データを作成する部品認識デー
    タ作成方法であって、 前記電子部品のボディ及び電極の情報を入力すること
    で、該電子部品の部品種を特定し、該特定された部品種
    に適応する認識アルゴリズムを選定し、該認識アルゴリ
    ズムによる認識処理に必要とされる部品形状データを前
    記ボディ及び電極の情報から自動的に抽出することを特
    徴とする部品認識データ作成方法。
  2. 【請求項2】 前記電子部品を前記選定された部品種に
    適応する最適な条件で撮像する光学条件を入力すること
    を特徴とする請求項1記載の部品認識データ作成方法。
  3. 【請求項3】 認識対象である電子部品のボディの情報
    と該電子部品の電極の情報とを入力するボディ・電極デ
    ータ入力ステップと、 前記電極を前記ボディ外周の辺毎にグループ化するグル
    ープ化ステップと、 前記グループ化された電極に対して、各グループ間で重
    複する電極及び電子部品の認識に用いない電極を除外す
    る不要電極の除外ステップと、 前記電子部品に適応する認識アルゴリズムを決定する認
    識アルゴリズムの決定ステップと、 決定された認識アルゴリズムによる認識処理に必要な部
    品形状データを、前記ボディ及び電極の情報から自動的
    に抽出する部品形状データ抽出ステップと、 前記電子部品を撮像する際の最適な光学条件を決定する
    光学条件決定ステップとを有することを特徴とする請求
    項2記載の部品認識データ作成方法。
  4. 【請求項4】 前記入力されたボディの情報からボディ
    形状を作図するステップと、 前記入力された電極の情報から電極形状を作図するステ
    ップと、 作図されたボディ及び電極の位置関係が正しいかを判定
    する電極位置の判定ステップと有し、 前記ボディ及び電極の情報を視覚的に確認することを特
    徴とする請求項1〜請求項3のいずれか1項記載の部品
    認識データ作成方法。
  5. 【請求項5】 前記電子部品を撮像するステップと、 前記撮像された電子部品の画像データに対してボディ部
    分に相当する領域を指定するボディ領域指定ステップ
    と、 前記画像データに対して電極部分に相当する領域を指定
    する電極領域指定ステップと、 前記指定されたボディ領域からボディの情報を取得し、
    前記指定された電極領域から電極の情報を取得する情報
    抽出ステップと、 前記情報抽出ステップにより取得された情報を用いて部
    品認識データを作成することを特徴とする請求項1又は
    請求項2記載の部品認識データ作成方法。
  6. 【請求項6】 前記グループ化ステップは、 前記電子部品のボディの左辺・上辺・右辺・下辺の各辺
    に対し、選定した辺の反対側に存在する電極を該選定し
    た辺のグループから除外するステップと、 前記選定した辺のグループに対して前記電極の中心が前
    記選定した辺に近い順に順位付けを行うステップと、 前記選定した辺に最も近い電極を抽出するステップと、
    を有することを特徴とする請求項3〜請求項5のいずれ
    か1項記載の部品認識データ作成方法。
  7. 【請求項7】 前記不要電極の除外ステップは、 対面する辺のグループ同士で同一の電極が存在するとき
    に、両辺のグループから前記同一の電極を除外するステ
    ップと、 前記選定した辺のグループの電極数が3より少なく、且
    つ、電極が隣接辺のグループに含まれている場合、該隣
    接辺のグループの電極数が2より多いときに前記選定し
    た辺のグループから電極を全て除外し、2以下のときに
    電極の並びの中心が前記ボディの中央にない方の辺のグ
    ループから電極を全て除外する重複電極の除外ステップ
    と、を有することを特徴とする請求項3〜請求項6のい
    ずれか1項記載の部品認識データ作成方法。
  8. 【請求項8】 電子部品を撮像した画像データから該電
    子部品を認識する際に用いられ前記電子部品の認識条件
    が記録された部品認識データを作成する部品認識データ
    作成装置であって、 前記電子部品のボディ及び電極の情報を入力する入力手
    段と、 前記入力されたボディ及び電極の情報に基づいて電子部
    品の部品種を特定し、該特定された部品種に適応する認
    識アルゴリズムを選定する認識アルゴリズム選定手段
    と、 前記選定された認識アルゴリズムによる認識処理に必要
    とされる部品形状データを前記入力されたボディ及び電
    極の情報から自動的に抽出する部品形状データ抽出手段
    とを備えたことを特徴とする部品認識データ作成装置。
  9. 【請求項9】 前記電子部品を前記選定された部品種に
    適応する最適な条件で撮像する光学条件を設定する光学
    条件設定手段を備えたことを特徴とする請求項8記載の
    部品認識データ作成装置。
  10. 【請求項10】 前記入力手段から入力された前記電子
    部品のボディ及び電極の情報を画面表示する表示手段を
    備えたことを特徴とする請求項8又は請求項9記載の部
    品認識データ作成装置。
  11. 【請求項11】 前記入力手段は、電子部品を撮像した
    画像データから前記電子部品のボディ及び電極の情報を
    抽出して入力することを特徴とする請求項8〜請求項1
    0のいずれか1項記載の部品認識データ作成装置。
  12. 【請求項12】 電子部品を脱着自在に保持する吸着ノ
    ズルを備えた部品保持手段により、入力されたNC情報
    に基づいて回路基板の所定位置に前記電子部品を順次装
    着する電子部品実装装置において、 前記電子部品のボディ及び電極の情報を入力する入力手
    段と、 前記入力されたボディ及び電極の情報に基づいて電子部
    品の部品種を特定し、該特定された部品種に適応する認
    識アルゴリズムを選定する認識アルゴリズム選定手段
    と、 前記選定された認識アルゴリズムによる認識処理に必要
    とされる部品形状データを前記入力されたボディ及び電
    極の情報から自動的に抽出する部品形状データ抽出手段
    と、 前記電子部品を撮像する際に前記選定された部品種に適
    応する条件で撮像するための光学条件を設定する光学条
    件設定手段と、 前記吸着ノズルに保持された電子部品の吸着姿勢を認識
    する認識装置と、 該認識装置により認識された電子部品の吸着姿勢に応じ
    て、前記回路基板への実装位置を補正する補正手段と、
    を備えたことを特徴とする電子部品実装装置
  13. 【請求項13】 電子部品を撮像した画像データから該
    電子部品を認識する装置に適用され前記電子部品の認識
    条件が記録された部品認識データを、プログラムされた
    コンピュータによって作成する部品認識データ作成プロ
    グラムが記録された記録媒体であって、 認識対象である電子部品のボディの情報と該電子部品の
    電極の情報とを入力するステップと、前記電極を前記ボ
    ディ外周の辺毎にグループ化するステップと、前記グル
    ープ化された電極に対して、各グループ間で重複する電
    極及び電子部品の認識に用いない電極を除外するステッ
    プと、前記電子部品に適応する認識アルゴリズムを決定
    するステップと、該決定された認識アルゴリズムによる
    認識処理に必要な部品形状データを、前記ボディ及び電
    極の情報から抽出するステップと、前記電子部品を撮像
    する際の最適な光学条件を決定するステップとを実行す
    る部品認識データ作成プログラムが記録された記録媒
    体。
JP2000207299A 2000-07-07 2000-07-07 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体 Expired - Fee Related JP3877501B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2000207299A JP3877501B2 (ja) 2000-07-07 2000-07-07 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体
CNB018124550A CN1254768C (zh) 2000-07-07 2001-07-06 零件识别数据准备方法和准备装置以及电子零件安装装置
DE60139877T DE60139877D1 (de) 2000-07-07 2001-07-06 Teileerkennungsdatenerzeugungsverfahren und vorrichtung, anbringvorrichtung für elektronische teile und aufzeichnungsmedium
PCT/JP2001/005913 WO2002005211A1 (fr) 2000-07-07 2001-07-06 Procede et dispositif de creation de donnees de reconnaissance de pieces, appareil de montage de pieces electroniques, et support enregistre
US10/312,772 US7539339B2 (en) 2000-07-07 2001-07-06 Part recognition data creation method and apparatus, electronic part mounting apparatus, and recorded medium
EP01947906A EP1306801B1 (en) 2000-07-07 2001-07-06 Part recognition data creation method and apparatus, electronic part mounting apparatus, and recorded medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000207299A JP3877501B2 (ja) 2000-07-07 2000-07-07 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体

Publications (2)

Publication Number Publication Date
JP2002024804A true JP2002024804A (ja) 2002-01-25
JP3877501B2 JP3877501B2 (ja) 2007-02-07

Family

ID=18704077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000207299A Expired - Fee Related JP3877501B2 (ja) 2000-07-07 2000-07-07 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体

Country Status (6)

Country Link
US (1) US7539339B2 (ja)
EP (1) EP1306801B1 (ja)
JP (1) JP3877501B2 (ja)
CN (1) CN1254768C (ja)
DE (1) DE60139877D1 (ja)
WO (1) WO2002005211A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338482A (ja) * 2005-06-03 2006-12-14 Fuji Mach Mfg Co Ltd 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
CN103793712B (zh) * 2014-02-19 2017-02-08 华中科技大学 一种基于边缘几何特征的图像识别方法及***
JPWO2016016933A1 (ja) * 2014-07-28 2017-04-27 富士機械製造株式会社 部品データ取扱装置および部品データ取扱方法並びに部品実装システム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496195B1 (en) * 2000-01-31 2002-12-17 Autodesk, Inc. Method and apparatus for automatically displaying and manipulating identifiers of a mechanical design
US7088360B1 (en) 2002-07-20 2006-08-08 Autodesk, Inc. Simplified identifier generation in a computer aided design (CAD) environment
JP4357355B2 (ja) * 2004-05-07 2009-11-04 株式会社日立ハイテクノロジーズ パターン検査方法及びその装置
US7636096B2 (en) * 2004-06-25 2009-12-22 Autodesk, Inc. Automatically ballooning an assembly drawing of a computer aided design
EP1763843A1 (en) 2004-07-05 2007-03-21 Matsushita Electric Industrial Co., Ltd. Method of generating image of component
CN101185102A (zh) * 2005-06-02 2008-05-21 松下电器产业株式会社 元件自动示教装置
KR101495231B1 (ko) * 2006-12-28 2015-02-24 야마하하쓰도키 가부시키가이샤 부품 인식 장치, 표면 실장기, 및 부품 시험 장치
US8144988B2 (en) * 2007-09-06 2012-03-27 Ricoh Company, Ltd. Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program
US8194982B2 (en) * 2007-09-18 2012-06-05 Ricoh Company, Ltd. Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program
WO2009096119A1 (ja) * 2008-01-29 2009-08-06 Advantest Corporation 電子部品ハンドリング装置および電子部品の位置検出方法
JP5333344B2 (ja) * 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
JP6039544B2 (ja) 2010-05-05 2016-12-07 オールスティール インコーポレイテッドAllsteel Inc. ガラス突き合わせ壁パネルのための可動式の解体可能な壁パネルシステムの設置方法
JP5441266B2 (ja) * 2010-06-24 2014-03-12 合同会社IP Bridge1号 部品実装システムおよび画像認識用データ作成装置ならびに画像認識用データ作成方法
JP5730114B2 (ja) * 2011-04-25 2015-06-03 富士機械製造株式会社 部品回転角度検出装置及び画像処理用部品データ作成装置並びに部品回転角度検出方法及び画像処理用部品データ作成方法
CN103186789B (zh) * 2011-12-27 2016-09-07 英业达股份有限公司 自动判别零件正确性的方法
EP2623159B1 (en) 2012-02-02 2018-06-13 Airbus Operations GmbH Fire suppression system and method for fire suppression in an airborne vehicle
US9440313B2 (en) 2013-03-12 2016-09-13 Serenity Data Security, Llc Hard drive data destroying device
DE102013017795C5 (de) * 2013-10-25 2018-01-04 Lessmüller Lasertechnik GmbH Prozessüberwachungsverfahren und -vorrichtung
CN107079617B (zh) * 2014-11-11 2019-08-06 株式会社富士 电子元件安装机的控制装置及向该控制装置输入数据的数据输入装置
KR102099112B1 (ko) * 2015-02-26 2020-04-09 한화정밀기계 주식회사 부품 정보 티칭 방법
CN108401414B (zh) * 2015-06-19 2020-12-11 雅马哈发动机株式会社 元件安装装置和元件安装方法
US11167384B2 (en) 2015-07-02 2021-11-09 Serenity Data Security, Llc Hard drive non-destructive dismantling system
US10556240B2 (en) 2015-07-02 2020-02-11 Serenity Data Security, Llc Product verification for hard drive data destroying device
WO2017004575A1 (en) 2015-07-02 2017-01-05 Serenity Data Services, Inc. Hard drive dismantling system
JP6524250B2 (ja) * 2015-10-15 2019-06-05 ヤマハ発動機株式会社 部品実装装置
JP6689301B2 (ja) * 2016-02-18 2020-04-28 株式会社Fuji 部品判定装置および部品判定方法
CN108563202B (zh) * 2018-04-02 2020-11-06 广西玉柴机器股份有限公司 一种基于mes的信息录入应急***及其处理方法
CN112385328B (zh) * 2018-07-12 2022-08-30 株式会社富士 模板生成装置及元件安装机
US11157770B2 (en) * 2019-02-20 2021-10-26 Cheng Ning Jong Automatic line erase tool and method
JPWO2021010033A1 (ja) * 2019-07-18 2021-01-21
CN111343846B (zh) * 2020-02-23 2021-05-25 苏州浪潮智能科技有限公司 一种基于pcb制板过程的电子元件识别装置及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817024A (en) * 1984-03-02 1989-03-28 Hoya Corporation Spectacle-frame shape data producing method
US4809308A (en) * 1986-02-20 1989-02-28 Irt Corporation Method and apparatus for performing automated circuit board solder quality inspections
DE3787587T2 (de) * 1986-07-17 1994-01-27 Matsushita Electric Ind Co Ltd Formerkennungsverfahren.
US5185811A (en) * 1990-12-27 1993-02-09 International Business Machines Corporation Automated visual inspection of electronic component leads prior to placement
EP0526080B1 (en) 1991-07-22 1996-10-02 Omron Corporation Teaching method and system for mounted component inspection
US5371690A (en) * 1992-01-17 1994-12-06 Cognex Corporation Method and apparatus for inspection of surface mounted devices
KR20000005518A (ko) 1996-04-18 2000-01-25 모리시타 요이찌 전자부품 실장방법 및 장치
JP4056572B2 (ja) * 1996-05-13 2008-03-05 株式会社日立ハイテクインスツルメンツ データ作成装置及び方法並びに電子部品装着装置
WO1998004882A1 (en) * 1996-07-12 1998-02-05 Linker Frank V Jr Split optics arrangement for vision inspection/sorter module
US6085407A (en) * 1997-08-21 2000-07-11 Micron Technology, Inc. Component alignment apparatuses and methods
US6813377B1 (en) * 1999-08-06 2004-11-02 Cognex Corporation Methods and apparatuses for generating a model of an object from an image of the object
US7181058B2 (en) * 1999-12-13 2007-02-20 Gsi Group, Inc. Method and system for inspecting electronic components mounted on printed circuit boards

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338482A (ja) * 2005-06-03 2006-12-14 Fuji Mach Mfg Co Ltd 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP4674853B2 (ja) * 2005-06-03 2011-04-20 富士機械製造株式会社 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
CN103793712B (zh) * 2014-02-19 2017-02-08 华中科技大学 一种基于边缘几何特征的图像识别方法及***
JPWO2016016933A1 (ja) * 2014-07-28 2017-04-27 富士機械製造株式会社 部品データ取扱装置および部品データ取扱方法並びに部品実装システム

Also Published As

Publication number Publication date
US7539339B2 (en) 2009-05-26
EP1306801A1 (en) 2003-05-02
CN1254768C (zh) 2006-05-03
WO2002005211A1 (fr) 2002-01-17
JP3877501B2 (ja) 2007-02-07
DE60139877D1 (de) 2009-10-22
CN1440541A (zh) 2003-09-03
US20030165264A1 (en) 2003-09-04
EP1306801A4 (en) 2007-06-27
EP1306801B1 (en) 2009-09-09

Similar Documents

Publication Publication Date Title
JP3877501B2 (ja) 部品認識データ作成方法及び作成装置並びに電子部品実装装置及び記録媒体
EP0706027A1 (en) Visual inspection support apparatus, substrate inspection apparatus, and soldering inspection and correction methods using the same apparatuses
JP5861462B2 (ja) はんだ検査のための検査基準登録方法およびその方法を用いた基板検査装置
JP6309830B2 (ja) 部品装着装置
JP5798371B2 (ja) 基準マークモデルテンプレート作成方法
JP6014315B2 (ja) 電子部品装着装置の測定方法
JP2012122870A (ja) 立体形状認識装置
JP2004146661A (ja) 電子部品装着装置
JP3993107B2 (ja) 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム
JP6646916B2 (ja) 基板用の画像処理装置および画像処理方法
JP2005101586A (ja) 電子部品実装機における電子部品の吸着位置補正装置
JP4388423B2 (ja) 電子部品搭載装置
EP3370493B1 (en) Base plate position searching device and component mounting machine
JP5443894B2 (ja) 電子部品実装装置及びその吸着位置補正方法
JP4973630B2 (ja) ノズル識別装置、部品実装機、ノズル識別方法及び部品実装方法
JP2011043998A (ja) 画像解析方法及び画像解析装置
JP7235603B2 (ja) 部品実装用データの変更装置、変更プログラム、及び、表面実装機
JP2005353750A (ja) 電子部品搭載装置の保守管理装置
JP5913866B2 (ja) 基板検査用マスタデータ作成方法
JP4686375B2 (ja) 部品搭載装置及びそのティーチング操作方法
JP2021044281A (ja) 部品認識データ作成方法および部品認識データ作成プログラム
JP6621639B2 (ja) 基板用の画像処理装置
WO2023162142A1 (ja) 画像確認装置および画像確認方法
JP6855597B2 (ja) 作業機、及び極性の判定方法
JP7285194B2 (ja) 部品実装機、部品認識方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091110

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131110

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees