JP2002134991A - 電子部品実装方法及び装置 - Google Patents

電子部品実装方法及び装置

Info

Publication number
JP2002134991A
JP2002134991A JP2000323430A JP2000323430A JP2002134991A JP 2002134991 A JP2002134991 A JP 2002134991A JP 2000323430 A JP2000323430 A JP 2000323430A JP 2000323430 A JP2000323430 A JP 2000323430A JP 2002134991 A JP2002134991 A JP 2002134991A
Authority
JP
Japan
Prior art keywords
electronic component
terminal
data
height
mounting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000323430A
Other languages
English (en)
Other versions
JP4546635B2 (ja
Inventor
Mitsumasa Okabayashi
光正 岡林
Sumio Goto
純夫 後藤
Yoshiaki Abe
好晃 安部
Masaru Saito
勝 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP2000323430A priority Critical patent/JP4546635B2/ja
Publication of JP2002134991A publication Critical patent/JP2002134991A/ja
Application granted granted Critical
Publication of JP4546635B2 publication Critical patent/JP4546635B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

(57)【要約】 【課題】 正確でしかも高速に電子部品の端子高さデー
タを求めることができ、確実な端子浮き検査が可能な電
子部品実装方法及び装置を提供する。 【解決手段】 吸着角度ずれを補正された電子部品12
の端子12aの近辺に複数の光切断線(L1−1、L2
−1、L3−1)が投光され、これらの複数の光切断線
を投光したときに得られる画像の中から最適な画像が抽
出され、その抽出された画像データから端子高さが計算
される。また、電子部品は更に90°回転され(B)、
同様に端子高さデータが求められ、これらの90°回転
前後の端子高さデータからノズル軸の垂直軸に対する傾
きを補正した端子高さのデータが求められる。このよう
な構成では、高速にしかも正確な高さデータを求めるこ
とができ、リード浮き検査時の誤判断を防止できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、電子部品実装方法
及び装置、更に詳細には、吸着された電子部品を撮像し
その撮像データから電子部品を位置決めして基板上に実
装する電子部品実装方法及び装置に関する。
【0002】
【従来の技術】従来から、電子部品実装装置において
は、部品供給部から供給される電子部品を吸着ヘッド部
の吸着ノズルで吸着し、ヘッド部をプリント基板上に移
動して電子部品を基板上の所定位置に実装している。そ
の場合、電子部品が必ずしも正しい姿勢で吸着されるわ
けではないので、撮像装置(CCDカメラ)で電子部品
を撮像し、その画像を処理して部品の位置決めデータを
得ている。また、狭リードピッチ、狭リード幅のQF
P、コネクタのような電子部品を実装する際には、プリ
ント基板に装着する前に部品のリード端子に浮きがない
かどうかを検査するのが一般的である。
【0003】例えば、QFPのようなリード端子を有す
る電子部品を基板に実装する場合、リード端子が浮きを
有していると、リード端子を基板の電極部にボンディン
グできないことから、従来、図16(A)に示すよう
に、ノズル100に吸着された電子部品101のリード
端子102a、102bに向って、リード浮きセンサ1
03のレーザ部104からレーザ光を照射し、リード端
子からの反射光を受光部105で受光して、各々のリー
ド端子102a、102bの基準面Sからの高さZ1、
Z2.....を求めることにより、リード端子102
の浮きを検出することが知られている。
【0004】ところで、吸着された電子部品は図16
(A)に示すように水平面Lに対して傾きθ1を有す
る。これは電子部品を吸着するノズル100の下面の傾
斜誤差、更には電子部品のモールド体の上面の傾斜誤差
によるものである。
【0005】このような機械誤差があると、電子部品1
01は、水平面Lに対して角度θ1傾斜しているから、
リード端子102aを測定後に反対側のリード端子10
2bを測定するために、ノズル100を180度回転さ
せてリード端子102bをリード浮きセンサ103の上
部に位置させたとき、図16(B)に示すようにレーザ
光Rのようにリード端子102bに投光されないで逃げ
てしまうことが有る。またリード端子102bに投光さ
れたとしてもリード先端部に少ししか投光されないこと
がある。このような場合、高さ誤差が生じて、リード端
子102の浮きを誤判断する問題がある。
【0006】さらには図16(C)に示すように、垂直
線Vに対してノズル100の軸心にθ2の傾きがあると
リード端子102aの測定時に位置していた水平線Lに
対してΔZの誤差が生じる。当然のことながら測定しよ
うとするリード端子102bもΔZ変化している。ここ
でリード端子102bを測定すればΔZの誤差を含み、
本来Z2であるべき高さがZ2−ΔZ(θ2が図と逆向
きの時はZ2+ΔZとなる)となってしまい、リード端
子102の浮きを誤判断する問題がある。
【0007】その他の問題点として、リード浮きセンサ
ー103でリード浮きの検査をする際には、センサー部
をリード端子が走査するように、部品を吸着している大
きなヘッド部を一定速度で移動させなければならないこ
とに加えて、物理的な実装部品の4辺個別走査が必要と
なり、このための処理時間は通常1〜3秒程度になる。
この処理時間はこのような部品の実装時間を長くさせる
要因となる。これは特に、QFPやコネクターを数多く
実装する場合には大きなデメリットとなる。
【0008】
【発明が解決しようとする課題】本発明は、上記問題点
を解決するためになされたもので、正確でしかも高速に
電子部品のリード端子の高さデータを求めることがで
き、確実な端子浮き検査が可能な電子部品実装方法及び
装置を提供することをその課題とする。
【0009】
【課題を解決するための手段】本発明は、いずれも吸着
された電子部品を撮像しその撮像データから電子部品を
位置決めして基板上に実装する電子部品実装方法及び装
置に関するもので、撮像データに基づいて電子部品の吸
着角度ずれを補正する工程ないし手段と、前記角度ずれ
を補正された電子部品の端子に光切断線を投光する工程
ないし手段を有し、それにより、撮像データを用いて電
子部品の吸着角度ずれが補正され、角度ずれを補正され
た電子部品の端子に光切断線が投光される。
【0010】本発明では、吸着角度ずれを補正された電
子部品の端子近辺に複数の光切断線が投光され、前記複
数の光切断線を投光したときに得られる画像の中から最
適な画像が抽出され、その抽出画像から端子高さが計算
され、該端子高さのデータに基づいて端子浮きが検査さ
れる。
【0011】このような構成により、光切断線による最
適な電子部品の端子画像に基づいてリード端子高さのデ
ータが計算されるので、正確な端子高さのデータを求め
ることができる。また、複数の光切断線は、電子部品の
端子近辺であるので、必要な部位にのみ投光が行なわれ
る結果、データ処理量が少なくなり、高速に端子高さデ
ータを求めることができる。
【0012】また、本発明では、吸着ノズル軸の垂直軸
に対する傾きがあると、正確な端子高さが求められない
ので、角度補正された電子部品並びにそれから更に90
°回転させた電子部品の端子にそれぞれ光切断線を投光
して90°回転される前後の電子部品の端子高さをそれ
ぞれ計算する工程ないし手段と、この90°回転される
前後の電子部品の端子高さから電子部品を吸着するノズ
ル軸の垂直軸に対する傾きを補正した端子高さのデータ
を求める工程ないし手段が設けられ、これにより傾き補
正された端子高さのデータが求められ、端子の浮きが検
査される。
【0013】このような構成により、ノズル軸の傾斜に
より電子部品が垂直軸に対して傾斜していても、この傾
斜が補正された高さデータに基づいて浮き検査が行なわ
れるので、リード浮きの誤判断を防止できる。
【0014】また、本発明では、光切断線により得られ
る画像データを空間一次微分またはこれに対応する近似
式により画像処理して端子のエッジを検出する工程ない
し手段と、前記検出されたエッジから端子高さを求める
工程ないし手段が設けられ、エッジ検出により求められ
た端子高さのデータに基づいて端子浮きが検査される。
【0015】このような構成では、端子高さが画像のエ
ッジ検出により行なわれるので、2値化処理のように画
像の明暗に左右されることがなく、信頼性のある端子高
さのデータを求めることができる。
【0016】
【発明の実施の形態】以下、図面に示す実施の形態に基
づき本発明を詳細に説明する。
【0017】[全体の構成]図1には、電子部品実装装
置11の外観が図示されており、本装置で実装される電
子部品12は、部品供給部としてのトレー供給部14か
らトレー13に自動的に供給され、吸着ヘッド部17の
吸着ノズル17aにより吸着される。ヘッド部17は、
XYロボットの一部を構成するX軸側のロボット15
(以下、X軸ロボットと略記する)によりx軸方向に移
動され、また、XYロボットの一部を構成するY軸側の
ロボット16a、16b(以下、Y軸ロボットと略記す
る)によりy軸方向に移動される。ヘッド部17は、電
子部品を吸着した後3次元センサ18に移動し、そこで
電子部品が撮像され、位置決めのための2次元データ並
びに高さデータからなる3次元データが取得される。な
お、19は電子部品12が実装されるプリント基板であ
る。
【0018】[全体の工程]このような構成で、トレー
13に載っている電子部品12がX軸ロボット15およ
びY軸ロボット16a、16bによって移動され、ヘッ
ド部17の吸着ノズル17aで吸着され3次元センサ1
8の上に移動される。そして3次元センサ18によって
電子部品12の2次元画像が取込まれ、画像をソフトウ
エア処理して位置決め検査を行う。次に3次元センサ1
8によって電子部品12の3D(高さ)画像が取り込ま
れる。3次元センサ18によって得られた(高さ)画像
をソフトウェア処理して、電子部品12のリード浮きな
どの3D形状検査を行い、位置決め情報に従って、電子
部品12がプリント基板19の上の所定の位置に装着さ
れる。
【0019】図3には、上記工程が更に詳細に図示され
ており、図3(A)に示す工程では、電子部品12はト
レー13からヘッド部17の吸着ノズル17aでピック
アップ(吸着)される。図3(B)に示す工程では、電
子部品12が3次元センサ18の上に位置するようにヘ
ッド部17が移動される。そして位置決め画像撮像用照
明光源が点灯されて、照明光束が電子部品12に投光さ
れ、電子部品12の底面部12’の撮像を行い、この2
次元画像を画像処理装置G内の画像メモリMに取り込
み、これを画像処理することで、位置決め検査を行う。
次に3次元センサ18から発せられるレーザライン光1
8aによる走査で、吸着されている電子部品12のリー
ド端子部の3次元画像を、画像処理装置G内の画像メモ
リMに取り込み、これを画像処理することで、電子部品
12の3次元形状検査を行う。図3(C)に示す工程で
は、画像処理装置Gの画像処理により求まった位置決め
情報をもとに、プリント基板19の上に電子部品12を
実装する。
【0020】図2(A)〜(C)はQFP等のリード端
子の3次元画像取り込みを行なう状態を概略示したもの
である。図2において、12はXYロボットによって3
次元センサ18の上部に移動配置された電子部品、25
aは後述するリニアアクチュエータによって走査される
レーザライン光、12aは電子部品12のリード端子の
一つである。
【0021】図2(A)は電子部品12が3次元センサ
の位置に配置された状態を示す。位置決め画像用照明光
源を点灯して電子部品12の底面の2次元画像を取込
み、ソフト処理によりリード端子の有無、リード端子の
配列の重心と吸着ノズル中心とのずれ、リード端子の配
列の傾きを算出する。
【0022】次に、図2(B)に図示したように、上記
算出した配列の傾きから吸着ノズル軸を回転させて角度
と位置の補正をし、リード端子の配列がxy軸に平行と
なるようにするとともにリード端子の配列の重心が3次
元センサの視野のほぼ中心に位置するようにする。そし
て図2(C)に示したように、角度と位置が補正された
電子部品12にレーザライン光25aがパルス点灯して
順次投光され光切断線が引かれる。レーザライン光は、
それと平行にのびるリード端子配列に対しては一つおき
に投光し、一回の撮像で複数のリード端子配列に複数の
ライン光を投光する。ソフト処理は投光したリード端子
配列の部分のみを切出して処理するので前記二本のレー
ザライン光の中間部分は処理されず影響を及ぼさない。
つぎに未投光のリード端子配列に対しても前記と同様に
レーザライン光を走査して撮像し、2つの画像からリー
ド端子の高さデータを得ることができる。
【0023】[3次元センサの構成]図4は、3次元セ
ンサの詳細な構成を示すもので、電子部品の3次元画像
データを取得する場合、レーザダイオード21が点灯さ
れ、このレーザダイオードからの光はコリメートレンズ
22で集光されて平行光となり、フォーカスレンズ23
はこの平行光をスポット光となるように絞り込む。フォ
ーカスレンズ23からの光は、投光ミラー24により垂
直軸とほぼ45度の角度をなすように曲げられ、この曲
げられた光路のすぐ後に配置されたラインジェネレータ
レンズ25は、入射光を、幅30μm、長さ40mmの
ライン光25aにしてヘッド部17の吸着ノズル17a
に吸着された電子部品12のリード端子12aに投光
し、端子部に光切断線を形成する。フォーカスレンズ2
3、投光ミラー24、ラインジェネレータレンズ25は
投光ユニット27を構成し、この投光ユニット27はリ
ニアモータ(アクチュエータ)28により2重矢印線で
示したように往復動され、それにより電子部品12のリ
ード端子12aはライン光により走査される。コリメー
タレンズ22で形成された平行光線に向かってリニアモ
ータ28が前後直線運動を行っても、フォーカスレンズ
23の結像作用には影響を及ぼさないから、電子部品1
2には常に一定の幅のライン光が結像される。
【0024】電子部品12の下方には、視野が36mm
×36mmで、ノンインターレースのCCDカメラ(撮
像装置)26が配置され、またリニアモータ28は45
mmのストロークで移動され、投光ユニット27が図4
において右端から左に、一定速度700mm/secで
移動させる。CCDカメラ26の視野内の所定の個所に
投光出来る位置に来た時に、レーザダイオード21が5
0μsec間点灯され、このように所定のピッチでフレ
ーム内に複数のライン光が引かれその像が撮像される。
この撮像から、後述するように、リード端子12aの浮
き、電子部品の底面の平坦度などを測定するための3次
元データが取得される。
【0025】また、電子部品12は、2次元画像データ
を取得する場合、LED照明光源31が点灯され、この
光源により30°〜45°の角度で周囲から照明され
る。LED照明光源31により照明された電子部品の画
像は、同様にCCDカメラ26で撮像され、吸着中心と
部品中心間のずれ、基準角度に対する吸着角度のずれな
どの位置決めデータを得るための2次元データが取得さ
れる。
【0026】[制御系の構成]図5は電子部品実装置の
制御系の構成を表すブロック図であり、本装置はLAN
ボード40を通じて部品実装制御部41と通信を行う。
レーザコントロールボード42はLED照明光源31の
点灯消灯の制御を行い、またレーザドライバ43を介し
てレーザダイオード21のパルス点灯制御を行い、更に
モータドライバ44を介してリニアモータ28の制御を
行う。これらの制御はリニアモータ28に取付けられた
位置エンコーダ45からの信号をエンコーダアンプ46
を介してレーザコントロールボード42に取り込むこと
によって行われる。CCDカメラ26で撮像された画像
は画像キャプチャーボード47で取込まれ、PCIバス
49を介してPCマザーボード48の画像メモリMに送
られる。このPCIバス49は、その他LANボード4
0、レーザコントロールボード42間を結合する。
【0027】図6はレーザコントロールボード42の詳
細ブロック図である。位置カウンタ51は位置エンコー
ダアンプ46よりのA相、B相、Z相信号が入力され
て、アップダウンカウントを行い、リニアモータ28の
位置情報が、比較器53、CCDトリガデコーダ54に
出力される。CCDトリガデコーダ54は位置カウンタ
51からのリニアモータ28の位置情報により、CCD
カメラ26の画像取込み位置に来たら画像取込み信号を
発生し、ワンショット55はその信号を受けて一定のパ
ルス巾の信号を出力する。同期タイミング発生器56
は、ワンショット55のパルスを受けて、内部で発生す
る水平同期信号HDに立ち上がり立ち下がりタイミング
を合せた垂直同期信号VDを発生する。このHD、VD
信号はCCDカメラ26に入力されて、レーザ走査に合
せた画像取込みが行われる。これはリスタート・リセッ
トモードというVD信号に同期してCCDのリセット、
画像読み出しを行うモードである。
【0028】比較器53には位置カウンタ51からリニ
アモータ28の位置情報とCPU52よりのレーザダイ
オード21のON位置信号が入力される。この二つの入
力が一致したらワンショット57をトリガし、レーザダ
イオードONパルスが出力され、レーザドライバ43の
基板に伝えられ、レーザダイオード21がパルス点灯す
る。同時に比較器53の出力は、一致F/F58をセッ
トし、その出力がCPU52に伝えられ、レーザダイオ
ードON位置をすでに通過したことがCPU52に伝え
られる。一致F/F58のリセットは、CPU52によ
り比較器53にレーザダイオードON位置出力と同時に
行われる。
【0029】これにより一つの画面内に複数のレーザラ
イン光を引く場合は、まず第1のレーザダイオードON
位置を比較器53に入力し、同時に一致F/F58をリ
セットし、レーザダイオードON位置でレーザダイオー
ド21をパルス点灯し、一致F/F58出力がHに変わ
ったら、CPU52から第2のレーザダイオードON位
置を出力し、同時に一致F/F58をリセットする。そ
して、第2のレーザダイオードON位置でレーザダイオ
ード21をパルス点灯し、一致F/F58出力がHに変
わったら、CPU52から第3のレーザダイオードON
位置を出力し、同時に一致F/F58をリセットする。
これらの処理を一画面内のレーザライン光の本数分だけ
繰り返す。
【0030】D/A変換器59はCPU52からのレー
ザパワーレベル信号(デジタル)をアナログ信号に変換
し、レーザドライバ43の基板に伝える。それにより電
子部品の種類によりレーザパワーの調整が可能である。
CPU52からリニアモータドライバ44の基板へは起
動/停止、正転/逆転、リセット、D/A変換器61を
介してのスピード指令信号がそれぞれ出力され、レーザ
ライン光走査を行う。また、PCIバスインターフェー
ス60を介して、PCマザーボード48より、走査回
数、レーザダイオードON位置、レーザダイオードパワ
ーレベル等のコマンドが受信され、逆にCPU52から
はレーザライン走査終了、各種のエラーメッセージ等の
信号がPCマザーボード48に伝えられる。
【0031】以下、このように構成された電子部品実装
装置の動作を図7の流れに沿って説明する。
【0032】[画像処理]まず、ステップS1におい
て、部品実装制御部41から電子部品に関する情報、例
えば電子部品の種類(BGAかQFPなのか)、端子の
ピッチと配列等の情報をLANボード40、PCIバス
49を介して受信する。電子部品12は、図3(A)に
示すように、トレー13からヘッド部17の吸着ノズル
17aによりピックアップ(吸着)され、図3(B)に
示したように、3次元センサ18の上に電子部品12が
位置するようにヘッド部17がX軸ロボット15及びY
軸ロボット16a、16bにより移動される。そこで、
ステップS2でLED照明光源31が点灯され、それに
より電子部品12の底面部12’が照明され、その画像
がCCDカメラ26により撮像され、画像キャプチャー
ボード47を介してPCマザーボード48の画像メモリ
Mに取り込まれ(ステップS3)、続いて、LED照明
光源31が消灯される(ステップS4)。
【0033】電子部品がQFPの場合、画像メモリMに
取りこまれた2次元の画像が図2(A)に図示されてお
り、その画像が画像処理装置Gで画像処理され、電子部
品12のリード端子12aの有無、リード端子12aの
配列の重心と吸着ノズル中心とのずれ、電子部品12の
吸着傾きを算出し、位置決めデータが算出される(ステ
ップS5)。
【0034】なお、端子配列計算の処理には、種々の方
法(アルゴリズム)があり、ここでは代表的なものを説
明すると次の通りである。まず、QFPなどの四角形の
電子部品12の1つの辺のリードの傾きを粗く検出し、
次いで、検出されたリードの中から任意に選択された2
つのリードの位置を大まかに検出し、最後に、大まかに
検出されたリード位置を基にリード位置を精度良く検出
する。このようにして、QFPのような四角形の電子部
品の1つの辺のリードの位置が検出されれば、このリー
ド位置を基に、他の辺のリードについては、リード位置
を精度良く検出すればよい。
【0035】続いて、ステップS6で端子の有無、リー
ドピッチが適正か否かを判断し、適正でなければステッ
プS7で端子配置エラーを出力し、一方、適正であれ
ば、ステップS8で端子配列の重心位置、端子配列の傾
き(角度)等電子部品検査結果を部品実装制御部41へ
送信する。部品実装制御部41は、電子部品12を吸着
している吸着ノズル17aを回転させてリード端子配列
がXY方向に向くように角度補正を行い、ステップS9
で電子部品12の角度補正完了を受信する。このように
角度補正された状態が図2(B)に図示されており、リ
ード端子配列がXY方向に向くようになっており、また
リード端子配列の重心がCCDカメラ26の視野の中心
に位置している。
【0036】[高さデータの取得]次に、電子部品12
の3次元形状検査が行われる。端子配列計算処理により
端子位置は既知であるからステップS10で必要なリー
ド端子位置にレーザ光を走査パルス点灯させてライン光
走査画像を取込み、ステップS11でリード端子の高さ
を求め、ステップS12、S13でリード端子の浮きを
検査してその平坦度検査を行なう。
【0037】なお、電子部品のリード端子平坦度検出に
おいてはリード端子高さのばらつきが分かれば良いの
で、例えばパッケージ底面からリード端子最下面迄の高
さのような絶対高さのデータを必要としない。そこで、
CCDカメラ26のフォーカス位置と、レーザライン光
25aのフォーカス位置は一致していることから、この
位置に平面を置き、この平面からの高さをもとめる。そ
のために、リード配列の位置(リニアモータのエンコー
ダのm番目パルスの位置)にライン光を点灯するときに
引かれる線を仮想基準線とし、仮想基準線を用いて高さ
測定を行なう。
【0038】すなわち、図8に示したように、リード配
列の位置(リニアモータのエンコーダのm番目パルスの
位置)にライン光を点灯したとき前記平面(フォーカス
面)に仮想基準線74を引き、この仮想基準線から該ラ
イン光によるリード端子12aの映像までの画素数をも
ってリード端子の高さを計算する。高さ計算上リード端
子映像位置に対して仮想基準線が近すぎる場合は、仮想
基準線をシフトさせてこのシフトされた仮想基準線7
4’からリード端子の映像までの画素数をもって高さ計
算を行なう。
【0039】本発明では、リード端子の高さ(浮き)を
レーザライン光を照射して光切断線を引くとき、一つの
目標個所に対して引いた光切断線の前後に光切断線をさ
らに引き、計3本の光切断線を引く。このときのレーザ
ライン光の光切断線のピッチは80μmとする。
【0040】例えば、図9(A)に示したように、電子
部品12のリード端子列bとdにはリード端子の伸びる
方向と直角にレーザライン光を照射して光切断線を引
き、またリード端子列aとcにはリードの伸びる方向と
平行であって、しかも各リード列の両端のリード端子だ
けにレーザライン光を照射し光切断線を引く。まず、1
回目は電子部品の一つの画像にL1−1,L1−2,L
1−3,L1−4の4本の光切断線が引かれた画像を撮
像し、次に2回目以降も同様にしてL2−1,L2−
2,L2−3,L2−4の引かれた画像、続いてL3−
1,L3−2,L3−3,L3−4の引かれた画像とい
うように3つの画像を撮像する。
【0041】次に図9(B)に図示したように、電子部
品12を右に90°回転させ、リード端子列aとcにリ
ード端子の伸びる方向と直角に光切断線を引き、1回目
は一つの画像にL4−1,L4−2の2本の光切断線が
引かれた画像を撮像し、2回目は同様にしてL5−1,
L5−2の引かれた画像、3回目はL6−1,L6−2
の引かれた画像というように3つの画像を撮像する。
【0042】以上のように合計6つの画像を撮像し、各
光切断線ごとに18個の画像を切り出す。続いて、以下
に述べる方法を用いて、一つの目標個所及びその近傍に
引いた3つの光切断線の中でどれが一番適切であるかを
判定して適切な画像データで高さ計算を行う。例えば図
9(A)のリード端子列dではL1−1,L2−1,L
3−1の中から最適な画像を抽出する。またリードの伸
びる方向と平行な光切断線であるリード端子列aとcの
ような場合は端子列ごとに行う。すなわち端子列aでは
L1−2,L2−2,L3−2の中から最適な画像を抽
出し、端子列cではL1−2,L2−2,L3−2の中
から最適な画像を抽出する。
【0043】[最適画像の抽出]上述した最適な画像の
抽出は次のような手順によって行う。まず、切り出した
画像に対して空間一次微分を行い、その場合、Rose
nfeldの近似式を用いる。そのために、表1に示し
たように、注目画素を中心にした3×3画素W(n、
n)の窓内の周辺画素間の差分計算を数1を用いて行
い、計算値Gを求め、これを注目画素の値に置換えて、
元の画素データとは別のメモリ空間に配列する。
【0044】
【表1】
【0045】
【数1】 図10(A)は画像データの一部である一つのリード端
子12a(図9(A))近辺の画素データであり、ライ
ン光の切断線は、図で上から下に伸びている。数値は輝
度値を表しており、輝度値が大きいところがリード端子
部である。図10(B)は、その画像データを上記数1
を用いて差分計算した結果であり、数値は差分計算値G
を表している。この差分計算値は空間一次微分に相当す
るので、リード端子のエッジ部分でG値が大きくなって
いる。
【0046】次にリード端子ごとに差分計算値Gの最大
値を取り出す。リード端子の伸びる方向と平行な光切断
線では、取り出したG値の最も大きな画像データを採用
する。例えば端子列aにおける一つのリード端子におい
ては、L1−2によるGの最大値とL2−2によるGの
最大値とL3−2によるGの最大値とを比較して、最も
大きなG値の光切断線の画像データを最適な画像として
採用する。
【0047】これに対して、リードの伸びる方向と直角
な光切断線では、一つの光切断線が複数のリード端子を
走査するので、光切断線ごとに各リード端子の差分計算
値Gの最大値を取り出し、各リード端子ごとに最も大き
なG値を選び、このG値を有した光切断線にマーク付け
を行う。そしてマーク数の多い光切断線を抽出する。次
に抽出した光切断線のG値データ群と、抽出した光切断
線前後の光切断線でリード先端に近い方の光切断線の値
データ群を統計的に比較してデータ群に違いが有れば抽
出した光切断線の画像を採用し、違いが無ければ、端子
をパッドに接した時、リード先端が始めに接地するの
で、先端ほどデータの品質がよく、従って、リード先端
に近い光切断線の画像を採用する。
【0048】例えば図11において、左側はライン光が
当たるリード端子ごとの差分計算値Gの最大値が示され
ている。図9(A)では、各光切断線が切断する端子は
7個しか示されていないが、端子が13個あるものとし
て示されている。(光切断線L1−1,端子番号1)で
は取出した差分計算値Gの最大値は394であり、(光
切断線L2−1,端子番号1)では取出した差分計算値
Gの最大値は469であり、(光切断線L3−1,端子
番号1)では取出した差分計算値Gの最大値は354で
ある。前記3つの数値で最も大きなのは469であり、
この数値を有していたのはL2−1であるから、図11
の右側(光切断線L2−1,端子番号1)にマーク1を
付ける。以上のようにすべての端子番号について比較マ
ーク付けを行う。図11において最も多いマーク数10
を有するL2−1が選ばれる。
【0049】次に光切断線L2−1のG値データ群とリ
ード先端に近い光切断線L1−1のG値データ群を統計
的に比較する。ここでは2つの対になっているデータの
差の検定を用いる。すなわち、対になっているデータの
差を
【0050】
【数2】 とし、
【0051】
【数3】 を求め、
【0052】
【数4】 から、t0を求め、t0が限界値t(φ、P)より大き
くなれば優位さがあることになる。
【0053】図12は上記計算の実施例であり、t0=
1.425は限界値t(12,0.05)=2.179
以下であるからL1−1のデータ群とL2−1のデータ
群に違いが有るとはいえない。従って、より先端の光切
断線L1−1の画像を採用する。自由度φはデータ数に
依存するから、前記限界値もデータ数によって変る。従
って、t表の数値はあらかじめ記憶させおく。
【0054】[ノズル軸の傾き補正]以上より最適な画
像を抽出することができるので、この抽出された画像か
ら既述の方法により各リード端子の高さ(リード浮き)
計算を行う。その場合、従来技術で説明したように、垂
直線に対してノズル軸の傾きがある場合には、図9
(A)の高さデータと電子部品を90°回転した図9
(B)の高さデータは同一に扱うことは出来ず、補正計
算を行う必要が有る。
【0055】そのため、まず図9(A)で端子列aの両
端の高さが得られているので、この2つのデータより高
さ方向をZとすればZ=AX+Bの直線式が得られる。
次に図9(B)で得られた高さデータからリード列aの
両端の2つのデータを用いてZ=CX+Dを計算する。
図9(B)で得られたリード列aの各リード端子の高さ
データHn1からZ=CX+Dを減算してHn0を計算
する。次にHn0にZ=AX+Bを加算してHn2を計
算する。Hn2は図9(A)の状態に角度補正された高
さデータであるから、図9(A)の高さデータと一緒に
取り扱うことが出来る。
【0056】[高さ計算]このように、高さデータに対
して垂直線に対するノズル軸の傾き補正を行なった後、
前述のRosenfeldの近似式により差分計算した
データからエッジ検出をして高さ計算を行なう。図13
は図10(B)と同一のデータであり、差分計算値Gを
示している。上部1〜17の連番は画素の列番号、左側
1〜23の連番は画素の行番号である。図で上下方向に
走る光切断線と直角方向で互いに反対方向からピーク点
を検出して、2つのピーク点のピクセル番号の平均値か
ら高さを計算する。四角で囲ってある数値はピーク点で
あり、(行1,列7)の228は左側から走査して検出
したピーク点H1であり、(行1,列12)の458は
右側から走査して検出したピーク点H2である。高さは
H=(H1+H2)/2となる。Hの最下部の数値10
は高さHの平均値である。(行,列)が1画素(ピクセ
ル)に相当するから撮像倍率から計算されるピクセルレ
ートをHの平均値に乗算すればリード端子の高さを計算
することが出来る。この処理において、リード端子には
2つのエッジがあり、ピーク値が2つ現れることから、
ピーク値が一つしかない行のデータと120以下のデー
タは採用しない。図14は図13の22行と23行のデ
ータをグラフに示したものである。行22はピーク値を
2つ持っているが、行23はピーク値が1つしかない。
従って、行23のデータは採用されないこととなる。
【0057】ここで再び図7の流れに戻って、以上のよ
うな処理で各リード端子について端子高さを計算し(ス
テップS11)、続いて、このようにして得られた高さ
データをもとにステップS12で、最小二乗平面の計算
を行う。これは多重線形回帰により平面近似式a+bx
+cy=zを求める。下記の式から平面式を求めること
ができる。
【0058】
【数5】 上記より求めた最小二乗平面から各端子の距離を計算
し、ステップS13で端子浮きの検査(端子平坦度検
査)を行い、各端子の高さが適正か否か判断する。適正
でなければ、ステップS14において端子高さエラーを
出力する。一方、適正と判断された場合は、ステップS
5で得られた位置決め情報に従って、図3(C)に図示
したように、電子部品12がプリント基板19の上の所
定の位置に搭載される。
【0059】[他の実施形態]上述した実施形態では、
差分計算は縦方向、横方向同時に行ったが、最適画像抽
出の場合は一方向のみでよい。ただし光切断線と直行す
る方向で行う。光切断線が縦方向の場合は以下のいずれ
かのフィルタ処理を行えば良い。
【0060】
【表2】 また、最適画像抽出はエッジデータに対するしきい値
と、エッジ間の距離のしきい値で判定することも可能で
ある。この場合、図15(A)に示したように、ライン
光の投光位置が適正で光切断線が適正な場合は、リード
端子のエッジデータはしきい値200以上であり、エッ
ジ間はしきい値3画素以上である。また図15(B)に
示したように、ライン光がリード端子の端部に投光され
る場合には、エッジデータはしきい値200以上である
が、エッジ間はしきい値3画素以下で不適となり、最適
画像としては抽出できない。また、図15(C)に示し
たように、ライン光がリード端子にわずかにしか投光さ
れない場合には、エッジデータはしきい値200以下で
あり不適となる。
【0061】上記判定は一つのリード端子においては差
分計算値の最大値を有する、光切断線と直行するデータ
列を用いて行う。そして判定はエッジデータがしきい値
以上であり、エッジ間距離が最大のものを採用する。こ
の場合、より高解像度の画素であればエッジ間の距離は
判定しやすくなる。
【0062】
【発明の効果】以上説明したように、本発明では、吸着
角度ずれを補正された電子部品の端子近辺に複数の光切
断線が投光され、複数の光切断線を投光したときに得ら
れる画像の中から最適な画像が抽出され、その抽出され
た画像データから端子高さが計算されるので、正確でし
かも高速に端子高さのデータを求めることができ、正確
でかつ高速な端子浮き検査を行なうことができる。
【0063】また、本発明では、吸着角度が補正された
電子部品並びにそれから更に90°回転させた電子部品
の端子にそれぞれ光切断線を投光して90°回転される
前後の電子部品の端子高さをそれぞれ計算し、これらの
端子高さデータから吸着ノズル軸の垂直軸に対する傾き
を補正した端子高さのデータを求めているので、ノズル
軸の傾斜により電子部品が垂直軸に対して傾斜していて
も、リード浮き検査時の誤判断を防止できる。
【0064】また、本発明では、光切断線により得られ
る画像データを空間一次微分またはこれに対応する近似
式により画像処理して端子のエッジを検出することによ
り端子高さデータを求めているので、2値化処理のよう
に画像の明暗に左右されることがなく、信頼性のある端
子高さのデータを求めることができる。
【図面の簡単な説明】
【図1】本発明の電子部品実装装置の外観を示す斜視図
である。
【図2】電子部品の傾き補正を行なった後ライン光を投
光する状態を示した説明図である。
【図3】電子部品の搭載の過程を示した説明図である。
【図4】ライン光を用いて電子部品を撮像する3次元セ
ンサの構成図である。
【図5】電子部品実装装置の制御系の構成を示すブロッ
ク図である。
【図6】レーザコントロールボードの詳細な構成を示す
ブロック図である。
【図7】本発明の電子部品の実装過程を示すフローチャ
ート図である。
【図8】仮想基準線を用いて高さ測定を行なう状態を示
した説明図である。
【図9】目標位置に光切断線として複数のライン光を投
光する状態を示した説明図である。
【図10】光切断線による画像データを示した表図であ
る。
【図11】画像データの差分値の最大値を端子ごとに示
した表図である。
【図12】対になった画像データの差分値の検定を示し
た表図である。
【図13】空間一次微分に対応する電子部品の端子エッ
ジのデータを示した表図である。
【図14】端子のエッジデータを示した線図である。
【図15】リードの種々の部分にライン光を投光した場
合のエッジデータを示した線図である。
【図16】従来の電子部品の端子浮きを測定する状態を
示した説明図である。
【符号の説明】
17 吸着ヘッド部 17a 吸着ノズル 18 3次元センサ 19 プリント基板 21 レーザダイオード 25 ラインジェネレータレンズ 26 CCDカメラ 28 リニアモータ 31 LED照明光源
───────────────────────────────────────────────────── フロントページの続き (72)発明者 安部 好晃 東京都調布市国領町8丁目2番地の1 ジ ューキ株式会社内 (72)発明者 斉藤 勝 東京都調布市国領町8丁目2番地の1 ジ ューキ株式会社内 Fターム(参考) 2F065 AA03 AA07 AA16 AA24 AA37 BB05 CC25 DD06 FF01 FF04 GG06 HH05 HH12 JJ03 JJ09 JJ26 LL09 LL10 LL12 MM14 PP18 QQ03 QQ13 QQ17 QQ25 QQ36 QQ41 SS04 UU01 UU04 UU07 5E313 AA04 AA11 AA23 CC04 DD02 DD03 DD13 EE02 EE03 EE24 EE35 EE37 FF24 FF26 FF28 FF34

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 吸着された電子部品を撮像しその撮像デ
    ータから電子部品を位置決めして基板上に実装する電子
    部品実装方法において、 撮像データを用いて電子部品の吸着角度ずれを補正し、 前記角度ずれを補正された電子部品の端子近辺に複数の
    光切断線を投光し、 前記複数の光切断線を投光したときに得られる画像の中
    から最適な画像を抽出して端子高さを計算し、 該端子高さのデータに基づいて端子浮きを検査し電子部
    品を実装することを特徴とする電子部品実装方法。
  2. 【請求項2】 吸着された電子部品を撮像しその撮像デ
    ータから電子部品を位置決めして基板上に実装する電子
    部品実装方法において、 撮像データを用いて電子部品の吸着角度ずれを補正し、 前記角度ずれを補正された電子部品の端子に光切断線を
    投光して得られる画像データから端子高さを計算し、 前記角度ずれ補正後更に90°回転させた電子部品の端
    子に光切断線を投光して得られる画像データから端子高
    さを計算し、 90°回転される前後の電子部品の端子高さから電子部
    品を吸着するノズル軸の垂直軸に対する傾きを補正した
    端子高さのデータを求め、 この傾き補正された端子高さのデータに基づいて端子の
    浮きを検査し電子部品を実装することを特徴とする電子
    部品実装方法。
  3. 【請求項3】 前記電子部品の端子近辺に複数の光切断
    線を投光して得られる画像の中から最適な画像を抽出し
    てそれぞれ端子高さを計算することを特徴とする請求項
    2に記載の電子部品実装方法。
  4. 【請求項4】 吸着された電子部品を撮像しその撮像デ
    ータから電子部品を位置決めして基板上に実装する電子
    部品実装方法において、 撮像データに基づいて電子部品の吸着角度ずれを補正
    し、 前記角度ずれを補正された電子部品の端子に光切断線を
    投光し、 光切断線により得られる画像データを空間一次微分また
    はこれに対応する近似式により画像処理して端子のエッ
    ジ検出を行い、 前記検出されたエッジから端子高さを求め、 該端子高さのデータに基づいて端子浮きを検査し電子部
    品を実装することを特徴とする電子部品実装方法。
  5. 【請求項5】 前記電子部品の端子近辺に複数の光切断
    線を投光して得られる画像の中から最適な画像を抽出し
    て端子高さを計算することを特徴とする請求項4に記載
    の電子部品実装方法。
  6. 【請求項6】 電子部品を吸着するノズル軸の垂直軸に
    対する傾きを補正したデータを空間一次微分またはこれ
    に対応する近似式により画像処理して端子のエッジ検出
    を行なうことを特徴とする請求項4又は5に記載の電子
    部品実装方法。
  7. 【請求項7】 吸着された電子部品を撮像しその撮像デ
    ータから電子部品を位置決めして基板上に実装する電子
    部品実装装置において、 撮像データに基づいて電子部品の吸着角度ずれを補正す
    る手段と、 前記角度ずれを補正された電子部品の端子近辺に複数の
    光切断線を投光する手段と、 前記複数の光切断線を投光したときに得られる画像の中
    から最適な画像を抽出して端子高さを計算する手段とを
    有し、 該端子高さのデータに基づいて端子浮きを検査し電子部
    品を実装することを特徴とする電子部品実装装置。
  8. 【請求項8】 吸着された電子部品を撮像しその撮像デ
    ータから電子部品を位置決めして基板上に実装する電子
    部品実装装置において、 撮像データを用いて電子部品の吸着角度ずれを補正する
    手段と、 角度補正された電子部品並びにそれから更に90°回転
    させた電子部品の端子にそれぞれ光切断線を投光して9
    0°回転される前後の電子部品の端子高さをそれぞれ計
    算する手段と、 90°回転される前後の電子部品の端子高さから電子部
    品を吸着するノズル軸の垂直軸に対する傾きを補正した
    端子高さのデータを求める手段とを有し、 この傾き補正された端子高さのデータに基づいて端子の
    浮きを検査し電子部品を実装することを特徴とする電子
    部品実装装置。
  9. 【請求項9】 前記電子部品の端子近辺に複数の光切断
    線を投光して得られる画像の中から最適な画像を抽出し
    てそれぞれ端子高さを計算することを特徴とする請求項
    8に記載の電子部品実装装置。
  10. 【請求項10】 吸着された電子部品を撮像しその撮像
    データから電子部品を位置決めして基板上に実装する電
    子部品実装装置において、 撮像データに基づいて電子部品の吸着角度ずれを補正す
    る手段と、 角度ずれを補正された電子部品の端子に光切断線を投光
    する手段と、 光切断線により得られる画像データを空間一次微分また
    はこれに対応する近似式により画像処理して端子のエッ
    ジを検出する手段と、 前記検出されたエッジから端子高さを求める手段とを有
    し、 該端子高さのデータに基づいて端子浮きを検査し電子部
    品を実装することを特徴とする電子部品実装装置。
  11. 【請求項11】 前記電子部品の端子近辺に複数の光切
    断線を投光して得られる画像の中から最適な画像を抽出
    して端子高さを計算することを特徴とする請求項10に
    記載の電子部品実装装置。
  12. 【請求項12】 電子部品を吸着するノズル軸の垂直軸
    に対する傾きを補正したデータを空間一次微分またはこ
    れに対応する近似式により画像処理して端子のエッジ検
    出を行なうことを特徴とする請求項10又は11に記載
    の電子部品実装装置。
JP2000323430A 2000-10-24 2000-10-24 電子部品実装方法及び装置 Expired - Fee Related JP4546635B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000323430A JP4546635B2 (ja) 2000-10-24 2000-10-24 電子部品実装方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000323430A JP4546635B2 (ja) 2000-10-24 2000-10-24 電子部品実装方法及び装置

Publications (2)

Publication Number Publication Date
JP2002134991A true JP2002134991A (ja) 2002-05-10
JP4546635B2 JP4546635B2 (ja) 2010-09-15

Family

ID=18801096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000323430A Expired - Fee Related JP4546635B2 (ja) 2000-10-24 2000-10-24 電子部品実装方法及び装置

Country Status (1)

Country Link
JP (1) JP4546635B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163498A (ja) * 2005-12-14 2007-06-28 Koh Young Technology Inc 3次元形状測定装置及び方法
JP2008021680A (ja) * 2006-07-10 2008-01-31 Juki Corp 電子部品の端子高さ計測方法
JP2008078399A (ja) * 2006-09-21 2008-04-03 Yamaha Motor Co Ltd 部品認識方法、部品認識装置、表面実装機及び部品検査装置
JP2008203229A (ja) * 2007-02-23 2008-09-04 Matsushita Electric Works Ltd 電子部品の端子位置検出方法
JP2014109530A (ja) * 2012-12-04 2014-06-12 Yasunaga Corp 欠陥検査装置及び欠陥検査方法
CN112184677A (zh) * 2020-09-30 2021-01-05 青岛思锐自动化工程有限公司 基于工业视觉的端子连接件检测方法
JP7437654B2 (ja) 2020-06-08 2024-02-26 パナソニックIpマネジメント株式会社 部品実装装置およびリード端子高さ計測方法
CN117862891A (zh) * 2024-03-11 2024-04-12 深圳市美迪泰克医药有限公司 一种电子助推仪的生产工艺

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274922B1 (ko) * 2019-12-27 2021-07-08 (주) 인텍플러스 슬릿빔을 이용한 배터리 외관 검사장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196424A (ja) * 1992-01-20 1993-08-06 Matsushita Electric Ind Co Ltd パターン認識方法
JPH07208955A (ja) * 1994-01-21 1995-08-11 Yamagata Casio Co Ltd リード計測装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196424A (ja) * 1992-01-20 1993-08-06 Matsushita Electric Ind Co Ltd パターン認識方法
JPH07208955A (ja) * 1994-01-21 1995-08-11 Yamagata Casio Co Ltd リード計測装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163498A (ja) * 2005-12-14 2007-06-28 Koh Young Technology Inc 3次元形状測定装置及び方法
US7830528B2 (en) 2005-12-14 2010-11-09 Koh Young Technology, Inc. 3D image measuring apparatus and method thereof
JP2008021680A (ja) * 2006-07-10 2008-01-31 Juki Corp 電子部品の端子高さ計測方法
JP2008078399A (ja) * 2006-09-21 2008-04-03 Yamaha Motor Co Ltd 部品認識方法、部品認識装置、表面実装機及び部品検査装置
JP2008203229A (ja) * 2007-02-23 2008-09-04 Matsushita Electric Works Ltd 電子部品の端子位置検出方法
JP2014109530A (ja) * 2012-12-04 2014-06-12 Yasunaga Corp 欠陥検査装置及び欠陥検査方法
JP7437654B2 (ja) 2020-06-08 2024-02-26 パナソニックIpマネジメント株式会社 部品実装装置およびリード端子高さ計測方法
CN112184677A (zh) * 2020-09-30 2021-01-05 青岛思锐自动化工程有限公司 基于工业视觉的端子连接件检测方法
CN112184677B (zh) * 2020-09-30 2022-10-04 青岛思锐自动化工程有限公司 基于工业视觉的端子连接件检测方法
CN117862891A (zh) * 2024-03-11 2024-04-12 深圳市美迪泰克医药有限公司 一种电子助推仪的生产工艺

Also Published As

Publication number Publication date
JP4546635B2 (ja) 2010-09-15

Similar Documents

Publication Publication Date Title
US6144452A (en) Electronic component mounting apparatus
JP4315536B2 (ja) 電子部品実装方法及び装置
EP1062853B1 (en) Component recognizing method and apparatus
JP5445509B2 (ja) 画像形成装置および画像形成方法ならびに部品実装装置
US6141040A (en) Measurement and inspection of leads on integrated circuit packages
JP2002134991A (ja) 電子部品実装方法及び装置
JP3578588B2 (ja) 電子部品実装装置
JP2002107126A (ja) 基板検査装置及び方法
EP2975921B1 (en) Component recognition system for component mounting machine
JP4191295B2 (ja) 半導体パッケージの検査装置
JP2004235671A (ja) 電子部品実装装置
JP2008294065A (ja) 電子部品の実装方法及び装置
JP2930746B2 (ja) 部品検査装置
JP2899121B2 (ja) 電子部品のリード線の断面像取得方法
JP2008151687A (ja) 電子部品の端子高さ計測方法
JP3923168B2 (ja) 部品認識方法及び部品実装方法
JP2001004339A (ja) 画像認識検査システムの照明むら測定方法および画像認識検査方法
JP3949257B2 (ja) 部品認識方法および部品検査、実装方法
JP2008128865A (ja) リード線位置検出方法および装置
JP3883279B2 (ja) 電子部品実装方法及び装置
JP2000101298A (ja) 部品位置整合装置及びこれを用いた部品位置整合方法
JP3922608B2 (ja) 高さ測定方法及び装置
JP2003130619A (ja) 電子部品の不良リード端子検出方法及び装置
JP2694819B2 (ja) リード位置検出装置
JP3692587B2 (ja) 実装部品の検査方法及びそれを用いた検査装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070207

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100702

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees