JP4361312B2 - Component recognition method and apparatus for surface mounter - Google Patents
Component recognition method and apparatus for surface mounter Download PDFInfo
- Publication number
- JP4361312B2 JP4361312B2 JP2003116020A JP2003116020A JP4361312B2 JP 4361312 B2 JP4361312 B2 JP 4361312B2 JP 2003116020 A JP2003116020 A JP 2003116020A JP 2003116020 A JP2003116020 A JP 2003116020A JP 4361312 B2 JP4361312 B2 JP 4361312B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- imaging
- scanning direction
- sub
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Supply And Installment Of Electrical Components (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、移動可能なヘッドユニットにより電子部品を吸着してプリント基板等の基板上に自動的に実装する表面実装機に適用されるものであって、ヘッドユニットにより吸着された電子部品を実装に先立って認識するための部品認識方法および同装置に関するものである。
【0002】
【従来の技術】
従来から、移動可能なヘッドユニットによりIC等の電子部品(以下、部品と略す)を部品供給部から取出してプリント基板上の所定位置に実装する表面実装機(以下、実装機と略す)が一般に知られている。
【0003】
この種の実装機では、通常、不良部品の実装を防止し、また実装時の位置ずれを防止するために、部品の実装に先立って搬送途中の吸着部品を画像認識し、その認識結果に基づいて不良部品の選別や実装位置の補正が行われている。
【0004】
部品の認識は、吸着部品の一面(主に下面)を撮像して行うのが主流であったが、近年では、リードの折れ等をより正確に検知すべく、吸着部品を複数の異なる方向から撮像し、例えば得られた画像を合成して3次元画像を形成して部品を認識することが行われている(例えば特許文献1)。この場合、吸着部品を撮像する手段としてリニアセンサ(ラインセンサ)を用い、これにより部品の搬送を中断させる(一時的に停止させる)ことなく吸着部品を画像認識することも行われている。
【0005】
【特許文献】
特開平7−151522号
【0006】
【発明が解決しようとする課題】
リニアセンサを用いて部品を認識する従来の方法では、主走査方向(撮像素子の配列方向)と副走査方向の解像度が同一となるように副走査方向の移動ステップ(撮像ピッチ)が設定されるのが一般的であり、従って、高い認識精度が要求される部品を実装する場合には、通常、素子(画素)数の多いリニアセンサを用い、その素子数に応じて副操作方向の撮像ピッチを短く設定することが行われている。
【0007】
しかし、実装機において実装される部品の大部分は比較的解像度の低いセンサであっても正確に認識できるものであり、従って、高い認識精度が要求される一部の部品のために素子数の多い高価なセンサを搭載して部品認識を行うのではスペック的にもコスト的にも無駄が多いと考えられる。また、この場合には、処理する画像データ数が一律に増大するため、認識容易な単純な形状を有する部品についても部品認識処理に時間を要することになり必ずしも合理的な方法とは言えない。
【0008】
本発明は、上記の課題を解決するためになされたものであって、部品認識を、安価な構成でより精度良く、かつ効率的に部品を認識できるようにすることを目的としている。
【0009】
【課題を解決するための手段】
上記課題を解決するために、本発明は、主走査方向に複数の撮像素子が並ぶリニアセンサをもつ撮像手段に対し、部品吸着用のヘッドユニットに吸着された部品を前記主走査方向と直交する副走査方向に相対的に移動させることにより前記吸着部品を撮像し、その画像に基づいて部品を認識する表面実装機の部品認識方法において、前記撮像手段による副走査方向における画像の撮像ピッチとして、予め部品の種類に応じて、主走査方向における画像の解像度と副走査方向における同解像度とがほぼ等しくなる第1の撮像ピッチ及び副走査方向における画像の解像度が主走査方向における同解像度よりも高くなる第2の撮像ピッチのうち何れかの撮像ピッチを設定しておき、前記ヘッドユニットに吸着された部品の認識の際には、その吸着部品の種類に応じた撮像ピッチで部品を撮像するようにしたものである。
【0010】
このように部品の種類に応じて副走査方向の撮像ピッチを切換えるようにすれば、例えば形状が複雑で認識が困難な部品、あるいは微細な変形等に基づいて部品不良を判別する必要がある部品については副走査方向の撮像ピッチを第2の撮像ピッチに設定しておくことによって解像度の高い副走査方向の画像データを得ることが可能となり、この画像データに基づいて部品を認識することにより精度良く部品を認識することが可能となる。一方、形状が単純で認識容易な部品については、副走査方向の撮像ピッチを第1の撮像ピッチに設定して少ない画像データ量で部品を認識することにより、部品を正確に認識しながらも画像処理等、部品の認識処理に要する時間を短縮することができる。つまり、部品の種類に応じて副走査方向の撮像ピッチを切換えることによって、比較的素子数の少ない安価なセンサを用いながらも全ての種類の部品を精度良く認識できるようになる。
【0011】
なお、パッケージの周囲にリードをもつ所謂リード付き部品については、リードに僅かな変形があっても不良部品として扱われるものがあるため、この種のリード付き部品は無リード部品に比べて高い認識精度が要求される。従って、上記の方法においては、周囲にリードをもつリード付き部品については第2の撮像ピッチを設定する一方、リードを持たない無リード部品については第1の撮像ピッチを設定しておくのが、好ましい。
【0012】
また、この場合、無リード部品についてはその吸着面とは反対側の面を一方向からのみ撮像し、前記リード付き部品については前記一方向を含む複数の方向から部品を撮像するのが、より好ましい。このようにリード付き部品については複数の方向から部品を撮像することにより、一方向からだけでは認識し難いリードの変形等を確実に検知できるようになる。
【0013】
一方、本発明に係る部品認識装置は、主走査方向に複数の撮像素子が並ぶリニアセンサをもつ撮像手段と、部品吸着用のヘッドユニットに吸着された部品と撮像手段とを副走査方向に相対的に移動させる副走査方向駆動手段と、撮像手段により撮像される画像に基づいて部品を認識する部品認識手段とを備えた表面実装機の部品認識装置において、前記撮像手段による副走査方向における画像の撮像ピッチとして、部品の種類に応じて、主走査方向における画像の解像度と副走査方向における同解像度とがほぼ等しくなる第1の撮像ピッチ及び副走査方向における画像の解像度が主走査方向における同解像度よりも高くなる第2の撮像ピッチのうち何れかの撮像ピッチを設定する撮像ピッチ設定手段と、この撮像ピッチ設定手段で設定された撮像ピッチで前記ヘッドユニットに吸着された吸着部品を撮像させるべく前記撮像手段と前記副走査方向駆動手段とを駆動制御する制御手段とを備えているものである。
【0014】
この装置によると、副走査方向駆動手段の作動によりヘッドユニットと撮像手段とが相対的に副走査方向に移動し、この移動中に吸着部品の像が撮像手段のリニアセンサにより主走査方向および副走査方向に取り込まれる。この際、撮像ピッチ設定手段により設定された当該吸着部品に対応する撮像ピッチで吸着部品の像が副走査方向に取り込まれ、その画像に基づき部品認識手段において吸着部品の認識処理が行われることとなる。従って、上述したような方法に基づく部品認識の自動化を進めることが可能となる。
【0015】
この装置においては、前記撮像手段として、前記吸着部品をその吸着面の反対側から撮像する第1撮像手段と、前記吸着部品を境にして該部品の位置よりも副走査方向における一方側に偏った位置であって、かつ部品の吸着面又はそれとは反対の面の何れかの側から斜め方向に吸着部品を撮像する第2撮像手段とを備え、さらに部品の種類に応じて第1撮像手段のみにより部品を撮像するモードと、両撮像手段により部品を撮像するモードとに切換えるモード切換手段とを備えているのが、好ましい。
【0016】
この構成によれば、例えば形状が複雑で認識が困難な部品、あるいは微細な変形等に基づいて部品不良を判別する必要がある部品については第1及び第2の両撮像手段を使って部品を撮像することにより、複数方向の画像に基づいて精度良く部品を認識できる。一方、形状が単純で認識が容易な部品については、第1撮像手段のみにより部品を撮像することにより、少ない画像データ量で部品を認識することが可能となり、部品を正確に認識する一方で画像処理等、部品の認識処理に要する時間を短縮することができる。従って、部品の種類に応じて合理的に部品認識を進めることが可能となる。
【0017】
なお、より具体的な構成として、前記ヘッドユニットは、前記副走査方向に延び、かつ前記主走査方向に移動可能に設けられた支持部材に支持され、この支持部材に沿って前記副走査方向に移動可能に構成されているものであればよい。
【0018】
この構成によると、支持部材の移動およびこの支持部材に対するヘッドユニットの移動により吸着部品が平面的に搬送されながら部品の実装が行われる。そして、部品認識時には、ヘッドユニットが支持部材に沿って移動することにより吸着部品が撮像手段に対して相対的に副走査方向に移動させられ、これにより撮像手段により各吸着部品の撮像が行われる。
【0019】
【発明の実施の形態】
本発明の実施の形態について図面に基づいて説明する。
【0020】
図1及び図2は、本発明に係る部品認識装置(方法)が適用される表面実装機を概略的に示している。なお、同図中には、方向を明確にするためにX軸、Y軸及びZ軸を示している。
【0021】
同図に示すように、実装機の基台1上には、プリント基板搬送用のコンベア2がX軸方向に配置され、プリント基板3がこのコンベア2上を搬送されて所定の装着作業位置で停止されるようになっている。上記コンベア2の側方には、部品供給部4が配置されている。この部品供給部4は部品供給用のフィーダーを備え、例えば多数列のテープフィーダー4aを備えている。
【0022】
また、上記基台1の上方には、部品装着用のヘッドユニット5が装備されている。このヘッドユニット5は、部品供給部4とプリント基板3が位置する部品装着部とにわたって移動可能とされ、当実施形態ではX軸方向およびY軸方向(水平面上でX軸と直交する方向)に移動することができるようになっている。
【0023】
すなわち、上記基台1上には、Y軸方向の固定レール7と、Y軸サーボモータ9により回転駆動されるボールねじ軸8とが配設され、上記固定レール7上にヘッドユニット支持部材11が配置されて、この支持部材11に設けられたナット部分12が上記ボールねじ軸8に螺合している。また、上記支持部材11には、X軸方向のガイド部材13と、X軸サーボモータ15により駆動されるボールねじ軸14とが配設され、上記ガイド部材13にヘッドユニット5が移動可能に保持され、このヘッドユニット5に設けられたナット部分(図示せず)がボールねじ軸14に螺合している。そして、Y軸サーボモータ9の作動により上記支持部材11がY軸方向に移動するとともに、X軸サーボモータ15の作動によりヘッドユニット5が支持部材11に対してX軸方向に移動するようになっている。
【0024】
また、Y軸サーボモータ9及びX軸サーボモータ15には、それぞれロータリエンコーダ10,16が設けられており、これによって上記ヘッドユニット5の移動位置検出がなされるようになっている。
【0025】
上記ヘッドユニット5には、部品吸着用のノズル20aを先端に備えた吸着ヘッド20が設けられ、図2に示すように当実施形態ではX軸方向に8つの吸着ヘッド20が並べて設けられている。各吸着ヘッド20は、それぞれ、ヘッドユニット5のフレームに対して昇降及びノズル中心軸回りの回転が可能とされ、図外の昇降駆動機構及び回転駆動機構により作動されるようになっている。なお、上記昇降駆動機構は、例えば、各吸着ヘッド20を同時に上下動させる全体昇降用サーボモータと、各吸着ヘッド20を個別に一定ストロークだけ昇降させる所定数(8個)のエアシリンダとを備え、それらを併用することにより、各吸着ヘッド20を所定の上昇位置と下降位置とにわたって昇降させるように構成されている。また、回転駆動手段は、1個の回転用サーボモータとこのサーボモータの回転を各ヘッドに伝える伝動機構とから構成されている。
【0026】
また、部品供給部4の側方には、ヘッドユニット5の各吸着ヘッド20に吸着された部品をプリント基板3への実装に先だって認識するための2つの撮像ユニット21,22が配設されている。
【0027】
撮像ユニット21,22(第1撮像ユニット21、第2撮像ユニット22という)は、同図に示すようにX軸方向に間隔を隔てて配設されており、それぞれ吸着ヘッド20に吸着された部品(吸着部品)を撮像するカメラ23と部品撮像用の照明を提供する照明装置24とを備えている。
【0028】
各カメラ23は、それぞれY軸方向に複数の撮像素子が並ぶリニアセンサ(ラインセンサ)を備えたカメラで、X軸方向に所定間隔を隔てて配置されており、各ラインセンサの素子の配列方向(主走査方向;Y軸方向)と直交する方向(副走査方向;X軸方向)にヘッドユニット5が移動することにより、各カメラ23により、各吸着ヘッド20に吸着された部品の主走査方向の画像を副走査方向に順次取込むようになっている。なお、各カメラ23のリニアセンサは素子数が同じ同一構成のセンサで、各カメラ23はリニアセンサの対応する素子同士がY軸方向に並ぶように基台1上に固定されている。
【0029】
各カメラ23は、互いに視差が出るように配置されている。具体的に説明すると、図3に示すように、第1撮像ユニット21のカメラ23(第1撮像手段)は、吸着部品をその真下から撮像するようにZ軸方向上向きに配置されており、撮像ユニット22のカメラ23(第2撮像手段)は、第2撮像ユニット21のカメラ23の撮像位置に対して斜めに、すなわち第1撮像ユニット21のカメラ23により撮像される吸着部品を斜め方向から撮像し得るようにZ軸に対して45°傾いた状態で上向きに配置されている。これにより共通の部品を各カメラ23によりそれぞれ異なる方向から同時に撮像するようになっている。
【0030】
上記照明装置24は、光源としてLEDランプを備えており、詳しく図示していないが、像入射用の空間を有した筒形のフレーム内に、多数のLEDランプ等を備えた構成となっている。
【0031】
図4は上記実装機の制御系をブロック図で示している。実装機は、論理演算を実行する周知のCPU、そのCPUを制御する種々のプログラムなどを予め記憶するROMおよび装置動作中に種々のデータを一時的に記憶するRAM等から構成される制御装置30を有している。
【0032】
この制御装置30は、その機能構成として主制御部31、記憶部32、照明制御部33、カメラ制御部34、タイミング発生部35、画像処理部36および軸制御部37を含んでいる。なお、主制御部31には、制御プログラム等の各種情報を入力するための図外の入力手段が接続されている。
【0033】
主制御部31は、実装機の動作を統括的に制御するもので、予め記憶されたプログラムに従ってヘッドユニット5等を作動させるべく軸制御部37を介してサーボモータ9,15等の駆動を制御する。また、撮像ユニット21,22により撮像される部品画像に基づいて吸着ヘッド20による部品の吸着ずれ量(実装位置に関する補正値)を演算するとともに部品の良否判定等を行う。特に、撮像ユニット21,22による部品の撮像に際しては、部品の種類に応じて通常認識モード又は3D認識モードの何れかのモードで部品認識を実行すべく照明制御部33およびカメラ制御部34に向けて制御信号を出力する。ここで、通常認識モードとは、例えば実装部品が矩形のチップ部品等、単純形状の部品に対して実施される認識モードで、吸着ヘッド20に吸着された部品を一方側の第1撮像ユニット21のみで撮像し、その画像データに基づいて部品を認識するモードである。すなわち吸着部品をその真下(Z軸方向)からのみ撮像して部品を認識するモードである。一方、3D認識モードとは、吸着ヘッド20に吸着された部品を両撮像ユニット21,22により同時に撮像することにより、二方向からの画像データに基づいて部品を認識するモードで、例えば周囲にリードをもつリード付き部品等、形状の複雑な部品の認識に適用される。
【0034】
なお、主制御部31は、部品認識を3D認識モードで行う場合には、各カメラ23による副走査方向の撮像ピッチを通常認識モードよりも短いピッチで行わせるべくタイミング発生部35に撮像ピッチ切換え制御信号を出力する。
【0035】
記憶部32は、実装部品の種類とその種類に対応する部品認識モードとの関係、および各部品認識モードの撮像ピッチに関するデータを記憶するものである。
【0036】
照明制御部33およびカメラ制御部34は、それぞれ前記撮像ユニット21,22の照明装置24およびカメラ23の駆動を制御するものである。
【0037】
タイミング発生部35は、画像の取り込みタイミング信号をカメラ制御部34に出力するもので、X軸サーボモータ15のエンコーダ16から出力されるパルス信号を前記撮像ピッチに対応する分周比で分周し、そのタイミングで前記カメラ制御部34にタイミング信号を出力するもので、カメラ制御部34はこのタイミング信号に同期して副走走査方向に画像を取り込む。
【0038】
なお、タイミング発生部35は、通常は、上記通常認識モードに対応した所定のタイミングでカメラ制御部34にタイミング信号を出力するが、上記のように主制御部31から撮像ピッチ切換え制御信号が出力されると、これに応じて2倍の分周比を設定し、これにより通常認識モード時の1/2の間隔でタイミング信号を出力する。すなわち、このタイミング信号に基づいてカメラ23が制御されることにより副走査方向の撮像ピッチが通常認識モード時の1/2に切換えられるようになっている。なお、具体的な撮像ピッチは当実施形態において限定されるものではないが、例えば当実施形態では、通常認識モード時には、主走査方向の画像データの解像度と副走査方向の画像データの解像度とが略等しくなるように撮像ピッチが設定されており(第1の撮像ピッチ)、従って、3D認識モード時には、主走査方向の画像データの解像度に対して副走査方向の画像データの解像度が2倍となるように撮像ピッチが設定されている(第2の撮像ピッチ)。
【0039】
画像処理部36は、撮像ユニット21,22の各カメラ23から出力される画像信号に所定の処理を施すことにより部品認識に適した画像データを生成して主制御部31に出力するものである。
【0040】
なお、この制御装置30の構成については、X軸サーボモータ15及びエンコーダ16等により本発明の副走査方向駆動手段が構成され、主制御部31及び画像処理部36等により本発明の部品認識手段が構成され、主制御部31、記憶部32により本発明の撮像ピッチ設定手段およびモード切換手段が構成され、主制御部31、カメラ制御部34及びタイミング発生部35により本発明の制御手段が構成されている。
【0041】
次に、上記制御装置30の制御による実装動作について説明する。
【0042】
実装動作が開始されると、まずヘッドユニット5が部品供給部4に移動し、各吸着ヘッド20によりテープフィーダー4aから部品を吸着する。部品の吸着が完了すると、ヘッドユニット5が撮像ユニット21、22上に移動して各カメラ23に対して相対的に移動する。具体的には、ヘッドユニット5が撮像ユニット21、22に対してX軸方向一方側から他方に向かって(図1では左側から右側に向かって)移動する。これによりヘッドユニット5の各吸着ヘッド20に吸着された部品が撮像ユニット21,22の各カメラ23により順次撮像される。
【0043】
各カメラ23により各吸着部品が撮像されると、撮像された各部品の画像データに基づいて吸着部品の認識が行われ、吸着ヘッド20に対する部品の吸着位置ずれ、および良否判定が行われる。
【0044】
そして、部品認識結果に基づき、吸着ずれが生じている場合には、そのずれを是正するようにヘッドユニット5が移動してプリント基板3上に部品を実装する。一方、不良部品が含まれている場合には、他の部品をプリント基板3上に実装した後、当該不良部品を廃棄すべくヘッドユニット5が所定の廃棄部品収納部(図示省略)に移動する。これにより一連の実装動作が完了することとなる。
【0045】
ここで、上記の実装動作中に行われる部品認識のための動作制御について図5のフローチャートを用いて具体的に説明する。
【0046】
まず、ステップS1において3D認識モードを実行するか否かが判断される。ここで、3D認識モードを実行しないと判断された場合には、ステップS6に移行され、ここで通常認識モードが実行される(ステップS6)。
【0047】
通常認識モードでは、第1撮像ユニット21のみが駆動され、上記のように撮像ユニット21、22の上方をヘッドユニット5が通過する間に、第1撮像ユニット21のみによって各吸着ヘッド20に吸着された部品が撮像され、その画像データに基づいて部品の認識が行われる(ステップS5)。
【0048】
一方、3D認識モードを実行すると判断された場合には(ステップS1でYES)、主制御部31からタイミング発生部35に撮像ピッチ切換え制御信号が出力されてタイミング信号の発信間隔が切換えられるとともに、照明装置24による照明点灯時間が、変更後の撮像ピッチに対応した時間に変更される(ステップS2,S3)、そして、その後ステップS4に移行され、ここで3D認識モードが実行される(ステップS4)。
【0049】
3D認識モードでは、第1及び第2の両撮像ユニット21,22が駆動され、上記のように撮像ユニット21、22の上方をヘッドユニット5が通過する間に、各吸着ヘッド20に吸着された部品が通常認識モード時の1/2の撮像ピッチで両撮像ユニット21,22によって撮像され、各撮像ユニット21,22によって撮像された部品の画像データに基づいて部品の認識が行われる(ステップS5)。こうして部品の認識が終了すると、本フローチャートを終了する。
【0050】
以上のようにこの実装機では、リニアセンサをもつ各カメラ23を備えた撮像ユニット21,22を設け、これら撮像ユニット21,22に対して吸着部品を移動させながら部品を撮像するので、効率良く部品を認識することができる。
【0051】
しかも、この実装機では、実装部品の種類に応じて吸着部品をその真下からのみ撮像して認識する通常認識モードと、吸着部品をその真下および斜め方向の2方向から撮像する3D認識モードとに切換えるようにしているため、部品の認識をその種類に応じて合理的に行うことができる。すなわち、矩形のチップ部品等、単純形状の部品については通常認識モードで部品認識を行うことにより、少ない画像データ数で部品の認識を行うことができ、その結果、部品を正確に認識しながらもの認識時間を短縮することができる。一方、周囲にリードをもつリード付き部品等については3D認識モードで部品認識を行うことにより、リードの浮き等、真下からの部品画像のみでは検出できない部品不良等を精度良く検出することができる。従って、部品認識を精度良く、かつ可及的速やかに行うことが可能となり、部品の認識処理を合理的に進めることができる。
【0052】
特に、3D認識モード時には、副走査方向の撮像ピッチを通常認識モード時の1/2に切換えて部品を撮像するので、比較的安価な構成で精度良く部品を認識できるという利点がある。つまり、副走査方向の撮像ピッチを1/2にすることによって3D認識モードでは通常認識モード時の2倍の解像度で副走査方向に画像を取り込むことができる。そのため、カメラ23として比較的素子数の少ないものを使用しながらも、必要に応じて撮像モードを3D認識モードに切換えて解像度の高い画像データを取得することにより、解像度の高い画像に基づいて部品を精度良く認識することが可能となる。例えばリードの浮き具合(浮き量)は、吸着部品を斜め方向に撮像した画像(第2撮像ユニットのカメラ23により撮像した画像)において隣接するリードとの間隔として表れるため、通常認識モード時の2倍の解像度でその間隔を認識することによって異常なリードの浮きを精度良く検知することが可能となる。従って、比較的素子数の少ない安価なカメラ23を使って全ての部品を精度良く認識することができるようになる。
【0053】
なお、以上説明した実装機は、本発明にかかる部品認識装置(方法)が適用される実装機の一実施形態であって、部品認識装置(方法)や実装機の具体的な構成等は、本発明の要旨を逸脱しない範囲で適宜変更可能である。例えば、以下のような態様を採用することもできる。
(1)実施形態では、タイミング発生部35におけるタイミング信号の出力間隔を変更することにより吸着部品の撮像ピッチを変更するようにしているが、例えば、タイミング信号の出力間隔は一定で、吸着部品(ヘッドユニット5)の移動速度を変えることにより吸着部品の撮像ピッチを変更するようにしてもよい。この場合には、主制御部31及び軸制御部37により本発明の制御手段が構成されることとなる。
(2)実施形態では、吸着部品の撮像ピッチが二段階に切換可能に構成されているが、3段階、あるいはそれ以上の複数段階に切換可能な構成としてもよい。なお、撮像ピッチを短くすると光量が不足しがちになるため、撮像ピッチをより短く設定する場合には、予備の照明装置を搭載してこれを必要に応じて使用したり、あるいは照明装置の構成はそのままで吸着部品(ヘッドユニット5)の移動速度を調整することにより必要な照明を確保するようにすればよい。
(3)また、通常認識モードおよび3D認識モードの各モードで、それぞれ撮像ピッチを切換可能に構成してもよい。これによれば部品認識時に取得できる画像(副走査方向の解像度)の自由を高めることができるため、部品認識の精度を高める上で有効となる。
(4) 撮像ユニットの数、配置、撮像角度等は、実施形態に示したものに限られるものではなく、実装部品をより精度良く認識できるように適宜設定すればよい。
【0054】
【発明の効果】
以上説明したように、本発明は、主走査方向に複数の撮像素子が並ぶリニアセンサをもつ撮像手段に対し、吸着部品を副走査方向に相対的に移動させることにより該吸着部品を撮像し、その画像に基づいて部品を認識する表面実装機の部品認識方法において、前記撮像手段による副走査方向における画像の撮像ピッチとして、予め部品の種類に応じて、主走査方向における画像の解像度と副走査方向における同解像度とがほぼ等しくなる第1の撮像ピッチ及び副走査方向における画像の解像度が主走査方向における同解像度よりも高くなる第2の撮像ピッチのうち何れかの撮像ピッチを設定しておき、ヘッドユニットに吸着された部品の認識の際には、その吸着部品の種類に応じた撮像ピッチで部品を撮像するようにしたので、例えば形状が複雑で認識が困難な部品、あるいは微細な変形等に基づいて不良を判別する必要がある部品については第2の撮像ピッチを設定しておくことにより、副走査方向について解像度の高い画像データを得ることが可能となり、この画像データに基づいて部品を認識することにより部品の認識精度を高めることができる。一方、形状が単純で認識が容易な部品については、第1の撮像ピッチを設定して少ない画像データ量で部品を認識することにより、正確に部品を認識しながらも画像処理等、部品の認識処理に要する時間を短縮することができる。従って、比較的素子数の少ないリニアセンサをもつ安価な撮像手段を使いながら効率的に、かつ精度良く全ての部品を認識することができるようになる。
【図面の簡単な説明】
【図1】 本発明に係る部品認識装置(方法)が適用される表面実装機の一例を示す平面図である。
【図2】 上記表面実装機を示す正面図である。
【図3】 第1及び第2の撮像ユニットの各カメラの配置関係を示す模式図である。
【図4】 表面実装機の制御系(主に部品認識動作を司る部分)を示すブロック構成図である。
【図5】 上記制御系による部品認識の動作制御を説明するフローチャートである。
【符号の説明】
5 ヘッドユニット
20 吸着ヘッド
20a ノズル
21,22 撮像ユニット
23 カメラ
24 照明装置
30 制御装置
31 主制御部
33 照明制御部
34 カメラ制御部
35 タイミング発生部
36 画像処理部
37 軸制御部[0001]
BACKGROUND OF THE INVENTION
The present invention is applied to a surface mounter that picks up an electronic component by a movable head unit and automatically mounts the electronic component on a printed circuit board or the like, and mounts the electronic component sucked by the head unit. The present invention relates to a component recognition method and apparatus for recognizing prior to the operation.
[0002]
[Prior art]
Conventionally, a surface mounting machine (hereinafter abbreviated as a mounting machine) that takes out an electronic component such as an IC (hereinafter abbreviated as a part) from a component supply unit and mounts it at a predetermined position on a printed circuit board by a movable head unit is generally used. Are known.
[0003]
In this type of mounting machine, in order to prevent the mounting of defective parts and to prevent misalignment during mounting, the suction parts in the middle of conveyance are image-recognized prior to mounting the parts, and based on the recognition results. Thus, defective parts are selected and mounting positions are corrected.
[0004]
The main part of component recognition is to pick up one surface (mainly the lower surface) of the suction component. However, in recent years, the suction component can be detected from a plurality of different directions in order to detect lead breakage more accurately. For example, a part is recognized by forming a three-dimensional image by synthesizing the obtained images and combining the obtained images (for example, Patent Document 1). In this case, a linear sensor (line sensor) is used as means for imaging the suction component, and thereby, the suction component is image-recognized without interrupting (temporarily stopping) the conveyance of the component.
[0005]
[Patent Literature]
JP 7-151522 A
[Problems to be solved by the invention]
In the conventional method of recognizing a component using a linear sensor, the moving step (imaging pitch) in the sub-scanning direction is set so that the resolution in the main scanning direction (imaging element arrangement direction) and the sub-scanning direction are the same. Therefore, when mounting components that require high recognition accuracy, a linear sensor with a large number of elements (pixels) is usually used, and the imaging pitch in the sub-operation direction depends on the number of elements. Is set to be short.
[0007]
However, most of the components mounted on the mounting machine can be accurately recognized even with a relatively low resolution sensor. Therefore, the number of elements for some components that require high recognition accuracy. It is thought that there is a lot of waste in terms of specifications and cost if parts are recognized by mounting many expensive sensors. In this case, since the number of image data to be processed increases uniformly, it takes time for the component recognition processing even for a component having a simple shape that can be easily recognized, which is not necessarily a rational method.
[0008]
The present invention has been made to solve the above-described problems, and an object of the present invention is to make it possible to recognize a component more accurately and efficiently with an inexpensive configuration.
[0009]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention is directed to an imaging unit having a linear sensor in which a plurality of imaging elements are arranged in the main scanning direction, and a component sucked by a component suction head unit is orthogonal to the main scanning direction. In the component recognition method of the surface mounter that images the suction component by moving it relatively in the sub-scanning direction and recognizes the component based on the image, as the imaging pitch of the image in the sub-scanning direction by the imaging means, in advance in accordance with the type of part, than the resolution in the main-resolution in the scanning direction and the resolution of the image and the resolution in the sub-scanning direction substantially equal Na Ru first imaging pitch and the image in the sub-scanning direction is the main scanning direction have set up either imaging pitch of the higher becomes the second imaging pitch at the time of recognition of component sucked to the head unit, the suction unit Imaging pitch corresponding to the type is obtained so as to image the parts.
[0010]
Thus, if the imaging pitch in the sub-scanning direction is switched according to the type of component, for example, a component whose shape is complicated and difficult to recognize, or a component that needs to determine a component defect based on minute deformation, etc. for it is possible to obtain an image data of higher resolution sub-scanning direction by the setting the imaging pitch of the sub-scanning direction in the second imaging pitch accuracy by recognizing the part based on the image data It becomes possible to recognize parts well. On the other hand, for parts that are simple in shape and easy to recognize, the image can be recognized while accurately recognizing the part by setting the imaging pitch in the sub-scanning direction to the first imaging pitch and recognizing the part with a small amount of image data. Time required for component recognition processing such as processing can be shortened. In other words, by switching the imaging pitch in the sub-scanning direction according to the type of component, all types of components can be accurately recognized while using an inexpensive sensor with a relatively small number of elements.
[0011]
In addition, some so-called leaded parts with leads around the package are treated as defective parts even if the lead is slightly deformed, so this kind of leaded part is highly recognized compared to non-leaded parts. Accuracy is required. Therefore, in the above method, the second imaging pitch is set for a leaded part having a lead around, while the first imaging pitch is set for a non-leaded part having no lead. preferable.
[0012]
Also, in this case, for the lead-free component, the surface opposite to the suction surface is imaged only from one direction, and for the leaded component, the component is imaged from a plurality of directions including the one direction. preferable. As described above, by imaging the component from a plurality of directions, it is possible to reliably detect the deformation of the lead that is difficult to recognize from only one direction.
[0013]
On the other hand, the component recognition apparatus according to the present invention relates to an imaging unit having a linear sensor in which a plurality of imaging elements are arranged in the main scanning direction, a component adsorbed by a component adsorption head unit, and the imaging unit relative to each other in the sub-scanning direction. In a component recognition apparatus for a surface mounter comprising: a sub-scanning direction driving unit that moves the image automatically; and a component recognition unit that recognizes a component based on an image captured by the imaging unit. As the imaging pitch of the first imaging pitch and the resolution of the image in the sub-scanning direction are substantially the same in the main scanning direction, the resolution of the image in the main scanning direction and the same resolution in the sub-scanning direction are the same. An imaging pitch setting means for setting any one of the second imaging pitches higher than the resolution, and the imaging pitch setting means In which and a control means for driving and controlling said sub-scanning direction driving means and before Symbol IMAGING means in order to image the adsorbed component adsorbed on the head unit in the image pitch.
[0014]
According to this apparatus, the head unit and the imaging unit move relatively in the sub-scanning direction by the operation of the sub-scanning direction driving unit, and during this movement, the image of the suction component is detected by the linear sensor of the imaging unit. Captured in the scanning direction. At this time, an image of the suction component is captured in the sub-scanning direction at the imaging pitch corresponding to the suction component set by the imaging pitch setting means, and the suction component recognition processing is performed in the component recognition means based on the image. Become. Therefore, it is possible to advance automation of component recognition based on the method as described above.
[0015]
In this apparatus, as the imaging means, the first imaging means for imaging the suction component from the opposite side of the suction surface, and the position of the component biased to one side in the sub-scanning direction with the suction component as a boundary. And a second imaging means for imaging the suction component in an oblique direction from either side of the suction surface of the component or the surface opposite thereto, and further, the first imaging means according to the type of the component It is preferable to include a mode switching unit that switches between a mode in which the component is imaged only and a mode in which the component is imaged by both imaging units.
[0016]
According to this configuration, for example, for parts that are complicated in shape and difficult to recognize, or for parts that need to be identified as part defects based on minute deformations, the parts are detected using both the first and second imaging means. By capturing an image, the component can be recognized with high accuracy based on images in a plurality of directions. On the other hand, for a component that is simple in shape and easy to recognize, it is possible to recognize the component with a small amount of image data by imaging the component only with the first imaging means, and the image can be recognized while accurately recognizing the component. Time required for component recognition processing such as processing can be shortened. Therefore, it is possible to reasonably proceed with component recognition according to the type of component.
[0017]
As a more specific configuration, the head unit is supported by a support member that extends in the sub-scanning direction and is movable in the main-scanning direction, and extends in the sub-scanning direction along the support member. Any device that is configured to be movable may be used.
[0018]
According to this configuration, the components are mounted while the suction component is transported in a plane by the movement of the support member and the movement of the head unit relative to the support member. At the time of component recognition, the suction unit is moved in the sub-scanning direction relative to the imaging unit by moving the head unit along the support member, whereby the imaging unit performs imaging of each suction component. .
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0020]
1 and 2 schematically show a surface mounter to which a component recognition apparatus (method) according to the present invention is applied. In the figure, the X axis, the Y axis, and the Z axis are shown to clarify the direction.
[0021]
As shown in the figure, on the
[0022]
A
[0023]
That is, a fixed
[0024]
The Y-axis servo motor 9 and the
[0025]
The
[0026]
Further, two
[0027]
The
[0028]
Each
[0029]
The
[0030]
The illuminating
[0031]
FIG. 4 is a block diagram showing the control system of the mounting machine. The mounting machine is a
[0032]
The
[0033]
The
[0034]
Note that, when the component recognition is performed in the 3D recognition mode, the
[0035]
The
[0036]
The
[0037]
The
[0038]
The
[0039]
The
[0040]
As for the configuration of the
[0041]
Next, the mounting operation by the control of the
[0042]
When the mounting operation is started, the
[0043]
When each suction component is imaged by each
[0044]
Then, based on the component recognition result, if a suction deviation has occurred, the
[0045]
Here, the operation control for component recognition performed during the mounting operation will be specifically described with reference to the flowchart of FIG.
[0046]
First, in step S1, it is determined whether or not to execute the 3D recognition mode. If it is determined that the 3D recognition mode is not to be executed, the process proceeds to step S6, where the normal recognition mode is executed (step S6).
[0047]
In the normal recognition mode, only the
[0048]
On the other hand, when it is determined to execute the 3D recognition mode (YES in step S1), an imaging pitch switching control signal is output from the
[0049]
In the 3D recognition mode, both the first and
[0050]
As described above, in this mounting machine, the
[0051]
In addition, in this mounting machine, there are a normal recognition mode for picking up and recognizing the picked-up component only from directly below and a 3D recognition mode for picking up the picked-up component from two directions, directly below and obliquely, depending on the type of mounted component. Since switching is performed, it is possible to rationally recognize parts according to their types. In other words, for simple shaped parts such as rectangular chip parts, parts can be recognized with a small number of image data by performing part recognition in the normal recognition mode. Recognition time can be shortened. On the other hand, by performing component recognition in the 3D recognition mode for components with leads around the periphery, it is possible to accurately detect component defects that cannot be detected only by component images from directly below, such as floating of the leads. Accordingly, the component recognition can be performed with high accuracy and as quickly as possible, and the component recognition process can be rationally advanced.
[0052]
In particular, in the 3D recognition mode, the image is picked up by switching the imaging pitch in the sub-scanning direction to 1/2 that in the normal recognition mode. That is, by setting the imaging pitch in the sub-scanning direction to ½, in the 3D recognition mode, an image can be captured in the sub-scanning direction with twice the resolution as in the normal recognition mode. For this reason, while using a
[0053]
The mounting machine described above is an embodiment of a mounting machine to which the component recognition apparatus (method) according to the present invention is applied. The specific configuration of the component recognition apparatus (method) and the mounting machine is as follows. Modifications can be made as appropriate without departing from the scope of the present invention. For example, the following aspects can also be adopted.
(1) In the embodiment, the imaging pitch of the suction component is changed by changing the output interval of the timing signal in the
(2) In the embodiment, the imaging pitch of the suction component is configured to be switchable in two stages, but may be configured to be switchable in three stages or more than a plurality of stages. Note that if the imaging pitch is shortened, the amount of light tends to be insufficient. Therefore, when setting the imaging pitch shorter, a spare illumination device is installed and used as necessary, or the illumination device is configured. The necessary illumination may be ensured by adjusting the moving speed of the suction component (head unit 5) as it is.
(3) The imaging pitch may be switched in each of the normal recognition mode and the 3D recognition mode. According to this, since freedom of an image (resolution in the sub-scanning direction) that can be acquired at the time of component recognition can be increased, it is effective in improving the accuracy of component recognition.
(4) The number, arrangement, imaging angle, and the like of the imaging units are not limited to those shown in the embodiment, and may be set as appropriate so that the mounted components can be recognized with higher accuracy.
[0054]
【The invention's effect】
As described above, the present invention images the suction component by relatively moving the suction component in the sub-scanning direction with respect to the imaging means having a linear sensor in which a plurality of imaging elements are arranged in the main scanning direction. In the component recognition method for a surface mounter that recognizes a component based on the image, the image resolution in the main scanning direction and the sub-scanning according to the type of the component in advance as the imaging pitch of the image in the sub-scanning direction by the imaging means set one of the imaging pitch of the second imaging pitch image resolution of the first image pickup pitch and the sub-scanning direction ing the same resolution substantially equal in the direction is higher than the resolution in the main scanning direction placed, upon recognition of the component adsorbed on the head unit. Thus imaging the component by the imaging pitch corresponding to the type of the adsorption components, for example, shapes By setting the second imaging pitch for parts that need to determine the defect based on coarse in the hard component recognition or fine deformation, to obtain resolution higher image data in the sub-scanning direction Thus, the recognition accuracy of the component can be increased by recognizing the component based on the image data. On the other hand, for parts that are simple in shape and easy to recognize, the first image pickup pitch is set and the parts are recognized with a small amount of image data. The time required for processing can be shortened. Accordingly, it is possible to recognize all components efficiently and accurately while using an inexpensive imaging means having a linear sensor with a relatively small number of elements.
[Brief description of the drawings]
FIG. 1 is a plan view showing an example of a surface mounter to which a component recognition apparatus (method) according to the present invention is applied.
FIG. 2 is a front view showing the surface mounter.
FIG. 3 is a schematic diagram showing a positional relationship between the cameras of the first and second imaging units.
FIG. 4 is a block configuration diagram showing a control system of a surface mounter (mainly a part responsible for component recognition operation).
FIG. 5 is a flowchart illustrating operation control for component recognition by the control system.
[Explanation of symbols]
DESCRIPTION OF
Claims (6)
前記撮像手段による副走査方向における画像の撮像ピッチとして、予め部品の種類に応じて、主走査方向における画像の解像度と副走査方向における同解像度とがほぼ等しくなる第1の撮像ピッチ及び副走査方向における画像の解像度が主走査方向における同解像度よりも高くなる第2の撮像ピッチのうち何れかの撮像ピッチを設定しておき、前記ヘッドユニットに吸着された部品の認識の際には、その吸着部品の種類に応じた撮像ピッチで部品を撮像することを特徴とする部品認識方法。The image pickup means having a linear sensor in which a plurality of image pickup elements are arranged in the main scanning direction moves the component adsorbed by the component adsorbing head unit relatively in the sub-scanning direction perpendicular to the main scanning direction. In the component recognition method of the surface mounter that picks up the suction component and recognizes the component based on the image,
As the imaging pitch of the image in the sub-scanning direction by the imaging means, the first imaging pitch and the sub-scanning direction in which the image resolution in the main scanning direction and the same resolution in the sub-scanning direction are approximately equal to each other in advance according to the type of component. Any one of the second imaging pitches in which the resolution of the image in the main scanning direction is higher than the same resolution in the main scanning direction is set, and at the time of recognizing the component sucked in the head unit, the suction A component recognition method, wherein a component is imaged at an imaging pitch corresponding to the type of component.
周囲にリードをもつリード付き部品については前記第2の撮像ピッチを設定する一方、リードを持たない無リード部品については前記第1の撮像ピッチを設定しておくことを特徴とする部品認識方法。The component recognition method according to claim 1,
A component recognition method, wherein the second imaging pitch is set for a leaded part having a lead around, and the first imaging pitch is set for a lead-free part having no lead.
前記無リード部品についてはその吸着面とは反対側の面を一方向からのみ撮像し、前記リード付き部品については前記一方向を含む複数の方向から部品を撮像することを特徴とする部品認識方法。In the component recognition method according to claim 2,
The non-leaded component images the surface opposite to the suction surface only from one direction, and the leaded component images the component from a plurality of directions including the one direction. .
前記撮像手段による副走査方向における画像の撮像ピッチとして、部品の種類に応じて、主走査方向における画像の解像度と副走査方向における同解像度とがほぼ等しくなる第1の撮像ピッチ及び副走査方向における画像の解像度が主走査方向における同解像度よりも高くなる第2の撮像ピッチのうち何れかの撮像ピッチを設定する撮像ピッチ設定手段と、
この撮像ピッチ設定手段で設定された撮像ピッチで前記ヘッドユニットに吸着された吸着部品を撮像させるべく前記撮像手段と前記副走査方向駆動手段とを駆動制御する制御手段とを備えていることを特徴とする部品認識装置。An imaging unit having a linear sensor in which a plurality of imaging elements are arranged in the main scanning direction; a sub-scanning direction driving unit that relatively moves the component and the imaging unit adsorbed by the component adsorption head unit in the sub-scanning direction; In a component recognition device for a surface mounter comprising component recognition means for recognizing a component based on an image picked up by an image pickup means,
As the imaging pitch of the image in the sub-scanning direction by the imaging means, the first imaging pitch and the sub-scanning direction in which the resolution of the image in the main scanning direction and the same resolution in the sub-scanning direction are substantially equal according to the type of component. Imaging pitch setting means for setting any imaging pitch among the second imaging pitches in which the resolution of the image is higher than the same resolution in the main scanning direction;
That a control means for driving and controlling the pre-Symbol IMAGING means and the sub-scanning direction driving means so as to image the adsorbed component adsorbed on the head unit in set image pickup pitch the imaging pitch setting means A component recognition device characterized by the above.
前記撮像手段として、前記吸着部品をその吸着面の反対側から撮像する第1撮像手段と、前記吸着部品を境にして該部品の位置よりも副走査方向における一方側に偏った位置であって、かつ部品の吸着面又はそれとは反対の面の何れかの側から斜め方向に吸着部品を撮像する第2撮像手段とを備え、さらに部品の種類に応じて第1撮像手段のみにより部品を撮像するモードと、両撮像手段により部品を撮像するモードとに切換えるモード切換手段とを備えていることを特徴とする部品認識装置。The component recognition apparatus according to claim 4,
As the imaging means, a first imaging means for imaging the suction component from the opposite side of the suction surface, and a position biased to one side in the sub-scanning direction with respect to the suction component as a boundary, And a second image pickup means for picking up the picked-up component in an oblique direction from either the pick-up surface of the component or the surface opposite to the pick-up surface, and picking up the component by only the first image pickup means according to the type of the component And a mode switching means for switching to a mode for imaging a part by both imaging means.
ヘッドユニットは、前記副走査方向に延び、かつ前記主走査方向に移動可能に設けられた支持部材に支持され、この支持部材に沿って前記副走査方向に移動可能に構成されていることを特徴とする部品認識装置。In the component recognition apparatus according to claim 4 or 5,
The head unit is supported by a support member that extends in the sub-scanning direction and is movable in the main-scanning direction, and is configured to be movable in the sub-scanning direction along the support member. A component recognition device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003116020A JP4361312B2 (en) | 2003-04-21 | 2003-04-21 | Component recognition method and apparatus for surface mounter |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003116020A JP4361312B2 (en) | 2003-04-21 | 2003-04-21 | Component recognition method and apparatus for surface mounter |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004327495A JP2004327495A (en) | 2004-11-18 |
JP4361312B2 true JP4361312B2 (en) | 2009-11-11 |
Family
ID=33496401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003116020A Expired - Lifetime JP4361312B2 (en) | 2003-04-21 | 2003-04-21 | Component recognition method and apparatus for surface mounter |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4361312B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9265186B2 (en) * | 2011-11-10 | 2016-02-16 | Delaware Capital Formation, Inc. | Camera system for aligning components of a PCB |
CN108401414B (en) | 2015-06-19 | 2020-12-11 | 雅马哈发动机株式会社 | Component mounting apparatus and component mounting method |
CN108142000B (en) * | 2015-10-14 | 2020-08-07 | 雅马哈发动机株式会社 | Substrate working system and component mounting apparatus |
JP6507206B2 (en) * | 2017-09-07 | 2019-04-24 | ヤマハ発動機株式会社 | Component mounting apparatus and component mounting method |
-
2003
- 2003-04-21 JP JP2003116020A patent/JP4361312B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004327495A (en) | 2004-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4387745B2 (en) | Electronic component mounting device | |
JP4260545B2 (en) | Surface mount machine | |
JP4308588B2 (en) | Surface mount machine | |
JP4381764B2 (en) | IMAGING DEVICE AND OBJECT MOVING DEVICE EQUIPPED WITH THE DEVICE | |
JP4361312B2 (en) | Component recognition method and apparatus for surface mounter | |
JP4091950B2 (en) | Component mounting position correction method and surface mounter | |
JP4437686B2 (en) | Surface mount machine | |
JP4119683B2 (en) | Electronic component mounting device | |
JP4213292B2 (en) | Component recognition system for surface mounters | |
JP2019168238A (en) | Image recognition device | |
JP4704218B2 (en) | Component recognition method, apparatus and surface mounter | |
JP4401792B2 (en) | Component recognition method, apparatus and surface mounter | |
JP4216114B2 (en) | Component recognition system for surface mounters | |
JPH09321498A (en) | Method and device for inspecting parts of mounting machine | |
JP2792829B2 (en) | Component recognition device for mounting machine | |
JP3443278B2 (en) | Component recognition device for mounting machine | |
JP4298462B2 (en) | Component recognition device, component recognition method, surface mounter, and component test apparatus | |
JP4358015B2 (en) | Surface mount machine | |
JP2703192B2 (en) | Component recognition device for mounting machine | |
JP2007103436A (en) | Part mounting method and part mounting apparatus | |
JP4368709B2 (en) | Surface mount machine | |
JP4386425B2 (en) | Surface mount machine | |
JP4550644B2 (en) | Lighting device, component recognition device, surface mounter and component testing device | |
JP3299692B2 (en) | Component recognition device for mounting machine | |
JP4757906B2 (en) | Electronic component mounting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090812 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4361312 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130821 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |