JP2010147401A - 電子部品装着装置及び画像歪補正方法 - Google Patents

電子部品装着装置及び画像歪補正方法 Download PDF

Info

Publication number
JP2010147401A
JP2010147401A JP2008325695A JP2008325695A JP2010147401A JP 2010147401 A JP2010147401 A JP 2010147401A JP 2008325695 A JP2008325695 A JP 2008325695A JP 2008325695 A JP2008325695 A JP 2008325695A JP 2010147401 A JP2010147401 A JP 2010147401A
Authority
JP
Japan
Prior art keywords
distortion correction
image
camera
component mounting
electronic component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008325695A
Other languages
English (en)
Other versions
JP5457665B2 (ja
Inventor
Yuji Takagi
裕治 高木
Ikuo Takemura
郁夫 竹村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Instruments Co Ltd
Original Assignee
Hitachi High Tech Instruments Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Instruments Co Ltd filed Critical Hitachi High Tech Instruments Co Ltd
Priority to JP2008325695A priority Critical patent/JP5457665B2/ja
Priority to EP09015741A priority patent/EP2200418A2/en
Priority to CN2009102587743A priority patent/CN101765361B/zh
Publication of JP2010147401A publication Critical patent/JP2010147401A/ja
Application granted granted Critical
Publication of JP5457665B2 publication Critical patent/JP5457665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04Mounting of components, e.g. of leadless components
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0818Setup of monitoring devices prior to starting mounting operations; Teaching of monitoring devices for specific products; Compensation of drifts during operation, e.g. due to temperature shifts

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)

Abstract

【課題】部品装着ヘッドの吸着ノズルに吸着された電子部品の位置を、量子化誤差が伴うCCD型センサあるいはMOS型センサのカメラを用いて高精度に認識し、その結果高精度な搭載位置精度を実現した電子部品装着装置を提供することにある。
【解決手段】部品装着ヘッドと、電子部品の画像を取得するカメラと、該取得される電子部品の画像に対して歪補正データに基づいて歪補正を実行し、該歪補正が実行された画像に基づいて前記電子部品の位置を認識する画像処理部とを備えた電子部品装着装置であって、(x,y)座標系で規定される歪補正パターンが形成された歪補正治具を前記部品装着ヘッドに保持し、前記画像処理部は、前記歪補正パターンが規定される(x,y)座標系を前記カメラの撮像面で規定される(I,J)座標系に対して所定の角度回転させた状態で、前記歪補正パターンを前記カメラで撮像して取得される歪補正パターンの画像を基に前記歪補正データを算出することを特徴とする。
【選択図】図8

Description

本発明は、X方向及びY方向に走行される部品装着ヘッドを用いて電子部品をプリント基板に装着する電子部品装着装置に関するものであり、特に部品装着のために部品位置を部品位置認識用のカメラで認識する際生じるカメラ姿勢及びレンズ歪に起因する画像歪を補正する画像歪補正方法に関する。
基板や電子部品などのワークの位置計測に使用されるカメラの中でも、特に電子部品装着装置など高精度な位置計測を必要とするものは、カメラのレンズに起因する画像歪の補正が行われている。
特開平6−241724号公報(特許文献1)には、所定ピッチで標準面上に分布した複数の標準物を撮影し、撮影画面上の複数の標準物像を摘出し、摘出した複数の標準物像の重心位置をそれぞれ算出し、撮影画面上の標準物像それぞれの重心位置に、標準面上の標準物それぞれに定まった基準座標値を割り付け、撮影画面上の座標を校正済座標に変換する変換式に、各重心位置およびそれに割り付けられた基準座標値を代入し、複数の、重心位置とそれに割り付けられた基準座標の対応を規定する、前記変換式の定数を算出し、メモリ手段に記憶する撮影画面の歪補正方法が記載されている。
特開平6−241724号公報 近津博文、国井洋一、中田隆司、"デジタル写真測量からみた300万画素デジタルスチルカメラの精度検証"、写真測量とリモートセンシング、Vol.40,NO.2,2001,pp.33−38
上記特許文献1においては画像歪の校正手順は開示されているが、撮像に起因する量子化誤差を抑え校正結果を安定にする方法に関しては開示されていない。このため特許文献1に記載の校正方法では、歪校正を行う度に異なる歪補正結果が得られ、そのためこの歪補正データを用いた位置計測では再現性の高い計測が困難であるという課題がある。
本発明の目的は、上記課題を解決するために、部品装着ヘッドの吸着ノズルに吸着された電子部品の位置を、量子化誤差が伴うCCD型センサあるいはMOS型センサのカメラを用いて高精度に認識し、その結果高精度な搭載位置精度を実現した電子部品装着装置及び電子部品の位置をカメラで認識する際生じるカメラ姿勢及びレンズ歪に起因する画像歪補正方法を提供することにある。
上記目的を達成するために、本発明は、電子部品を吸着する吸着ノズルを有してX方向及びY方向に移動する部品装着ヘッドと、前記部品装着ヘッドの前記吸着ノズルに吸着された電子部品を(I,J)座標系で規定される撮像面で撮像して前記電子部品の画像を取得する部品位置認識用のカメラと、該部品位置認識用のカメラから取得される前記電子部品の画像に対して予め算出して記憶部に記憶された歪補正データ(定数k1,k2,k3等)に基づいて歪補正を実行し、該歪補正が実行された画像に基づいて前記電子部品の位置を認識する画像処理部とを備えた電子部品装着装置であって、(x,y)座標系で規定される歪補正パターンが形成された歪補正治具を前記部品装着ヘッドに保持し、前記画像処理部は、予め、前記歪補正パターンが規定される(x,y)座標系を前記部品位置認識用のカメラの撮像面で規定される(I,J)座標系に対して所定の角度回転させた若しくは傾けた状態で、前記歪補正パターンを前記部品位置認識用のカメラで撮像して取得される量子化誤差が相殺される歪補正パターンの画像を基に前記歪補正データを算出して前記記憶部に記憶することを特徴とする。
また、本発明は、前記画像処理部において、前記部品位置認識用のカメラで撮像して取得される量子化誤差が相殺される歪補正パターンの画像を基に前記歪補正データを算出する際、前記歪補正パターンの格子点列パターンに対して最小自乗近似を用いて前記歪補正データを算出することを特徴とする。
また、本発明は、前記電子部品装着装置において、さらに、前記歪補正パターンを前記部品位置認識用のカメラで撮像する際、前記歪補正パターンが規定される(x,y)座標系を前記部品位置認識用のカメラの撮像面で規定される(I,J)座標系に対して所定の角度回転させた状態に制御する制御手段を有することを特徴とする。また、本発明は、前記制御手段が、前記歪補正治具を保持した前記部品装着ヘッドを垂直軸回りに回転させるモータを含むことを特徴とする。
また、本発明は、前記歪補正治具の外形基準を前記歪補正パターンが規定される(x,y)座標系に対して前記所定の角度回転させて形成し、該形成された前記歪補正治具の外形基準を前記部品装着ヘッドに位置決めして保持することを特徴とする。
また、本発明は、前記歪補正パターンが、前記(x,y)座標系で規定される格子点列上に点対称の図形又はx、y方向に対して線対称の図形を配置して形成されることを特徴とする。また、本発明は、前記部品位置認識用のカメラが、CCD型センサあるいはMOS型センサを用いて構成されることを特徴とする。
また、本発明は、カメラで取得される計測対象の画像に対して予め算出して記憶部に記憶された歪補正データに基づいて歪補正を行う画像歪補正方法であって、予め、歪補正パターンが規定される(x,y)座標系を前記カメラの撮像面で規定される(I,J)座標系に対して所定の角度回転させた状態で、前記歪補正パターンを前記カメラで撮像して取得される歪補正パターンの画像を基に前記歪補正データを算出して前記記憶部に記憶することを特徴とする。
本発明によれば、カメラのレンズに起因する歪補正を行うための歪補正データを算出する際、計測対象となる画像歪補正治具の撮像時に生ずる量子化誤差を低減することが可能となり、歪補正毎(部品装着ヘッド交換毎)の歪補正データのばらつきが低減され、結果として再現性の高い部品位置計測に基づいた高精度な電子部品装着が可能となる。
[第1の実施の形態]
本発明に係る電子部品装着装置の第1の実施の形態について図1乃至図14を用いて説明する。
図1は本発明に係る電子部品装着装置101の構成を示す平面図で、該電子部品装着装置101の基台102上には種々の電子部品を夫々その部品取出し部(部品吸着位置)に1個ずつ供給する部品供給ユニット103が複数並設される。プリント基板Pについては、供給コンベア104と位置決め部105と排出コンベア106とを設けて構成される。供給コンベア104は上流より受けたプリント基板Pを前記位置決め部105に搬送し、該位置決め部105ではプリント基板Pを位置決め機構(図示せず)により位置決めし、該位置決めされたプリント基板P上に電子部品を装着した後プリント基板Pは排出コンベア106に搬送される。
X方向に長いビーム108は、Y軸モータ109を駆動して各ネジ軸1010を回転させることによって左右一対のガイド1011に沿ってプリント基板Pの上方と部品供給ユニット103の部品取出し部(部品吸着位置)の上方との間をY方向に移動するように構成される。そして、前記ビーム108には、X軸モータ1012(図示せず)を駆動することによって、部品装着ヘッド107がその長手方向、即ちX方向にガイド(図示せず)に沿って移動するように設けられている。さらに、部品装着ヘッド107には12本の吸着ノズル1013の各々を上下動させるための上下軸モータ1014(図示せず)が12個搭載され、また12本の吸着ノズル1013の各々を鉛直軸周りに回転させるためのθ軸モータ1015(図示せず)が12個搭載されている。したがって、部品装着ヘッド107の12本の各吸着ノズル1013は、部品装着ヘッド107のX方向及びY方向の移動と共にX方向及びY方向に移動可能であり、鉛直軸線回りに回転可能で、かつ上下動可能となっている。また、垂直軸回りに回転可能に構成された円形の部品装着ヘッド107については円形を中心(垂直軸)として回転可能とするためのθ軸モータ1016が別途設けられている。
部品装着ヘッド107の各吸着ノズル1013に吸着された電子部品の位置を認識する部品位置認識用のカメラ1017は、電子部品装着装置101の基台102上に設けて構成される。即ち、部品位置認識用のカメラ1017はカメラ座標系(I,J)において各吸着ノズル1013に吸着保持された各電子部品を撮像して前記電子部品の画像を取得し、画像処理部2011等は前記部品位置認識用のカメラ1017から取得される前記電子部品の画像に対して予め算出してRAM(記憶部)202に記憶された歪補正データ(定数k1,k2,k3等)に基づいて後述する(1)式を用いて画像歪補正を実行し、該画像歪補正が実行された(x,y)座標系の画像に基づいて各電子部品が各吸着ノズル1013に対してどれだけ位置ずれして吸着保持されているかをXY方向及び回転角度について位置認識することになる。
図2は本発明に係る電子部品装着装置101の制御ブロックを示す図である。X軸モータ1012は、部品装着ヘッド107についてビーム108上をガイドに沿ってX方向に移動させるための回転駆動源である。Y軸モータ109は、ビーム108を左右一対のガイド1011に沿ってY方向に移動させるための回転駆動源である。θ軸モータ1016は、部品装着ヘッド107を垂直軸回りに回転させるための回転駆動源である。θ軸モータ1015は、各吸着ノズル1013を鉛直軸線回りに回転させるための回転駆動源である。上下軸モータ1014は、各吸着ノズル1013を上下動させる回転駆動源である。なお、X軸モータ1012、Y軸モータ109、θ軸モータ1016、1015及び上下軸モータ1014については、便宜上各1個のみ図示して以下説明する。
201は本発明に係る電子部品装着装置101を統括制御する制御部及び演算手段としてのCPU(装着制御部)で、該CPU201にはバスラインを介して、RAM(ランダム・アクセス・メモリ)202及びROM(リ−ド・オンリー・メモリ)203が接続されている。そして、CPU201は、前記RAM202に記憶されたデータに基づき、前記ROM203に格納されたプログラムに従い、電子部品装着装置101の部品装着動作に係る動作を統括制御する。
即ち、CPU201は、インターフェース204及び駆動回路205を介して前記X軸モータ1012の駆動を、インターフェース204及び駆動回路206を介して前記Y軸モータ109の駆動を、またインターフェース204及び駆動回路207を介して前記θ軸モータ1015、1016の駆動を、更にインターフェース204及び駆動回路208を介して前記上下軸モータ1014の駆動を制御している。
前記RAM202には、図3に示すような部品装着に係る装着データが格納されており、その装着順序毎(ステップ番号毎)に、プリント基板内でのX方向(Xで示す)、Y方向(Yで示す)及び角度(Zで示す)情報や、Fdr No.で示す各部品供給ユニット3の配置番号及び電子部品の種類情報等が格納されている。即ち、例えば配置番号101は電子部品がP1という種類のものである。また前記RAM202には、各電子部品の部品種毎にX方向及びY方向の部品寸法、その許容値が格納されている。
2011はインターフェース204を介して前記CPU201に接続される画像処理部で、前記カメラ1016により撮像して取込まれた画像処理が行われ、CPU201に処理結果が送出される。即ち、CPU201は、部品位置認識用のカメラ1017にて撮像された画像を処理(部品吸着ヘッド107の各吸着ノズル1013に吸着保持された電子部品の位置ずれ量の算出やカメラ1016で撮像された(I,J)座標系での画像に対する画像歪補正など)するように指示を画像処理部2011に出力すると共に、処理結果を画像処理部2011から受取るものである。
2010はキーボードドライバ209及びインターフェース204を介して前記CPU201に接続されるデータ登録手段としてのキーボードで、210は部品画像などを表示するモニターである。また、前記データ登録手段としてのキーボード2010に代えてタッチパネルなどの手段を用いても良い。
以上の構成に基づき部品の搭載動作について図4に沿って説明する。先ず、プリント基板Pが図示しないコンベアにより上流側装置より供給コンベア104を介して位置決め部105に搬送され、位置決め機構(図示せず)により位置決め固定される(S41)。
次に、CPU201はRAM202に格納されている図3に示す装着データを読み出し(S42)、即ちRAM202にステップ番号毎に格納されたプリント基板Pの装着すべきXY座標位置、各吸着ノズルの回転軸である鉛直軸線回りへの回転角度位置及び配置番号等が指定された装着データを読み出し、吸着ノズル1013で装着すべき電子部品を所定の部品供給ユニット103から吸着して取出す(S43)。即ち、部品装着ヘッド107は装着すべき電子部品を収納する各部品供給ユニット103の上方に位置するよう移動するが、Y方向については駆動回路206によりY軸モータ109を駆動してビーム108を一対のガイド1011に沿って移動させ、X方向については駆動回路205によりX軸モータ1012を駆動して部品装着ヘッド107がビーム108上を移動する。そして、既に所定の各供給ユニット103は駆動されて部品吸着位置にて部品が取出し可能状態にあるため、駆動回路208により上下軸モータ1014が駆動して前記各吸着ノズル1013が下降して電子部品を吸着して取出す。
次に、各上下軸モータ1014により駆動されて電子部品を吸着保持した吸着ノズル1013が上昇し、Y方向には一対のガイド1011に沿ってビーム108が移動し、X方向にはX軸モータ1012の駆動によりガイド1011に沿って部品装着ヘッド107が移動することにより、部品装着ヘッド107はプリント基板Pの上方位置に移動開始する(S44)。
この移動途中のカメラ1017の上方位置において、部品装着ヘッド107の各吸着ノズルに吸着保持された電子部品は部品位置認識用のカメラ1017により(I,J)座標系で撮像され、画像処理部2011はカメラ1017により(I,J)座標系で撮像した画像に対して例えばRAM202に予め記憶された歪補正データ(定数k1,k2,k3等)を基に後述する(1)式に基づいてカメラ1017が持っているカメラ姿勢、レンズ歪に起因する画像歪を高精度に補正し、該画像歪が補正された(x,y)座標系の画像を基に電子部品が吸着ノズル1013に対してどれだけ位置ずれして吸着保持されているかを画像処理してXY方向及び回転角度について位置認識される(S45)。
CPU201は、上記認識された電子部品の位置ずれ量に基づき、RAM202にステップ番号毎に格納された装着すべきXY座標位置、鉛直軸線回りへの回転角度位置に補正を加える(S46)。即ち、部品のXY方向の位置ずれはX軸モータ1012及びY軸モータ109の各々を駆動回路205及び206の各々を介して補正制御し、部品の回転ずれはθ軸モータ1015を駆動回路207を介して補正制御することで、部品をプリント基板P上の所望の位置に搭載する(S47)。
このため、部品位置認識用のカメラ1017により撮像される画像に基づく部品位置の認識は高い精度が要求される。このため、予め撮像画像に含まれるカメラ姿勢、レンズ歪に起因する画像歪を高精度に補正する必要がある。
以上、図3に示す装着データに記録された部品全てに対し順次実行し(S48)、全ての部品の搭載を終了したらプリント基板Pを位置決め部105から排出コンベア106を介して下流側装置に搬送する(S49)。
次に、本発明の特徴とする部品位置認識用のカメラ1017が撮像する撮像画像に含まれるカメラ姿勢、レンズ歪に起因する画像歪データを予め算出しておく実施の形態について説明する。ところで、本発明に係る電子部品装着装置101の部品位置認識に用いられるCCD型センサあるいはMOS型センサを用いたカメラ1017では撮像面が画素と呼ばれる空間的に離散化された単位で構成されているため、これらのセンサを用いた位置計測では量子化誤差が伴う。このため、カメラ1017のレンズに起因する歪補正を、図6に示す格子点に黒点等のマークのパターンが配された歪補正治具501を用いて行う場合、格子点上にある個々の点の位置計測結果がセンサと歪補正治具501の相対的な位置関係により量子化誤差の影響を受け、高精度な歪補正が行えない。また補正の度にセンサと歪補正治具501の相対的な位置関係を同一にすることは困難であることから、毎回異なる補正結果を得ることになり、その結果、同じ対象を計測しても位置計測結果は再現性が乏しいものとなり、このような補正を行った電子部品装着装置では高精度な部品搭載ができないという課題があった。
そこで、本発明に係る量子化誤差の影響を受けない高精度な歪補正の実施の形態について説明する。図5は本発明に係る部品位置認識用のカメラ1017の歪補正データ算出時を示す構成図である。カメラ1017で撮像された画像の、画像上の座標は撮像画像例502に示すように横軸右方向にI,縦軸下方向にJで規定される。歪補正治具501は部品吸着ヘッド107に着脱可能に保持されている。図6には歪補正治具501の一実施例を示す。歪補正治具501上には(x,y)座標系で定義される直交格子の格子点上にマークが配置されている。隣接する全てのマーク(円)の間隔は一定であり既知である。図6に示す実施例ではマークとして円の場合を示しているが、円以外であっても点対象のパターンであればよく、また、図7に示す十字マークやひし型マークのようにx−y軸に線対称な図形が直交格子の格子点上に配置されていてもよい。吸着ヘッド107はθ軸モータ1016によって回転する。また、吸着ヘッド107及びθ軸モータ1016は、図1で説明したようにビーム108に沿ってX方向に、また図1で示したガイド1011に沿ってY方向に移動する。
次に、本発明に係るカメラで撮像した画像についての歪補正データ算出手順の実施の形態について図8及び図9を用いて説明する。以下の記述において、カメラ1017での撮像は画像処理部2011、部品装着ヘッドのX及びY方向の移動はX軸モータ1012及びY軸モータ109を制御する駆動回路205及び206、部品装着ヘッドの回転はθ軸モータ1016を制御する駆動回路207を介して、CPU201の命令により行われることとする。
まず、歪補正治具501をカメラ1017で撮像する(S81)。次にカメラ1017の画像座標のI座標軸と歪補正治具501のx座標軸との角度ズレβを検出する(S82)。このように、カメラ1017の画像座標のI座標軸と歪補正治具501のx座標軸との角度ズレβは、カメラ1017で撮像した歪補正治具501に形成されたパターンの画像を基に、例えばx方向のパターン列の重心位置を結んだ直線のI座標軸に対する傾き角度として画像処理部2011において検出することは可能である。なお、別の手段で、予め、カメラ1017のI座標軸と歪補正治具501のx軸が平行に位置出し(位置決め)されている場合はステップ801とステップ802は飛ばしてもよい。
その後、カメラ1017の画像座標のI座標軸と歪補正治具106のx座標軸との相対角度を零より大きい角度αになるようθ軸モータ1016を制御する(S83)。角度αについては後述する。続いてこの状態で(カメラ1017のI座標軸に対して歪補正治具106のx座標軸の相対角度をαにした状態で)カメラ1017は歪補正治具501に形成された格子点列パターンを撮像して量子化誤差に影響することなくカメラの歪補正を高精度に実行する(S84)。歪補正実行後、後述する(1)式の定数(k1,k2,k3等)を歪補正データとして例えばRAM202に記憶する(S85)。
この結果、歪補正治具501の格子で規定される(x,y)座標系とステージ(108,1011)で規定される(X,Y)座標系、及び歪補正治具501の格子で規定される(x,y)座標系とカメラ1017の画像(I,J)座標系は回転ズレを生じた状態で記録されることになるが、カメラ1017の画像(I,J)座標系は歪補正結果(歪補正データ(定数k1,k2,k3等))を用いて歪補正治具の格子で規定される(x,y)座標系に一対一で変換され、(x,y)座標系は一次変換にてステージ(108、1011)で規定される(X,Y)座標系に変換できるので、カメラ1017の画像(I,J)座標から一意にステージ(108、1011)の(X,Y)座標を特定することが可能である。
次に、画像処理部2011等が前もって実行するカメラの歪補正実行ステップS84についてさらに詳細に説明する。まず、カメラ1017のI座標軸に対して歪補正治具106のx座標軸の相対角度をαにした状態でカメラ1017が撮像した歪補正治具501の画像を入力する(S841)。続いて入力した画像を二値化する(S842)。更に、二値化画像内にある各々の丸領域の検出を行い(S843)、その後各丸領域の重心座標を算出する(S844)。最後に算出された各重心座標に歪補正治具501の直交格子で定義される実寸法の(x,y)座標を割付け(S845)、後述する(1)式を確定する(S846)。
次に、カメラ1017が撮像する画像の(I,J)座標から歪補正治具501の直交格子で定義される実寸法の(x,y)座標への変換方法について説明する。即ち、放射及び接線方向のレンズ歪を考慮した場合、カメラ1017が撮像する画像の(I,J)座標は次に示す(1)式にて歪補正治具501の直交格子で定義される実寸法の(x,y)座標に変換される。(1)式は画像座標系の原点と、歪補正治具の直交格子で規定される座標系の原点が一致する場合であるが、一致しない場合はオフセットを加えればよい。(1)式の定数k1,k2,k3を決定するためには、画像内で検出される格子点n=0,…,Nに対して画像座標(In,Jn)と、それに対応する歪補正治具上の格子点座標(xn,yn)を次に示す(2)式に代入し偏差の自乗和であるΣDnを最小化するk1,k2,k3を求めればよい。求めた定数k1,k2,k3は図8のステップS85における歪補正データとして例えばRAM202に記憶する。
Figure 2010147401
Figure 2010147401
以上、カメラ1017で撮像した画像の歪補正方法を述べた。以下、本発明の特徴とする歪補正時に問題となる画像の量子化誤差と、その影響を抑制するための方法について説明する。図9には、歪補正治具501を画像座標のI方向に5μmピッチで120μm動かして、画素分解能60μmのカメラで歪補正治具上の円形マークの一点の重心位置を計測した結果を示す。図9の横軸は歪補正治具501の移動距離について始点を0として画素換算値に変換した値、縦軸は画像上でマークの重心位置を計測したときのI座標の値である。図9で一点鎖線で示した直線は計測した結果の最小自乗近似直線である。
図10には横軸に歪補正治具501の移動距離について始点を0として画素換算値に変換した値、縦軸に図9の近似直線と計測点の差分を画素値でプロットしたものを示す。1画素周期で誤差が約±0.1画素の範囲で変動している様子が見てとれる。このため図11のように歪補正治具501のパターンで規定される(x,y)座標系と、歪補正治具を撮像するカメラ1017の画像座標系(I,J)のなす角度が0度に近い場合、I=i0の直線上に位置するべきである歪補正治具上のパターン列Aは、図10で示した量子化誤差が重畳し、I=i0±0.1程度の変動を生じ、このような状態で歪補正を実行しても信頼できる歪補正データは取得できない。なお、パターン列Aとは、図11にパターン列Aで示す直線上に載っている円形マークで構成される任意の一列を指す。また歪補正治具501のパターンとカメラ1017の撮像位置により誤差が変動するので、補正の度に補正データが異なるという問題も生ずる。
そこで、本発明は、図8のステップS83で説明したように、図12に示すように、歪補正治具501を撮像するカメラ1017の撮像面の(I,J)座標系に対して、歪補正治具501のパターンで規定される(x,y)座標系を零より大きい角度αになるように回転させた状態にする。図12においてパターン列Aは画像座標(i0,j0)から(i1,j1)に直線状に配置されている。図12において円形パターン個々からの伸びている矢印は量子化誤差を受ける方向と量子化誤差の程度を、図9及び図10で示した結果を反映して模式的に表したものであり、画像上でパターン列Aを計測した場合、パターン列AはBで誇張して示すような曲線状に観察される。図12の場合、パターンの個々の点には周期的な量子化誤差の影響が現れているが、画像座標(i0,j0)から(i1,j1)にかけてパターン列AがI方向に1画素ずれているため、パターン列Aに沿って量子化誤差を見ると量子化誤差がパターン列の左右方向に均等に丁度1周期(周期的に)現れ、この点列に対して例えば最小自乗近似を用いて直線を検出すれば量子化誤差が相殺され、本来のパターン列Aにより近い直線の検出が期待できる。なお、図12で示した画素サイズと格子点のパターンサイズは模式的な説明のためのものであり実際とは異なるものである。また前述の角度αと画像座標(i0,j0)、(i1,j1)との関係を次の(3)式に示す。
Figure 2010147401
図12では(i0,j0)から(i1,j1)にかけてI座標は1画素移動しているが、これより大きくても構わず、1画素より大きな場合はより量子化誤差を打ち消す効果が期待できる。
図13には、カメラ1017の撮像面の(I,J)座標系に対して、歪補正治具501のパターンで規定される(x,y)を回転させた状態で歪補正治具501を撮像した画像の実施例を示す。図13における白丸及び黒丸は画像として撮像された補正パターンを表している。1401は補正領域を示している。補正領域内のパターンを用いて歪補正が実行される。補正領域外のパターンを白丸で、補正領域内のパターンを黒丸で示した。Lは正方形の場合の補正領域の画像上での一辺の長さである。補正領域が長方形の場合は長辺あるいは短辺の長さを用いる。Dが補正領域内でカメラ1017と歪補正治具501を相対的に回転させて生じた変位分の画素数である。図8のステップS83のαは、α=arctan(D/L)である。
以上説明したように、本発明に係る第1の実施の形態によれば、カメラのレンズに起因する歪補正を行う際、歪補正治具のx座標軸をカメラのI座標軸に対して角度α回転させることによってカメラが歪補正治具のパターン列を撮像する際量子化誤差が周期的に左右方向に均等に現れるようにすることにより、量子化誤差を相殺して低減することが可能となり、歪補正毎(部品装着ヘッド交換毎)の歪補正データ(定数k1,k2,k3等)のばらつきが低減され、結果として再現性の高い部品位置計測に基づいた高精度な電子部品装着が可能となる。
次に、本発明に係る部品位置認識用のカメラの歪補正方法を含めた電子部品装着装置の動作シーケンスについて図14を用いて説明する。まず、プリント基板の品種に関連した装着装置の段取り替えが行われる(S141)。次に装着装置が搭載する電子部品の種類に応じて部品装着ヘッドが選択される(S142、S143)。部品装着ヘッドが交換された場合は、カメラ1017と部品装着ヘッド107との相対的な位置関係が変化する可能性があるので歪補正シーケンスを実行する(S144)。該歪補正シーケンスは図8で示したステップS81からステップS85の一連のシーケンスである。以上でプリント基板への部品搭載の準備が完了するので、以下順次プリント基板を搬入し(S145)、電子部品をプリント基板に搭載し(S146)、全ての電子部品の搭載が完了したらプリント基板を排出する(S147)。なお、基板搬入ステップS145は図4のステップS41に、部品搭載ステップS146は図4のステップS42からステップS48に、基板排出ステップS147は図4のステップS49に対応する。ステップS148において次のプリント基板がある場合にはステップS145に戻り部品搭載を繰り返し、無い場合にはステップS141に戻り次の品種のプリント基板のための段取り替えを実施する。
[第2の実施の形態]
次に、本発明に係る電子部品装着装置の第2の実施の形態について図15乃至図17を用いて説明する。
第2の実施の形態において、第1の実施の形態と相違する点は、部品装着ヘッド107’がθ軸モータ1016を持たず回転式でないことと、歪補正治具1701の構成(外形を基準として定まる(x’,y’)座標系が格子状に配列されたパターンで規定される(x,y)座標系に対して第1の実施の形態で説明したαだけ回転している)が相違する点にある。図15は部品位置認識用のカメラ1017の歪補正データ算出時を示す構成図である。カメラ1017で撮像された画像の、画像上の座標は撮像画像例502に示すように横軸右方向にI,縦軸下方向にJで規定される。そして、本第2の実施の形態においては、上述したように部品装着ヘッド107’はθ軸モータ1016を持たず回転しない。従って、図16に示す如く、歪補正治具1701の外形を基準として定まる(x’,y’)座標系が、カメラ1017が撮像する(I,J)座標系と平行な関係になるように、歪補正治具1701は外形を基準に位置決めして保持される歪補正治具保持手段1601を介して部品装着ヘッド107’に保持される。なお、カメラ1017の(I,J)座標系と、ステージ(108、1011)の(X,Y)座標系とのアライメントは別途行われているものとする。
図16は図15に示した構成で用いられる歪補正治具1701を示す図である。外形を基準として定まる(x’,y’)座標系は、格子状に配列されたパターンで規定される(x,y)座標系に対して第1の実施の形態で説明したαだけ回転させる。その結果、図12に示すように、パターン列Aに対して量子化誤差が周期的に左右方向に均等に現れることにより、この点列に対して例えば最小自乗近似を用いて直線を検出すれば量子化誤差が相殺されて本来のパターン列Aにより近い直線の検出が可能となる。
次に、本発明に係る第2の実施の形態におけるカメラの歪補正手順について図17を用いて説明する。即ち、部品位置認識用のカメラ1017は、外形基準の(x’,y’)座標系で位置決めされて部品装着ヘッド107’に保持された歪補正治具1701を撮像する(S171)。続いて歪補正を実行する(S84)。歪補正の内容は第1の実施の形態における図8のステップS84に示した内容と同じである。歪補正実行後、歪補正の結果得られる前述の(1)式の定数(k1,k2,k3等)を歪補正データとして記憶する(S85)。
以上、歪補正の部分を説明したがその他の部分、即ち電子部品装着装置としての機器構成、システム構成、動作フロー等は第1の実施の形態と同じなので説明は省略する。
以上説明したように、本発明に係る第2の実施の形態によれば、第1の実施の形態と同様に、カメラのレンズに起因する歪補正を行う際、歪補正治具501のx座標軸をカメラ1017のI座標軸に対して角度α回転させることによってカメラが歪補正治具のパターン列を撮像する際量子化誤差が周期的に左右方向に均等に現れるようにすることにより、量子化誤差を相殺して低減することが可能となり、歪補正毎の補正データのばらつきが低減され、結果として再現性の高い部品位置計測に基づいた高精度な電子部品装着が可能となる。
本発明に係る電子部品装着装置の第1の実施の形態の概略構成を示す平面図である。 本発明に係る電子部品装着装置の第1の実施の形態のシステム構成を示す図である。 本発明に係る部品搭載のためのデータテーブルの説明図である。 本発明に係る電子部品装着装置の第1の実施の形態における部品搭載動作を示すフローチャートである。 本発明に係る電子部品装着装置の第1の実施の形態における歪補正データ算出時の部品位置認識用のカメラ周辺を示す構成図である。 本発明に係る電子部品装着装置の第1の実施の形態における歪補正治具の一実施例を示す図である。 図6に示す歪補正治具上のパターンの変形例を示す図である。 本発明に係る電子部品装着装置の第1の実施の形態における歪補正に関する画像処理を含めて歪補正処理シーケンスを示すフロー図である。 本発明に係る歪補正治具を画像座標のI方向に5μmピッチで120μm動かし、画素分解能60μmのカメラで歪補正治具上の円形マーク一点の重心位置を計測して得られた実験結果を示す図である。 図9と同一の実験結果であって、但し横軸は図9と同一とし、縦軸を図9の近似直線と計測点の差分で表した図である。 本発明に係る歪補正治具の(x,y)座標系とカメラで撮像する画像の(I,J)座標系との関係を示す図である。 本発明に係る歪補正治具の(x,y)座標系をカメラで撮像する画像の(I,J)座標系に対して回転させた場合におきるパターン検出位置の量子化誤差について説明するための図である。 本発明に係るカメラで撮像された歪補正治具と画像内に設定された歪補正領域との関係を示す図である。 本発明に係る電子部品装着装置の第1の実施の形態における動作フローチャートである。 本発明に係る電子部品装着装置の第2の実施の形態における歪補正データ算出時の部品位置認識用のカメラ周辺を示す構成図である。 本発明に係る電子部品装着装置の第2の実施の形態における歪補正治具の一実施例を示す図である。 本発明に係る電子部品装着装置の第2の実施の形態における歪補正処理シーケンスを示すフロー図である。
符号の説明
101…電子部品装着装置、102…基台、103…部品供給ユニット、104…供給コンベア、105…位置決め部、106…排出コンベア、107、107’…部品装着ヘッド、108…ビーム、109…Y軸駆動モータ、1010…ネジ軸、1011…ガイド、1012…X軸モータ、1013…吸着ノズル、1014…上下軸モータ、1015…θ軸モータ、1016…θ軸モータ、1017…部品位置認識用のカメラ、201…CPU、202…RAM、203…ROM、204…インターフェース、205、206,207,208…駆動回路、209…キーボードドライバ、2010…キーボード、2011…画像処理部、501…歪補正治具、502…撮像画像例、1601…歪補正治具保持手段、1701…歪補正治具。

Claims (12)

  1. 電子部品を吸着する吸着ノズルを有してX方向及びY方向に移動する部品装着ヘッドと、前記部品装着ヘッドの前記吸着ノズルに吸着された電子部品を(I,J)座標系で規定される撮像面で撮像して前記電子部品の画像を取得する部品位置認識用のカメラと、該部品位置認識用のカメラから取得される前記電子部品の画像に対して予め算出して記憶部に記憶された歪補正データに基づいて歪補正を実行し、該歪補正が実行された画像に基づいて前記電子部品の位置を認識する画像処理部とを備えた電子部品装着装置であって、
    (x,y)座標系で規定される歪補正パターンが形成された歪補正治具を前記部品装着ヘッドに保持し、
    前記画像処理部は、予め、前記歪補正パターンが規定される(x,y)座標系を前記部品位置認識用のカメラの撮像面で規定される(I,J)座標系に対して所定の角度回転させた状態で、前記歪補正パターンを前記部品位置認識用のカメラで撮像して取得される歪補正パターンの画像を基に前記歪補正データを算出して前記記憶部に記憶することを特徴とする電子部品装着装置。
  2. 前記画像処理部において、前記部品位置認識用のカメラで撮像して取得される歪補正パターンの画像を基に前記歪補正データを算出する際、前記歪補正パターンの格子点列パターンに対して最小自乗近似を用いて前記歪補正データを算出することを特徴とする請求項1に記載の電子部品装着装置。
  3. さらに、前記歪補正パターンを前記部品位置認識用のカメラで撮像する際、前記歪補正パターンが規定される(x,y)座標系を前記部品位置認識用のカメラの撮像面で規定される(I,J)座標系に対して所定の角度回転させた状態に制御する制御手段を有することを特徴とする請求項1又は2に記載の電子部品装着装置。
  4. 前記制御手段は、前記歪補正治具を保持した前記部品装着ヘッドを垂直軸回りに回転させるモータを含むことを特徴とする請求項3に記載の電子部品装着装置。
  5. 前記歪補正治具の外形基準を前記歪補正パターンが規定される(x,y)座標系に対して前記所定の角度回転させて形成し、該形成された前記歪補正治具の外形基準を前記部品装着ヘッドに位置決めして保持することを特徴とする請求項1又は2に記載の電子部品装着装置。
  6. 前記歪補正パターンは、前記(x,y)座標系で規定される格子点列上に点対称の図形又はx、y方向に対して線対称の図形を配置して形成されることを特徴とする請求項1乃至5の何れか一つに記載の電子部品装着装置。
  7. 前記部品位置認識用のカメラは、CCD型センサあるいはMOS型センサを用いて構成されることを特徴とする請求項1乃至6の何れか一つに記載の電子部品装着装置。
  8. カメラで取得される計測対象の画像に対して予め算出して記憶部に記憶された歪補正データに基づいて歪補正を行う画像歪補正方法であって、
    予め、歪補正パターンが規定される(x,y)座標系を前記カメラの撮像面で規定される(I,J)座標系に対して所定の角度回転させた状態で、前記歪補正パターンを前記カメラで撮像して取得される歪補正パターンの画像を基に前記歪補正データを算出して前記記憶部に記憶することを特徴とする画像歪補正方法。
  9. 前記カメラで撮像して取得される歪補正パターンの画像を基に前記歪補正データを算出する際、前記歪補正パターンの格子点列パターンに対して最小自乗近似を用いて前記歪補正データを算出することを特徴とする請求項8に記載の画像歪補正方法。
  10. 前記歪補正パターンを前記カメラで撮像する際、前記歪補正パターンが規定される(x,y)座標系を前記カメラの撮像面で規定される(I,J)座標系に対して所定の角度回転させた状態に制御することを特徴とする請求項8又は9に記載の画像歪補正方法。
  11. 前記歪補正パターンは、前記(x,y)座標系で規定される格子点列上に点対称の図形又はx、y方向に対して線対称の図形を配置して形成されることを特徴とする請求項8乃至10の何れか一つに記載の画像歪補正方法。
  12. 前記カメラは、CCD型センサあるいはMOS型センサを用いて構成されることを特徴とする請求項8乃至11の何れか一つに記載の画像歪補正方法。
JP2008325695A 2008-12-22 2008-12-22 電子部品装着装置 Active JP5457665B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008325695A JP5457665B2 (ja) 2008-12-22 2008-12-22 電子部品装着装置
EP09015741A EP2200418A2 (en) 2008-12-22 2009-12-18 Method and apparatus for mounting electronic components
CN2009102587743A CN101765361B (zh) 2008-12-22 2009-12-21 电子部件安装方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008325695A JP5457665B2 (ja) 2008-12-22 2008-12-22 電子部品装着装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013134620A Division JP5572247B2 (ja) 2013-06-27 2013-06-27 画像歪補正方法

Publications (2)

Publication Number Publication Date
JP2010147401A true JP2010147401A (ja) 2010-07-01
JP5457665B2 JP5457665B2 (ja) 2014-04-02

Family

ID=42045358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008325695A Active JP5457665B2 (ja) 2008-12-22 2008-12-22 電子部品装着装置

Country Status (3)

Country Link
EP (1) EP2200418A2 (ja)
JP (1) JP5457665B2 (ja)
CN (1) CN101765361B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004717A1 (ja) * 2013-07-08 2015-01-15 富士機械製造株式会社 部品保持状態検出方法および部品実装装置
JPWO2013136416A1 (ja) * 2012-03-12 2015-08-03 富士機械製造株式会社 産業用機械及びカメラユニット
WO2019171517A1 (ja) * 2018-03-07 2019-09-12 株式会社Fuji 保持部材制御装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104848784A (zh) * 2014-02-19 2015-08-19 江苏腾世机电有限公司 一种贴片机吸嘴单元的位置偏差校正方法及***
CN104994286B (zh) * 2015-06-30 2018-01-19 广东欧珀移动通信有限公司 一种畸变校正的方法及终端
CN115088402B (zh) * 2020-02-21 2023-06-27 株式会社富士 元件装配机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227711A (ja) * 1992-12-23 1994-08-16 American Teleph & Telegr Co <Att> 物体を配置する装置とその方法
JPH06241724A (ja) * 1993-02-12 1994-09-02 Aisin Seiki Co Ltd 撮影画面の歪補正方法および装置
JP2006010613A (ja) * 2004-06-29 2006-01-12 Medeikku Engineering:Kk 画像の歪み補正方法
JP2007012889A (ja) * 2005-06-30 2007-01-18 Hitachi High-Tech Instruments Co Ltd 電子部品装着方法及び電子部品装着装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004106851A1 (ja) * 2003-05-28 2004-12-09 Fuji Machine Mfg.Co., Ltd. 電子部品実装機の撮像画像処理装置及び撮像画像処理方法
JP3918854B2 (ja) * 2004-09-06 2007-05-23 オムロン株式会社 基板検査方法および基板検査装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06227711A (ja) * 1992-12-23 1994-08-16 American Teleph & Telegr Co <Att> 物体を配置する装置とその方法
JPH06241724A (ja) * 1993-02-12 1994-09-02 Aisin Seiki Co Ltd 撮影画面の歪補正方法および装置
JP2006010613A (ja) * 2004-06-29 2006-01-12 Medeikku Engineering:Kk 画像の歪み補正方法
JP2007012889A (ja) * 2005-06-30 2007-01-18 Hitachi High-Tech Instruments Co Ltd 電子部品装着方法及び電子部品装着装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013136416A1 (ja) * 2012-03-12 2015-08-03 富士機械製造株式会社 産業用機械及びカメラユニット
WO2015004717A1 (ja) * 2013-07-08 2015-01-15 富士機械製造株式会社 部品保持状態検出方法および部品実装装置
JPWO2015004717A1 (ja) * 2013-07-08 2017-02-23 富士機械製造株式会社 部品保持状態検出方法および部品実装装置
US10334770B2 (en) 2013-07-08 2019-06-25 Fuji Corporation Component holding state detection method and component mounting machine
WO2019171517A1 (ja) * 2018-03-07 2019-09-12 株式会社Fuji 保持部材制御装置
JPWO2019171517A1 (ja) * 2018-03-07 2020-12-03 株式会社Fuji 保持部材制御装置

Also Published As

Publication number Publication date
CN101765361B (zh) 2011-12-21
EP2200418A2 (en) 2010-06-23
JP5457665B2 (ja) 2014-04-02
CN101765361A (zh) 2010-06-30

Similar Documents

Publication Publication Date Title
TWI415703B (zh) 雷射加工裝置及基板位置檢測方法
JP6014315B2 (ja) 電子部品装着装置の測定方法
KR101472434B1 (ko) 전자 부품 실장 장치 및 실장 위치 보정 데이터 작성 방법
JP5457665B2 (ja) 電子部品装着装置
EP0886465B1 (en) Electronic components mounting method and apparatus
JP2008036918A (ja) スクリーン印刷装置および画像認識位置合わせ方法
JP6889778B2 (ja) 部品実装装置
JP5572247B2 (ja) 画像歪補正方法
JP5095164B2 (ja) 撮像装置の光軸ずれ検出方法、部品位置補正方法及び部品位置補正装置
JP6585529B2 (ja) 部品搭載方法および部品実装装置
JP2001244696A (ja) 部品の実装位置補正方法および表面実装機
JP4494922B2 (ja) 電子部品実装装置の搭載誤差検出方法及び装置
JP3644846B2 (ja) 描画装置の移動誤差検出装置及びその方法
JP2005228842A (ja) 電子部品実装装置の搭載誤差検出方法及び装置
CN108605432B (zh) 表面安装机、识别误差校正方法
JP2008294065A (ja) 電子部品の実装方法及び装置
JP2007281312A (ja) 部品搭載方法
JP3286105B2 (ja) 実装機の装着位置補正方法
JP4371832B2 (ja) 電子部品実装装置における移動台の移動制御方法およびその方法に用いられるマトリックス基板
JP7253476B2 (ja) 部品認識データ作成方法および部品認識データ作成プログラム
JP4757701B2 (ja) 電子部品の吸着位置補正方法及び装置
JP4860366B2 (ja) 表面実装装置
JP7319264B2 (ja) 制御方法、電子部品装着装置
JP2009212166A (ja) 部品移載装置および部品移載装置の部品認識方法
JP2003101297A (ja) 電子部品実装装置におけるオフセット補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120709

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130627

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140110

R150 Certificate of patent or registration of utility model

Ref document number: 5457665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250