JP2001209792A - Method and device for detecting part position and method and device for storing part data - Google Patents
Method and device for detecting part position and method and device for storing part dataInfo
- Publication number
- JP2001209792A JP2001209792A JP2000015193A JP2000015193A JP2001209792A JP 2001209792 A JP2001209792 A JP 2001209792A JP 2000015193 A JP2000015193 A JP 2000015193A JP 2000015193 A JP2000015193 A JP 2000015193A JP 2001209792 A JP2001209792 A JP 2001209792A
- Authority
- JP
- Japan
- Prior art keywords
- component
- element group
- elements
- center
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、実装機において実
装する部品の部品位置検出方法、部品位置検出装置、並
びに部品位置検出用の部品データ格納方法及びその装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a component position detecting method for a component mounted on a mounting machine, a component position detecting device, a component data storing method for component position detecting, and a device therefor.
【０００２】[0002]
【従来の技術】従来、実装機において部品の位置決めを
行う際、電子部品をＣＣＤカメラなどの撮像装置などで
画像データを取得し画像処理を行い精度良く電子部品を
実装していた。例えば図１（Ａ）に示すようなコネクタ
１、図１（Ｃ）に示すようなＱＦＰ２（ＱｕａｄＦｌａ
ｔＰａｃｋａｇｅ）などは、部品外形サイズ、リード１
ａの本数、リード長さ、リードピッチ、リード幅情報な
どを、また、図１（Ｂ）に示すＢＧＡ３（ＢａｌｌＧｒ
ｉｄＡｒｒａｙ）はボール３ａの直径、ボールピッチ、
ボール配列、ボール配置情報、ボール数などを部品デー
タを生成する際に設定し、この情報を元に画像認識装置
は部品の位置決めを行っていた。そして、従来、電子部
品は上記に示されるように定型的な形状をしており、画
像処理装置における部品認識方法はコネクタ１、ＱＦＰ
２、ＢＧＡ３などの分類に応じて認識処理を実行してい
た。2. Description of the Related Art Heretofore, when positioning a component in a mounting machine, image data of the electronic component is acquired by an image pickup device such as a CCD camera, image processing is performed, and the electronic component is mounted with high accuracy. For example, a connector 1 as shown in FIG. 1A and a QFP 2 (QuadFlaas) as shown in FIG.
tPackage), etc. are the component outer size, lead 1
a, the lead length, the lead pitch, the lead width information, and the like.
idArray) is the diameter of the ball 3a, the ball pitch,
The ball arrangement, the ball arrangement information, the number of balls, and the like are set when the component data is generated, and the image recognition device positions the component based on this information. Conventionally, the electronic component has a fixed shape as shown above, and the component recognition method in the image processing apparatus is the connector 1, QFP
2. Recognition processing is executed according to the classification such as BGA3.
【０００３】例えば、図１（Ａ）に示すようなコネクタ
１はまず、実装機の吸着ノズルによりその中央部が吸着
され、撮像装置部に移動し、部品のイメージが撮像さ
れ、その画像データが画像処理部に送られ、画像処理さ
れている。そして、認識すべきリード１ａの位置は、図
１（Ｄ）に示すように外周から順次画像データを走査
し、全ての辺においてリード１ａが存在するであろうと
思われる位置を検出する。このような操作により部品の
外接接線１ｂを求め、これを縦横共に２等分し、各辺毎
にリード検出領域としておおまかな設定を行っている。
そして、リード１ａの本数分の中心位置をエッジ検出を
するなどし、各々のリードの中心位置を検出し、各辺の
中心を算出することにより部品の中心位置を検出してい
た。また、図１（Ｂ）に示されるようなＢＧＡ３は、特
開平９−２９６５０６で示されるように電極の配列情報
を基に個々の電極が存在するであろう領域を計算し各電
極を認識していた。For example, a connector 1 as shown in FIG. 1A is first suctioned at its center by a suction nozzle of a mounting machine, moved to an image pickup device, and an image of a component is picked up. The image is sent to the image processing unit and subjected to image processing. Then, as shown in FIG. 1D, the position of the lead 1a to be recognized is scanned sequentially from the outer periphery, and the position where the lead 1a is considered to be present is detected on all sides. By such an operation, the external tangent line 1b of the component is obtained, and this is bisected both vertically and horizontally, and roughly set as a lead detection area for each side.
Then, the center position of each lead 1a is detected by edge detection, and the center position of each lead is detected, and the center of each side is calculated to detect the center position of the component. In addition, the BGA 3 as shown in FIG. 1B calculates a region where an individual electrode will exist based on the arrangement information of the electrodes and recognizes each electrode as shown in Japanese Patent Application Laid-Open No. 9-296506. I was
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、従来の
部品認識における部品認識方法では例えばリード部品に
おいては各辺のリードは、リード本数が登録されてお
り、リードピッチ、リード長さ、リード幅が同一で、リ
ード以外には何もないという前提にて部品を認識してい
た。つまり、規則的に配置される電極グループが１グル
ープで、配置されている方向も上下左右などのように限
定された条件にて認識していた。However, in the conventional component recognition method in component recognition, for example, in the case of a lead component, the number of leads is registered for each side, and the lead pitch, lead length, and lead width are the same. Then, the parts were recognized on the assumption that there was nothing other than the leads. That is, one electrode group is regularly arranged, and the arrangement direction is also recognized under limited conditions such as up, down, left, and right.
【０００５】また、半田ボールが電極として配置される
エリアアレイ部品はボールの直径、縦横方向に配置され
るピッチ、配置される配列、配置情報、ボールの総数を
登録し認識していた。したがって、図２（Ａ）、
（Ｂ）、（Ｃ）に示すようなコネクタ４、５、６あるい
は図２（Ｄ）に示すエリアアレイ部品７などのように複
数の電極グループが存在し、その電極グループの位置関
係が明確に定義されない部品は認識困難になるという問
題点があった。また、電極がグループとしてではなく個
々に大きさ、形状が異なると同様に認識困難になるとい
う問題点があった。また、図２（Ｂ）に示すようにリー
ドの先端形状が矩形ではなく、Ｖ字カット５ａ、テーパ
形状５ｂ、また、先端部コーナー５ｃにＲが存在する場
合、あるいは通常の電極のリード５ｄの先端を検出する
際、矩形のリード５ｄを前提として認識を行うと先端部
の画像データが異なると明らかに検出精度が異なるとい
う問題点もあった。Also, the area array component on which the solder ball is arranged as an electrode has registered and recognized the diameter of the ball, the pitch arranged in the vertical and horizontal directions, the arrangement arranged, the arrangement information, and the total number of balls. Therefore, FIG.
There are a plurality of electrode groups such as the connectors 4, 5, and 6 shown in FIGS. 2B and 2C or the area array component 7 shown in FIG. 2D, and the positional relationship between the electrode groups is clearly shown. There is a problem that undefined parts become difficult to recognize. Another problem is that if the electrodes are different in size and shape, not as a group, the recognition becomes similarly difficult. Also, as shown in FIG. 2 (B), the tip of the lead is not rectangular, but has a V-shaped cut 5a, a tapered shape 5b, and an R at the tip corner 5c, or the lead 5d of a normal electrode. When detecting the leading end, if recognition is performed on the premise of the rectangular lead 5d, there is also a problem that if the image data at the leading end is different, the detection accuracy is obviously different.
【０００６】以上のように部品の電極形状が異なる組み
合わせの部品や電極グループが複数となる組み合わせの
部品認識が非常に困難であるという問題点があった。As described above, there is a problem that it is very difficult to recognize a component having a combination of components having different electrode shapes or a combination having a plurality of electrode groups.
【０００７】したがって、本発明は、このような問題点
を解決するためになされたもので、種々の部品を高い信
頼性をもって認識することが可能な部品位置検出方法及
び装置、並びに部品データ格納方法とその装置を提供す
ることをその課題とする。SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve such a problem, and a component position detecting method and apparatus capable of recognizing various components with high reliability, and a component data storing method. And providing the device.
【０００８】[0008]
【課題を解決するための手段】以上の課題を解決するた
めに、本発明では、実装機において搭載される部品の所
定部位ないし特徴のある部位をエレメントとし、異なる
エレメントごとにエレメントの集合であるエレメントグ
ループを作成し、各エレメントグループの位置情報に基
づき部品位置を検出する構成を採用している。In order to solve the above problems, in the present invention, a predetermined part or a characteristic part of a component mounted in a mounting machine is set as an element, and an element is set for each different element. An element group is created, and a component position is detected based on the position information of each element group.
【０００９】また、本発明では、実装機において搭載さ
れる部品の所定部位ないし特徴のある部位をエレメント
とし、異なるエレメントごとに作成されたエレメントの
集合であるエレメントグループをリンク構造で結合して
記述される部品データを格納したデータ格納手段と、各
エレメントグループの位置情報に基づき部品位置を検出
する手段とを有する構成も採用している。According to the present invention, a predetermined part or a characteristic part of a component mounted on a mounting machine is defined as an element, and an element group, which is a set of elements created for each different element, is connected by a link structure and described. Also, a configuration having data storage means for storing the component data to be stored and means for detecting the component position based on the position information of each element group is adopted.
【００１０】また、本発明の部品データ格納方法及び装
置では、実装機において搭載される部品の所定部位ない
し特徴のある部位をエレメントとし、異なるエレメント
ごとにエレメントの集合であるエレメントグループを作
成し、作成されたエレメントグループをリンク構造で結
合し部品データとして格納する構成も採用している。In the component data storage method and apparatus according to the present invention, a predetermined portion or a characteristic portion of a component mounted on a mounting machine is set as an element, and an element group, which is a set of elements for each different element, is created. A configuration is also adopted in which the created element groups are linked by a link structure and stored as part data.
【００１１】以上のような構成を有する本発明では、形
状が異なる電極が複数種々に存在する部品でも高精度で
部品位置決めが可能になる。また、電極形状が種々に異
なる部品あるいは電極グループが複数存在する部品で
も、効率的にしかも簡単に部品データを記述することが
可能になるとともに、エレメント、エレメントグループ
を他の部品と共有することができるので、部品データを
格納するメモリの容量を顕著に減少させることができ
る。According to the present invention having the above-described structure, it is possible to position components with high accuracy even in a component having a plurality of various electrodes having different shapes. In addition, even for a component having various electrode shapes or a plurality of electrode groups, component data can be described efficiently and easily, and elements and element groups can be shared with other components. Therefore, the capacity of the memory for storing the component data can be significantly reduced.
【００１２】[0012]
【発明の実施の形態】以下、図面に示す実施の形態に基
づいて本発明を詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail based on embodiments shown in the drawings.
【００１３】本発明は、実装機において認識対象となる
部品の電極形状、電極グループ情報、部品の外形形状情
報、部品に設定される基準位置マークの情報、幾何学的
形状を記述することが困難な部位の情報を任意の組み合
わせにて定義し、任意の認識手法にて部品の中心位置、
傾きを計算し、かつ、設定した部品情報に対し異常があ
る部品はエラーを発生させるものであり、実装機が本発
明による部品データ管理情報、認識方法を有することに
より任意の特徴ある部位の組み合わせで構成される異型
部品を高い信頼性にて搭載することができる。According to the present invention, it is difficult to describe an electrode shape, electrode group information, external shape information of a component, information of a reference position mark set on the component, and a geometric shape of a component to be recognized in a mounting machine. Information of various parts is defined in any combination, and the center position of the part,
The inclination is calculated, and a component having an abnormality with respect to the set component information causes an error, and the mounting machine has the component data management information and the recognition method according to the present invention. Can be mounted with high reliability.
【００１４】図３には、本発明の一実施形態に係わる部
品位置検出装置が図示されている。同図において符号１
１で示すものは電子部品で、この電子部品１１は部品供
給部（不図示）から供給され、吸着ノズル１２により吸
着される。部品の吸着姿勢を認識するために、電子部品
１１は４面にそれぞれ多数の照明ランプ１３ａ、１３
ｂ、１３ｃを備えた照明装置１３により照明され、撮影
レンズ１４を備えた撮像カメラ（ＣＣＤカメラなど）１
５で撮像され、画像入力が行なわれる。FIG. 3 shows a component position detecting apparatus according to an embodiment of the present invention. In FIG.
Reference numeral 1 denotes an electronic component. The electronic component 11 is supplied from a component supply unit (not shown) and is sucked by a suction nozzle 12. In order to recognize the component's suction attitude, the electronic component 11 has a large number of illumination lamps 13a, 13
An imaging camera (such as a CCD camera) 1 illuminated by an illumination device 13 having b and 13c and having a taking lens 14
5 and an image is input.
【００１５】撮像カメラ１５で撮像された電子部品の画
像は、画像処理装置１７のＣＰＵ１８の制御の元にＡ／
Ｄコンバータ１９を介してデジタル信号に変換され、画
像メモリ２０に格納される。また画像処理装置１７に
は、上述するように部品外形サイズ、エレメント、エレ
メントグループなど部品データを格納したメモリ２３が
設けられる。ＣＰＵ１８は、メモリ２３に格納された部
品データに基づき画像メモリ２０に取り込まれた部品の
画像を認識し、部品中心と吸着中心のずれや部品の吸着
傾きなどを演算する。また、画像処理装置１７には、テ
ンプレートメモリ２１が設けられ、このテンプレートメ
モリには、部品外形サイズ、リードの本数、リード長
さ、リードピッチ、リード幅情報などの部品データに基
づいて形成されたテンプレートが格納され、テンプレー
トマッチングにより部品の概略位置を検出できるように
なっている。さらに、画像処理装置１７には、モニタ２
２が接続されており、入力画像あるいは処理画像を表示
できるようになっている。An image of the electronic component imaged by the imaging camera 15 is A / A under the control of the CPU 18 of the image processing device 17.
The signal is converted into a digital signal via the D converter 19 and stored in the image memory 20. Further, the image processing apparatus 17 is provided with the memory 23 which stores component data such as component external size, elements, and element groups as described above. The CPU 18 recognizes the image of the component captured in the image memory 20 based on the component data stored in the memory 23, and calculates a deviation between the component center and the suction center, a component inclination, and the like. Further, the image processing apparatus 17 is provided with a template memory 21, which is formed based on component data such as component outer size, number of leads, lead length, lead pitch, and lead width information. The template is stored, and the approximate position of the component can be detected by template matching. Further, the image processing device 17 has a monitor 2
2 are connected so that an input image or a processed image can be displayed.
【００１６】本発明では、部品を以下のように表現す
る。属性を設定した電極、位置決め可能なマークあるい
はその他特徴のある部位を最小構成単位要素（以下エレ
メントと記述）として扱い、このエレメントとその配置
情報などを属性としたエレメントの集合（以下エレメン
トグループと記述）を設定し、また、このエレメントグ
ループをリンク構造で結合し、さらに部品のサイズなど
の属性情報から一個の部品データを記述し設定する。In the present invention, parts are expressed as follows. A set of elements (hereinafter referred to as an element group) that treats the electrode, attributed mark or other characteristic part with the attribute set as the minimum constituent unit element (hereinafter referred to as element) and attributes this element and its arrangement information ) Is set, and the element groups are linked by a link structure, and one piece of component data is described and set from attribute information such as the size of the component.
【００１７】例えば、図４（Ａ）に示されるようなコネ
クタ３０は、リード３０ａをエレメントとし長さｈ、幅
ｖ、形状（矩形）などの属性を記述しエレメント（１）
として定義する。また、エレメント（１）から構成され
るピッチＰ１、リード本数４などの属性を記述したエレ
メント（１）の集合である電極グループをエレメントグ
ループ（１）、ピッチＰ２、リード本数４などの属性を
記述したエレメント（１）の集合である電極グループを
エレメントグル一プ（２）として定義する。そして、エ
レメントグループ内に記述されるロケーション情報（部
品の中心を原点とした座標軸上における各エレメントグ
ループの始点エレメント先端位置座標）や部品の属性情
報により部品データを構成する。For example, a connector 30 as shown in FIG. 4A uses a lead 30a as an element and describes attributes such as length h, width v, shape (rectangle), etc.
Is defined as Also, an electrode group, which is a set of elements (1) describing attributes such as pitch P1 and number of leads 4 composed of element (1), is described with attributes such as element group (1), pitch P2, number of leads 4 and so on. An electrode group, which is a set of the elements (1), is defined as an element group (2). Then, the component data is constituted by the location information (coordinates of the starting point of each element group on the coordinate axis whose origin is the center of the component) described in the element group and the attribute information of the component.
【００１８】また、図４（Ｂ）に示されるような半田ボ
ールを電極とするエリアアレイ部品３１では半田ボール
３１ａをエレメントとし直径ｄ、形状：球などの属性を
記述しエレメント（１）として定義する。また、エレメ
ント（１）から構成される水平方向のボール間ピッチＨ
ｐ１、垂直方向ピッチＶｐ１、ボール配列５×４、配置
情報、ボール数１４などの属性を記述したエレメント
（１）の集合である電極グループをエレメントグループ
（１）、水平方向のボール間ピッチＨｐ２、垂直方向ピ
ッチＶｐ２、ボール配列２×２、配置情報、ボール数４
などの属性を記述したエレメント（１）の集合である電
極グループをエレメントグループ（２）として定義す
る。そして、リード部品同様にエレメントグループ内に
記述されるロケーション情報（部品の中心を原点とした
座標軸上における各エレメントグループの始点エレメン
ト先端位置座標）や部品の属性情報により部品データを
構成する。In the area array component 31 having solder balls as electrodes as shown in FIG. 4B, attributes such as diameter d, shape: sphere, etc. are described using solder balls 31a as elements and defined as elements (1). I do. Further, a pitch H between horizontal balls composed of the element (1) is used.
The electrode group which is a set of elements (1) describing attributes such as p1, vertical pitch Vp1, ball arrangement 5 × 4, arrangement information, and the number of balls 14 is referred to as element group (1), horizontal ball pitch Hp2, Vertical pitch Vp2, ball arrangement 2 × 2, arrangement information, number of balls 4
An electrode group, which is a set of elements (1) in which attributes such as are described, is defined as an element group (2). Then, similarly to the lead component, the component data is constituted by the location information described in the element group (the start position coordinate of the start point element of each element group on the coordinate axis whose origin is the center of the component) and the attribute information of the component.
【００１９】図４（Ａ）、（Ｂ）で示される各エレメン
トはそれぞれ電極を示したが、これ以外でも部品の特徴
ある形状、例えばコーナー、辺などをエレメントとして
も表すことは可能であり、また、基準マーク、例えば丸
印、四角印、三角印などをエレメントとして表すことも
可能である。また、形状を記述することが困難な部分の
イメージデータをエレメントとして扱うことも可能であ
る。例えば、図４（Ｃ）に示すような部品３２において
は電極３２ａ、コーナー３２ｂ、基準マーク（正方形）
３２ｃ、形状を記述することが困難な部分の画像データ
３２ｄを上記に示すようにエレメントとして定義し、各
々のエレメントの集合をエレメントグループとして定義
し、エレメントグループ内に記述されるロケーション情
報（部品の中心を原点とした座標軸上における各エレメ
ントグループの始点エレメント先端位置座標）などの部
品の属性情報により部品データを構成する。Each of the elements shown in FIGS. 4A and 4B represents an electrode. However, other than this, it is possible to represent a characteristic shape of a part, for example, a corner or a side, as an element. Further, a reference mark, for example, a circle, a square, a triangle, or the like can be represented as an element. Further, it is also possible to handle image data of a part where the shape is difficult to describe as an element. For example, in the component 32 as shown in FIG. 4C, the electrode 32a, the corner 32b, the reference mark (square)
32c, the image data 32d of a portion where the shape is difficult to describe is defined as an element as described above, a set of each element is defined as an element group, and location information (component information) described in the element group is defined. The component data is constituted by component attribute information such as the coordinates of the starting point of each element group on the coordinate axis having the center as the origin.
【００２０】また、図２（Ｂ）に示すような部品５で
は、Ｖ字カット５ａ、テーパ形状５ｂ、また、先端部コ
ーナー５ｃにＲが存在する電極並びに通常の電極５ｄが
それぞれエレメントとなり、それぞれ４つのエレメント
グループが形成される。In the part 5 as shown in FIG. 2B, a V-shaped cut 5a, a tapered shape 5b, an electrode having an R at the tip corner 5c and a normal electrode 5d are elements, respectively. Four element groups are formed.
【００２１】以上のように部品を表す情報を最小構成単
位要素のエレメントとエレメントから構成される構成要
素の集合であるエレメントグループを個々に定義し、図
５に示すようなリンク構造にて各部品情報を生成するこ
とにより様々な組み合わせにて部品データを記述するこ
とができる。そして、様々な形状の部品をこのように表
現することができるため形状毎の認識アルゴリズムを準
備することにより容易にかつ高信頼性で部品の位置決め
をすることが可能となる。As described above, information representing parts is individually defined as an element group which is a set of constituent elements composed of elements and elements of the minimum constituent unit elements, and each part is defined by a link structure as shown in FIG. By generating information, component data can be described in various combinations. Since parts having various shapes can be represented in this way, it is possible to easily and highly reliably position the parts by preparing a recognition algorithm for each shape.
【００２２】図５には、上記のようにエレメント並びに
エレメントグループを用いて記述される部品データの構
造が図示されている。部品データ４０は部品ＩＤ部４０
ａ、外形サイズなどの情報部４０ｂ、形状情報リンク部
４０ｃからなっており、形状情報リンク部４０ｃは「リ
ード」、「ボール」、「外形」、「マーク」、「画像」
など部品の所定部位ないし特徴部位の項目からなってい
る。各部位は、その部位を構成する最小構成単位要素の
エレメントを有しており、そのエレメントのデータ４１
は、エレメントの識別番号であるＩＤ、その形状および
サイズから構成されている。また、エレメントから構成
される構成要素の集合であるエレメントグループが個々
に定義され、そのデータ４２は、エレメントグループを
識別するＩＤ、そのグループを構成するエレメントＩ
Ｄ、そのエレメントの数、ならびに位置情報などから構
成されている。部品の所定部位ないし特徴部位は、部品
を構成するエレメントグループ数と、そのグループのリ
ンク構成４０ｄ〜４０ｅなど属性情報が記述されてお
り、各リンクにはエレメントグループＩＤが付されてい
るので、そのグループＩＤのあるエレメントグループデ
ータ４２を引用することで、部品のすべての特定部位な
いし特徴部位を関連するエレメントグループのリンク結
合で記述することが可能になる。また、画像データ（図
４（Ｃ）の３２ｄなど）も同様に画像データＩＤ４３を
設けることにより、エレメントグループのリンク形式で
記述することが可能になる。FIG. 5 shows the structure of component data described using elements and element groups as described above. The part data 40 is a part ID part 40
a, an external size information section 40b, and a shape information link section 40c. The shape information link section 40c includes a "lead", a "ball", an "outline", a "mark", and an "image".
Such items include predetermined parts or characteristic parts of a part. Each part has an element of a minimum constituent unit element constituting the part, and data 41
Is composed of an ID, which is an identification number of an element, and its shape and size. An element group, which is a set of constituent elements composed of elements, is individually defined, and the data 42 includes an ID for identifying the element group, and an element I which constitutes the group.
D, the number of elements, position information, and the like. The predetermined part or characteristic part of the part describes attribute information such as the number of element groups constituting the part and the link configurations 40d to 40e of the group, and each link is given an element group ID. By quoting the element group data 42 having the group ID, it becomes possible to describe all the specific parts or characteristic parts of the component by linking the related element groups. Similarly, by providing the image data ID 43 for the image data (such as 32d in FIG. 4C), it is possible to describe the image data in the link format of the element group.
【００２３】部品認識は、エレメントグループが定義さ
れている順に各エレメントグループのエレメントを検出
し、これらの平均より各エレメントグループの中心、傾
きを計算する。このように部品に定義される全てのエレ
メントグループの中心位置、傾きから部品の中心、傾き
を計算する。各エレメントグループの中心位置と部品の
中心位置の関係はエレメントグループの属性情報の位置
情報を参照し各エレメントグループの中心位置から部品
中心位置を計算する。傾きはエレメントグループ内のエ
レメントが複数存在する場合はその位置情報から回帰直
線などを用いて計算する。In component recognition, the elements of each element group are detected in the order in which the element groups are defined, and the center and inclination of each element group are calculated from the average of the elements. The center and the inclination of the component are calculated from the center positions and the inclinations of all the element groups defined in the component as described above. For the relationship between the center position of each element group and the center position of the component, the component center position is calculated from the center position of each element group with reference to the position information of the attribute information of the element group. If there are a plurality of elements in the element group, the inclination is calculated from the position information using a regression line or the like.
【００２４】このような部品認識が実装機（マウンタ
ー）にて実行される流れが図７に図示されている。ま
ず、ステップＳ１において、図３に示される画像処理装
置１７はマウンタメインコントローラー（不図示）より
図５に示すような部品に関するデータ４０を受け取り、
これを部品データ格納メモリ２３に格納する。マウンタ
ーの吸着ノズル１２が部品供給部（不図示）より電子部
品１１を吸着し、撮像カメラ１５の配置された部品検出
部に移動すると、マウンターのメインコントローラーは
照明装置１３を点灯させ、画像処理装置１７へ認識実行
指令を送出する。FIG. 7 shows a flow in which such component recognition is executed by the mounting machine (mounter). First, in step S1, the image processing apparatus 17 shown in FIG. 3 receives data 40 on parts as shown in FIG. 5 from a mounter main controller (not shown),
This is stored in the component data storage memory 23. When the suction nozzle 12 of the mounter sucks the electronic component 11 from the component supply unit (not shown) and moves to the component detection unit where the imaging camera 15 is arranged, the main controller of the mounter turns on the illumination device 13 and turns on the image processing device. Then, a recognition execution command is sent to 17.
【００２５】画像処理装置１７は認識実行指令を受け取
ると（ステップＳ２）、電子部品１１の画像データをＡ
／Ｄコンバーター１９を経由し、画像メモリ２０に格納
する。これら一連のコントロールはＣＰＵ１８が行う。
画像データの格納が終了すると、ＣＰＵ１８は部品デー
タ格納メモリ２３から図５に示されるような部品データ
４０を参照し、認識処理を実行する。例として図６
（Ａ）に示されるような３個のリード構成要素Ａ、Ｂ、
Ｃのエレメントを持つ部品５０は、エレメントグループ
５０ａ〜５０ｃを有しており、各々のエレメントグルー
プの属性情報中に部品中心からのエレメント位置情報
（Ｘａ、Ｙｂ）（Ｘｂ、Ｙｂ）（Ｘｃ、Ｙｃ）が格納さ
れているので、エレメントグループが記述されている順
に、本出願人の特願平１１−０３３５９５に示される方
式にてエレメントグループ内の各エレメントを認識する
（ステップＳ３）。全エレメントが正常認識されない場
合は（ステップＳ４の否定）、部品に欠陥があるのでエ
ラー通知して（ステップＳ５）、処理を終了する。When the image processing device 17 receives the recognition execution command (step S2), the image data of the electronic component 11 is stored in A
The data is stored in the image memory 20 via the / D converter 19. These series of controls are performed by the CPU 18.
When the storage of the image data is completed, the CPU 18 executes the recognition process by referring to the component data 40 as shown in FIG. 5 from the component data storage memory 23. FIG. 6 as an example
Three lead components A, B, as shown in (A)
The component 50 having the C element has element groups 50a to 50c, and element position information (Xa, Yb) (Xb, Yb) (Xb, Yb) (Xc, Yc) from the component center is included in the attribute information of each element group. ) Is stored, the elements in the element group are recognized in the order described in the element group by the method shown in Japanese Patent Application No. Hei 11-033595 of the present applicant (step S3). If all the elements are not recognized normally (No at Step S4), an error is notified (Step S5) because there is a defect in the component, and the process ends.
【００２６】一方、全エレメントが正常に認識された場
合は（ステップＳ４の肯定）、そのエレメントグループ
の電極パターン（エレメント）の電極座標を計算するこ
とによりエレメントグループの中心位置が計算され、ま
た各電極座標から回帰直線を求めることによりエレメン
トグループの傾きが計算される（ステップＳ６）。一つ
のエレメントグループに対して上記処理が終了した場合
は、ステップＳ７ですべてのエレメントグループに対し
てその中心と傾きが計算されるまで上記処理が繰り返さ
れる。On the other hand, if all the elements are normally recognized (Yes at step S4), the center position of the element group is calculated by calculating the electrode coordinates of the electrode pattern (element) of the element group. An inclination of the element group is calculated by obtaining a regression line from the electrode coordinates (step S6). When the above processing is completed for one element group, the above processing is repeated until the center and the inclination are calculated for all element groups in step S7.
【００２７】このようにして、図６（Ｂ）に示したよう
に、エレメントグループ５０ａ〜５０ｃの中心位置（Ｘ
ｃａ、Ｙｃｂ）（Ｘｃｂ、Ｙｃｂ）（Ｘｃｃ、Ｙｃｃ）
が算出され、また各エレメントグループの傾きθａ、θ
ｂ、θｃが求められると、各エレメントグループの中心
位置座標からのベクトルの平均により部品中心が求めら
れ、またその傾きが各エレメントグループの傾きの平均
から求められ（ステップＳ８、Ｓ９）、その認識結果が
コントローラーに通知される（ステップＳ１０）。In this way, as shown in FIG. 6B, the center positions (X
ca, Ycb) (Xcb, Ycb) (Xcc, Ycc)
Is calculated, and the inclination θa, θ of each element group is calculated.
When b and θc are obtained, the component center is obtained by averaging the vectors from the center position coordinates of each element group, and the inclination thereof is obtained from the average of the inclinations of each element group (steps S8 and S9). The result is notified to the controller (step S10).
【００２８】なお、例えば電極の形状がテーパ形状であ
る場合（図２（Ｂ）の電極５ｂなど）はこの部分の詳細
情報をエレメントの属性情報から参照し、上記特願平１
１−０３３５９５に示されるリード先端の不安定区間長
（α）と安定区間長（β）に設定し認識することにより
精密なリード検出が可能となる。For example, when the shape of the electrode is a tapered shape (such as the electrode 5b in FIG. 2B), the detailed information of this part is referred to from the attribute information of the element, and the above-mentioned Japanese Patent Application Laid-Open No. H10-163,873 is disclosed.
By setting and recognizing the unstable section length (α) and the stable section length (β) of the leading end of the lead shown in 1-035955, precise lead detection becomes possible.
【００２９】同様に図２（Ｄ）に示されるような半田ボ
ールを電極とするエリアアレイ部品７も特願平１１−０
３３５９５に示される方式などを用い部品の中心、傾き
を求める。また、図４（Ｃ）に示されるような部品にお
いて電極以外の部分をエレメントグループとする部品の
特徴を記述することが困難な部分をエレメントとして登
録する例として、データ登録時に予め対象となる部位の
画像データを登録しておき、認識実行時はこれを部品デ
ータ格納メモリ２３から図３のテンプレートメモリ２１
に読み出し、テンプレートマッチングをＣＰＵ１８が実
行することによりエレメントグループの位置を検出する
ことができる。Similarly, an area array component 7 having solder balls as electrodes as shown in FIG.
The center and inclination of the component are obtained by using the method shown in 33595 or the like. In addition, as an example of registering a part as shown in FIG. 4C where it is difficult to describe a feature of a part other than an electrode as an element group, as an element, a part to be previously targeted at data registration is used. The image data of the template memory 21 shown in FIG.
Then, the CPU 18 executes the template matching to detect the position of the element group.
【００３０】また、基準マーク検出は、特開平５−１４
３７３９に示されるようにマークのモデルを生成し各種
相関演算を用いパターンマッチングなどを行うことによ
りエレメントグループの位置を検出することができる。
また、コーナーなどの特徴はソーベルフィルターなどを
用いエッジ部を抽出し直行する交点を検出することによ
り位置を検出することが可能となり、図６（Ｂ）の部品
中心、傾き検出同様に各エレメントグループの位置から
部品の中心、複数のエレメントグループの位置から傾き
を計算する。Reference mark detection is disclosed in Japanese Unexamined Patent Application Publication No.
As shown by 3739, the position of the element group can be detected by generating a model of the mark and performing pattern matching using various correlation operations.
In addition, the features such as corners can be detected by extracting the edge portion using a Sobel filter or the like and detecting the crossing point that goes straight. Each element can be detected in the same manner as the component center and inclination detection in FIG. The center of the component is calculated from the position of the group, and the inclination is calculated from the positions of a plurality of element groups.
【００３１】[0031]
【発明の効果】以上説明したように、本発明では、部品
の所定部位ないし特徴のある部位をエレメントとし、異
なるエレメントごとにエレメントの集合であるエレメン
トグループを作成し、各エレメントグループの位置情報
に基づき部品位置を検出するようにしているので、形状
が異なる電極が複数種々に存在する部品でも高精度で部
品位置決めが可能になる。As described above, according to the present invention, a predetermined part or a characteristic part of a part is used as an element, and an element group, which is a set of elements for each different element, is created. Since the position of the component is detected based on the component, the component can be positioned with high accuracy even if the component includes a plurality of electrodes having different shapes.
【００３２】また、本発明では、部品の電極や位置決め
可能なマーク、特徴のある部位をエレメントとして登録
し、またエレメントの集合をエレメントグループとして
登録し、個々の部品はこれらの情報をリンク構造にて結
合して部品データとしているので、電極形状が種々に異
なる部品あるいは電極グループが複数存在する部品で
も、効率的にしかも簡単に部品データを記述することが
可能になるとともに、エレメント、エレメントグループ
を他の部品と共有することができるので、部品データを
格納するメモリの容量を減少させることができる。Also, in the present invention, the electrodes, the marks which can be positioned, and the characteristic portions are registered as elements, and a set of elements is registered as an element group. And component data by combining them, it is possible to describe component data efficiently and easily even for components with various electrode shapes or multiple electrode groups, Since it can be shared with other parts, the capacity of the memory for storing the part data can be reduced.
【００３３】また、本発明では、部品の電極の形状が異
なる場合、例えば、リード電極の場合、矩形、テーパ形
状、先端Ｕ字カット、先端Ｖ字カットなどが異なる場
合、異なる形状ごとにエレメントとすることにより、精
密な電極認識が可能となる。Also, in the present invention, when the shape of the electrode of the component is different, for example, in the case of a lead electrode, when the rectangle, tapered shape, U-shaped cut at the tip, V-shaped cut at the tip are different, etc. By doing so, precise electrode recognition becomes possible.
【図１】種々の電子部品の形状並びにその位置を検出す
る方法を示す説明図である。FIG. 1 is an explanatory diagram showing a method of detecting the shapes and positions of various electronic components.
【図２】種々の電子部品の形状を示す説明図である。FIG. 2 is an explanatory view showing shapes of various electronic components.
【図３】本発明による部品位置検出装置の構成を示す構
成図である。FIG. 3 is a configuration diagram showing a configuration of a component position detection device according to the present invention.
【図４】部品をエレメント並びにその集合であるエレメ
ントグループとして記述する方法を説明した説明図であ
る。FIG. 4 is an explanatory diagram illustrating a method of describing a component as an element and an element group that is a set thereof.
【図５】エレメント並びにその集合であるエレメントグ
ループとして記述された部品データの構造を示す説明図
である。FIG. 5 is an explanatory diagram showing a structure of component data described as elements and an element group that is a set of the elements.
【図６】エレメントグループに基づいて部品位置を検出
する方法を説明した説明図である。FIG. 6 is an explanatory diagram illustrating a method of detecting a component position based on an element group.
【図７】部品位置検出の流れを示すフローチャート図で
ある。FIG. 7 is a flowchart illustrating a flow of component position detection.
１１ 電子部品 １２ 吸着ノズル １５ 撮像カメラ １７ 画像処理装置 ２３ 部品データ格納メモリ Reference Signs List 11 electronic components 12 suction nozzle 15 imaging camera 17 image processing device 23 component data storage memory
───────────────────────────────────────────────────── フロントページの続き (72)発明者 安部 好晃 東京都調布市国領町８丁目２番地の１ ジ ューキ株式会社内 (72)発明者 横瀬 仁彦 東京都調布市国領町８丁目２番地の１ ジ ューキ株式会社内 Ｆターム(参考） 2F065 AA03 AA17 AA37 BB27 CC25 CC27 DD07 FF04 GG15 JJ03 JJ26 PP11 QQ03 QQ21 QQ24 QQ31 SS13 5B057 AA02 BA02 BA19 CH11 DA02 DA07 DA08 DB02 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Yoshiaki Abe 8-2, Kokuryo-cho, Chofu-shi, Tokyo Inside Juke Corporation (72) Inventor Yoshihiko Yokoze 8-2-2, Kokuryo-cho, Chofu-shi, Tokyo 1 F-term in Juke Corporation (reference) 2F065 AA03 AA17 AA37 BB27 CC25 CC27 DD07 FF04 GG15 JJ03 JJ26 PP11 QQ03 QQ21 QQ24 QQ31 SS13 5B057 AA02 BA02 BA19 CH11 DA02 DA07 DA08 DB02
Claims (8)
位ないし特徴のある部位をエレメントとし、 異なるエレメントごとにエレメントの集合であるエレメ
ントグループを作成し、 各エレメントグループの位置情報に基づき部品位置を検
出することを特徴とする部品位置検出方法。A predetermined part or a characteristic part of a component mounted on a mounting machine is defined as an element, an element group is formed as a set of elements for each different element, and a component position is determined based on position information of each element group. A component position detection method characterized by detecting.
部品の電極、位置決めマークあるいは特徴のある部位の
画像であることを特徴とする請求項１に記載の部品位置
検出方法。2. The method according to claim 1, wherein the predetermined part or a characteristic part is:
The component position detecting method according to claim 1, wherein the image is an image of an electrode, a positioning mark, or a characteristic portion of the component.
トを検出してエレメントグループの中心並びに傾きを算
出し、算出されたエレメントグループの中心並びに傾き
から部品の中心と傾きを算出することを特徴とする請求
項１又は２に記載の部品位置検出方法。3. The method according to claim 1, wherein each element in the element group is detected, a center and an inclination of the element group are calculated, and a center and an inclination of the component are calculated from the calculated center and inclination of the element group. Item 1. The component position detection method according to Item 1 or 2.
位ないし特徴のある部位をエレメントとし、異なるエレ
メントごとに作成されたエレメントの集合であるエレメ
ントグループをリンク構造で結合して記述される部品デ
ータを格納したデータ格納手段と、 各エレメントグループの位置情報に基づき部品位置を検
出する手段と、 を有することを特徴とする部品位置検出装置。4. Component data described by linking a predetermined part or a characteristic part of a component mounted on a mounting machine as an element, and linking an element group, which is a set of elements created for each different element, by a link structure. A component position detecting device, comprising: a data storage unit that stores therein; and a unit that detects a component position based on position information of each element group.
部品の電極、位置決めマークあるいは特徴のある部位の
画像であることを特徴とする請求項４に記載の部品位置
検出装置。5. The method according to claim 1, wherein the predetermined part or a characteristic part is:
The component position detection device according to claim 4, wherein the component position detection device is an image of a component electrode, a positioning mark, or a characteristic portion.
トを検出してエレメントグループの中心並びに傾きを算
出し、算出されたエレメントグループの中心並びに傾き
から部品の中心と傾きを算出することを特徴とする請求
項４又は５に記載の部品位置検出装置。6. The method according to claim 1, wherein each element in said element group is detected to calculate a center and an inclination of the element group, and a center and an inclination of the component are calculated from the calculated center and inclination of the element group. Item 5. The component position detecting device according to item 4 or 5.
位ないし特徴のある部位をエレメントとし、 異なるエレメントごとにエレメントの集合であるエレメ
ントグループを作成し、 作成されたエレメントグループをリンク構造で結合し部
品データとして格納することを特徴とする部品データ格
納方法。7. A predetermined part or a characteristic part of a component mounted on a mounting machine is defined as an element, an element group as a set of elements is created for each different element, and the created element groups are connected by a link structure. A component data storage method characterized by storing as component data.
位ないし特徴のある部位をエレメントとし、異なるエレ
メントごとに作成されたエレメントの集合であるエレメ
ントグループをリンク構造で結合し部品データとして格
納することを特徴とする部品データ格納装置。8. A method according to claim 1, wherein a predetermined part or a characteristic part of a component mounted on the mounting machine is defined as an element, and an element group, which is a set of elements created for each different element, is connected in a link structure and stored as component data. A component data storage device characterized by the following.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000015193A JP4614487B2 (en) | 2000-01-25 | 2000-01-25 | Component position detection method, component position detection device, component data storage method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000015193A JP4614487B2 (en) | 2000-01-25 | 2000-01-25 | Component position detection method, component position detection device, component data storage method and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001209792A true JP2001209792A (en) | 2001-08-03 |
| JP4614487B2 JP4614487B2 (en) | 2011-01-19 |
Family
ID=18542527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000015193A Expired - Fee Related JP4614487B2 (en) | 2000-01-25 | 2000-01-25 | Component position detection method, component position detection device, component data storage method and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4614487B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164619A (en) * | 2005-12-15 | 2007-06-28 | Juki Corp | Image processing method and device |
| JP2009216480A (en) * | 2008-03-10 | 2009-09-24 | Ihi Corp | Three-dimensional position and attitude measuring method and system |
| WO2016016933A1 (en) * | 2014-07-28 | 2016-02-04 | 富士機械製造株式会社 | Component data handling device, component data handling method, and component mounting system |
| CN112385328A (en) * | 2018-07-12 | 2021-02-19 | 株式会社富士 | Template generating device and component mounting machine |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05143739A (en) * | 1991-11-26 | 1993-06-11 | Juki Corp | Image processor |
| JPH06235699A (en) * | 1993-02-10 | 1994-08-23 | Omron Corp | Inspection method for mounted component |
| JPH0830725A (en) * | 1994-07-20 | 1996-02-02 | Canon Inc | Device and method for processing image |
| JPH11132737A (en) * | 1997-10-29 | 1999-05-21 | Juki Corp | Image processing method |
| JP3014097B2 (en) * | 1987-02-20 | 2000-02-28 | 株式会社日立製作所 | Contour tracking method and system |
| JP2000105832A (en) * | 1998-09-29 | 2000-04-11 | Toshiba Corp | Device and method for pattern inspection and recording medium stored with pattern inspecting program |
| JP2000232299A (en) * | 1999-02-12 | 2000-08-22 | Juki Corp | Method and device for recognizing part |
-
2000
- 2000-01-25 JP JP2000015193A patent/JP4614487B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3014097B2 (en) * | 1987-02-20 | 2000-02-28 | 株式会社日立製作所 | Contour tracking method and system |
| JPH05143739A (en) * | 1991-11-26 | 1993-06-11 | Juki Corp | Image processor |
| JPH06235699A (en) * | 1993-02-10 | 1994-08-23 | Omron Corp | Inspection method for mounted component |
| JPH0830725A (en) * | 1994-07-20 | 1996-02-02 | Canon Inc | Device and method for processing image |
| JPH11132737A (en) * | 1997-10-29 | 1999-05-21 | Juki Corp | Image processing method |
| JP2000105832A (en) * | 1998-09-29 | 2000-04-11 | Toshiba Corp | Device and method for pattern inspection and recording medium stored with pattern inspecting program |
| JP2000232299A (en) * | 1999-02-12 | 2000-08-22 | Juki Corp | Method and device for recognizing part |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164619A (en) * | 2005-12-15 | 2007-06-28 | Juki Corp | Image processing method and device |
| JP4642648B2 (en) * | 2005-12-15 | 2011-03-02 | Ｊｕｋｉ株式会社 | Image processing method and apparatus for components mounted on mounting apparatus |
| JP2009216480A (en) * | 2008-03-10 | 2009-09-24 | Ihi Corp | Three-dimensional position and attitude measuring method and system |
| WO2016016933A1 (en) * | 2014-07-28 | 2016-02-04 | 富士機械製造株式会社 | Component data handling device, component data handling method, and component mounting system |
| JPWO2016016933A1 (en) * | 2014-07-28 | 2017-04-27 | 富士機械製造株式会社 | Component data handling device, component data handling method, and component mounting system |
| US10721849B2 (en) | 2014-07-28 | 2020-07-21 | Fuji Corporation | Component data handling device and component mounting system |
| CN112385328A (en) * | 2018-07-12 | 2021-02-19 | 株式会社富士 | Template generating device and component mounting machine |
| CN112385328B (en) * | 2018-07-12 | 2022-08-30 | 株式会社富士 | Template generating device and component mounting machine |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4614487B2 (en) | 2011-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6472801B2 (en) | Component data handling device, component data handling method, and component mounting system | |
| JP2001209792A (en) | Method and device for detecting part position and method and device for storing part data | |
| JP2005123352A (en) | Component data generation device and electronic component mounting device | |
| US5038380A (en) | Method for recognizing position of component and apparatus therefor | |
| JP4106301B2 (en) | Component recognition method and apparatus | |
| US20230106149A1 (en) | Component mounter | |
| JP2017130592A (en) | Component data handling device, component data handling method, and component mounting system | |
| JP4744234B2 (en) | Component positioning method and apparatus | |
| JPH11311506A (en) | Method and device for detecting position of electronic component | |
| JP4681984B2 (en) | Component positioning method and apparatus | |
| JP4380864B2 (en) | Component detection method and apparatus | |
| JP4823782B2 (en) | Component positioning method and apparatus | |
| JP6407433B2 (en) | Model data creation device, model data creation method, mounting reference point determination device, mounting reference point determination method | |
| JP4757701B2 (en) | Electronic component suction position correction method and apparatus | |
| JP4686329B2 (en) | Component recognition method and apparatus | |
| JP3342171B2 (en) | Component position recognition method and position recognition device | |
| JPH11132737A (en) | Image processing method | |
| EP4250892A1 (en) | Image processing device, mounting device, mounting system, image processing method, and mounting method | |
| JP3639342B2 (en) | Electronic component mounting method | |
| JPH10117100A (en) | Method for measuring position of component | |
| JP4226866B2 (en) | Component recognition device for mounting machine | |
| JP2005173845A (en) | Parts recognition device | |
| JP2001217595A (en) | Method and device for detecting part position | |
| JP2004273578A (en) | Electronic component mounting method and equipment thereof | |
| JP4642648B2 (en) | Image processing method and apparatus for components mounted on mounting apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070207 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100601 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100921 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101019 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4614487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |