JP4333349B2 - Mounting appearance inspection method and mounting appearance inspection apparatus - Google Patents

Mounting appearance inspection method and mounting appearance inspection apparatus Download PDF

Info

Publication number
JP4333349B2
JP4333349B2 JP2003405384A JP2003405384A JP4333349B2 JP 4333349 B2 JP4333349 B2 JP 4333349B2 JP 2003405384 A JP2003405384 A JP 2003405384A JP 2003405384 A JP2003405384 A JP 2003405384A JP 4333349 B2 JP4333349 B2 JP 4333349B2
Authority
JP
Japan
Prior art keywords
data
subject
mounting
inspection
circuit board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003405384A
Other languages
Japanese (ja)
Other versions
JP2005164454A (en
JP2005164454A5 (en
Inventor
昇 東
和彦 友保
大介 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003405384A priority Critical patent/JP4333349B2/en
Publication of JP2005164454A publication Critical patent/JP2005164454A/en
Publication of JP2005164454A5 publication Critical patent/JP2005164454A5/ja
Application granted granted Critical
Publication of JP4333349B2 publication Critical patent/JP4333349B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/50Manufacturing or production processes characterised by the final manufactured product

Description

本発明は、プリント実装基板を製造する工程における実装外観検査装置及び実装外観検
査方法に関するもので、特に、検査を行う被検体の基準値となるティーチングデータの表
示に特徴を有するものである。
The present invention relates to a mounting appearance inspection apparatus and a mounting appearance inspection method in a process of manufacturing a printed circuit board, and particularly has a feature in displaying teaching data serving as a reference value of a subject to be inspected.

実装外観検査装置は、カメラやレーザー計測により電子基板の画像を撮像し、その撮像
した画像データを用いて、検査対象となるプリント基板上に配置された電子部品や半田の
状態を認識し、その良否を判定する装置である。
The mounting appearance inspection device captures an image of an electronic board by a camera or laser measurement, uses the captured image data to recognize the state of electronic components and solder placed on the printed circuit board to be inspected, and This is a device for judging pass / fail.

実装外観検査装置を製造工程に適用し、製造ライン上を流れる電子基板の良否を判定さ
せるためには、まず予め検査対象となる被検体(電子部品など)が装着される装着位置、
装着角度、部品寸法、検査内容、およびデータ計測領域等を設定したティーチングデータ
を作成し保存する。そして、実際の製造工程において外観検査を実施する際に、保存して
あるティーチングデータから目的のデータを選択して読み出し、そのティーチングデータ
に基づいて、外観検査装置で電子基板の所望の部位の画像データを計測し、本計測した画
像データを用いて各種検査処理を行い、その検査結果データから電子基板の良否判定を行
う。電子部品に対する検査項目としては、部品位置ずれ、部品浮き、表裏反転、極性、
リード浮き、リード位置ずれ、はんだ不良、リード間ブリッジなどがあり、クリームはん
だ検査においては、はんだ面積、はんだ体積、はんだずれ、形状以上などがある。
In order to apply the mounting appearance inspection apparatus to the manufacturing process and determine whether the electronic substrate flowing on the manufacturing line is good or bad, first, a mounting position where a subject (electronic component or the like) to be inspected is mounted in advance,
Create and save teaching data that sets the mounting angle, part dimensions, inspection details, data measurement area, etc. Then, when performing an appearance inspection in an actual manufacturing process, target data is selected and read out from the stored teaching data, and an image of a desired part of the electronic board is displayed by the appearance inspection apparatus based on the teaching data. Data is measured, various inspection processes are performed using the actually measured image data, and the quality of the electronic board is determined from the inspection result data. Inspection items for electronic components include component misalignment, component floating, front / back reversal, polarity,
There are lead floating, lead position deviation, solder failure, lead-to-lead bridge, etc., and cream solder inspection includes solder area, solder volume, solder slip, shape and more.

実装ラインにおいて検査を行う際には、予め作成したティーチングデータをディスプレ
イ上にグラフィック表示し、基板毎に、不良と判断した被検体に対して、被検体の形状
データの表示色を良品と異ならせて表示し、不良個所が視覚的に確認できるように表示す
る。また外観検査機で不良基板と判定した基板を修理する工程においても、ディスプレイ
上にティーチングデータをグラフィック表示し、検査時に不良と判断した被検体の形状
データの表示色を良品と異ならせて表示し、その不良個所が視覚的に確認できるようにし
ている。
When inspecting on the mounting line, the teaching data created in advance is displayed graphically on the display, and the display color of the shape data of the subject is made different from the non-defective product for each subject judged to be defective for each board. Display so that the defective part can be visually confirmed. Also, in the process of repairing a board that has been determined to be defective by the visual inspection machine, the teaching data is displayed graphically on the display, and the display color of the shape data of the subject that is determined to be defective during the inspection is displayed differently from the non-defective product. , So that the defective part can be visually confirmed.

特許文1には、不良箇所を2次元表示し、検査対象の修正に基づいて画面を変更するので、表示画面上で検査対象の未修正が容易に判断できることなどが開示されている。
また、特許文献2には、プリント基板に搭載される部品の単価情等を3次元形状、マーク、文字などで視覚的に分かり易く表示することが開示されている。
特公平8−27329号公報 特開平11−203338号公報
The Patent Document 1, the defective portion is two-dimensionally displayed, so change the screen based on the modified inspected, discloses such be able to determine readily the inspected unmodified on the display screen.
Further, Patent Document 2, the three-dimensional shape bid information of parts to be mounted on a printed circuit board, mark, be displayed clarity visually characters, and the like are disclosed.
Japanese Patent Publication No. 8-27329 JP-A-11-203338

従来の実装外観検査装置のティーチングデータ作成においては、検査に必要な情報のみ
を設定しており、部品に関する全ての情報は設定されない。例えば部品サイズ情報におい
て、検査に必要な箇所のデータのみを設定するれば目的とする検査が行えるため、その他
のデータは設定する必要性がない。通常検査システムは、ユーザーのデータ入力作業を軽
減するため、検査に必要な情報のみの入力要求を行い、その他のデータの入力要求は行わ
ない。このためティーチングデータに基づいて、ディスプレイ上に被検体の部品形状をグ
ラフィック表示した場合、その表示のみからでは、部品種別を判別することが困難となっ
ている。例えば、チップ部品をグラフィック表示した場合、チップ抵抗およびチップコン
デンサの部品形状は同じであり、画面表示からでは、2種類の部品種別を判別することが
できない。またアルミ電解コンデンサの表示においては、本体円筒の状態を検査せず、土
台部分の矩形のみを検査対象とするため、その形状データは土台形状(矩形)となり、グ
ラフィック表示からでは、アルミ電解コンデンサと想像することさえも不可能となる。
In creating teaching data of a conventional mounting appearance inspection apparatus, only information necessary for inspection is set, and not all information regarding parts is set. For example, in the part size information, if only the data of the part necessary for the inspection is set, the target inspection can be performed, so that it is not necessary to set other data. In order to reduce the user's data input work, the normal inspection system requests only input of information necessary for the inspection, and does not request input of other data. For this reason, when the part shape of the subject is graphically displayed on the display based on the teaching data, it is difficult to determine the part type only from the display. For example, when the chip parts are displayed graphically, the chip resistors and the chip capacitors have the same shape, and the two types of parts cannot be determined from the screen display. In addition, in the display of the aluminum electrolytic capacitor, the state of the main body cylinder is not inspected, and only the rectangle of the base portion is inspected. Therefore, the shape data is a base shape (rectangle). Even imagination becomes impossible.

また、検査機において不良と判定した電子基板を修理する修理工程においては、実装外
観検査装置と同様に、ティーチングデータをディスプレイ上にグラフィック表示し、基板
上における不良部品の位置を良品と区別して判別できるように、不良部品の形状データの
表示色を変えたり十字カーソル表示などによって、その位置情報を提供し、その表示情報
に基づいて、修理者は実際の不良基板の不良箇所を特定し、修理作業を行っている。しか
し検査において用いる部品サイズのグラフィック表示情報のみからでは部品種別が判別で
きず、本来の不良部品を周辺の良品部品と間違えてしまう等の問題が発生しており、検査
機で正しく不良を特定しているにもかかわらず、人的行為より不良を後工程に流出させて
いる問題がある。
Also, in the repair process for repairing an electronic board that has been determined to be defective by the inspection machine, the teaching data is displayed graphically on the display, and the position of the defective part on the board is discriminated from the non-defective product, as with the mounting appearance inspection device. The position information is provided by changing the display color of the shape data of the defective part or by displaying a cross cursor so that the repair person can identify the defective part of the actual defective board based on the display information and repair it. Doing work. However, the type of part cannot be determined only from the graphic display information of the part size used in the inspection, and there is a problem that the original defective part is mistaken for the surrounding non-defective part. However, there is a problem of causing defects to flow out to the post-process rather than human actions.

従来の課題を解決するために、本発明の実装外観検査方法は、プリント基板上に配置された電子部品や半田やクリーム半田の内、1つ以上を画像データとして計測して検査する実装外観検査方法において、プリント基板上に配置された電子部品の部品形状データと部品位置データと部品種別情報が記憶されたティーチングデータをティーチングデータ記憶部より取得し、その取得されたティーチングデータの部品種別情報に対応した付加形状情報を付加形状情報記憶部から取得し、計測される画像データが記憶される計測データ記憶部より前記プリント基板の計測された画像データを取得し、当該画像データに基づいて、前記付加形状情報の表示サイズを決定し、前記決定される表示サイズに表示サイズを設定した前記付加形状情報と前記部品形状データを、前記部品位置データに基づいて表示することを特徴としたものである。 In order to solve the conventional problems, the mounting appearance inspection method of the present invention is a mounting appearance inspection that measures and inspects one or more of electronic components, solder, and cream solder arranged on a printed circuit board as image data. In the method, the teaching data storing the part shape data, the part position data, and the part type information of the electronic parts arranged on the printed circuit board is acquired from the teaching data storage unit, and the acquired teaching data includes the part type information. The corresponding additional shape information is acquired from the additional shape information storage unit, the measured image data of the printed circuit board is acquired from the measurement data storage unit in which the measured image data is stored, and based on the image data, the adding determines the display size of the shape information, the said additional shape information set the display size to the display size in which the determined part The shape data is obtained by the display means displays, based on the component position data.

また、本発明の実装外観検査装置は、プリント基板上に実装された電子部品、電子部品とプリント基板を接合した半田、およびクリーム半田の1つ以上を被検体とし、検査を行う被検体の形状、位置、検査方法を設定したティーチングデータ(教示データ)を作成し、計測した画像に対して、ティーチングデータに基づいて、検査を実行し、被検体が搭載された実装プリント基板の良否を決定する実装外観検査装置において、
前記プリント基板の被検体の画像データ及びグランドデータを計測するデータ計測部と、計測された画像データを記憶する画像データ記憶部と、当該計測された画像データと予め作成され記憶されている検査を行う電子部品の検査判定基準値を記憶したティーチングデータ記憶部と、前記計測された画像データと前記ティーチング記憶部に記憶されるティーチングデータに基づいて被検体の良否を検査する検査部と、当該検査部の検査結果を記憶する検査結果記憶部と、前記実装プリント基板の検査すべき被検体の部品種別情報を記憶するライブラリデータ記憶部と、前記電子部品の部品種別情報に対応した付加形状情報を記憶する付加形状情報記憶部と、前記画像データから付加形状情報のサイズを決定するティーチングデータ表示データ生成部と、ティーチングデータ中の形状データとその形状データに対応した付加情報を重畳して前記グランドデータからの高さデータを基準高さにして3次元表示する表示部と、を備えたことを特徴としたものである。
In addition, the mounting appearance inspection apparatus of the present invention uses one or more of an electronic component mounted on a printed circuit board, solder that joins the electronic component and the printed circuit board, and cream solder as the object, and the shape of the object to be inspected. Teaching data (teaching data) in which the position and inspection method are set is created, and the measured image is inspected based on the teaching data to determine the quality of the mounting printed circuit board on which the subject is mounted. In mounting visual inspection equipment,
A data measuring unit that measures image data and ground data of the subject on the printed circuit board, an image data storage unit that stores the measured image data, and an examination that is created and stored in advance with the measured image data. A teaching data storage unit that stores the inspection determination reference value of the electronic component to be performed, an inspection unit that inspects the quality of the subject based on the measured image data and the teaching data stored in the teaching storage unit, and the inspection An inspection result storage unit that stores the inspection result of the component, a library data storage unit that stores component type information of the subject to be inspected of the mounted printed circuit board, and additional shape information corresponding to the component type information of the electronic component Additional shape information storage unit for storing, and teaching data display data for determining the size of the additional shape information from the image data And a display unit that superimposes shape data in the teaching data and additional information corresponding to the shape data and displays the height data from the ground data as a reference height for three-dimensional display. It is a feature.

また、本発明の実装外観検査方法は、プリント基板上に配置された電子部品、電子部品とプリント基板を接合した半田、およびクリーム半田の1つ以上を被検体とし、検査を行
う被検体の形状、位置、検査方法を設定したティーチングデータ(教示データ)を作成し、計測した画像に対して、ティーチングデータに基づいて、検査を実行し、被検体が搭載されたプリント基板の良否を決定する実装外観検査方法において、前記プリント基板のグランドの位置高さである基準の高さを決定し、前記被検体の部品種別を決定し、前記決定された部品種別による部品形状データと当該部品種別に対応した付加形状情報とより当該部品の画像データを合成し、前記画像データを前記基準高さに重畳して表示することを特徴としたものである。
In addition, the mounting appearance inspection method of the present invention uses one or more of an electronic component placed on a printed circuit board, solder that joins the electronic component and the printed circuit board, and cream solder as the object, and the shape of the object to be inspected Implementation that creates teaching data (teaching data) that sets the position and inspection method, performs inspection on the measured image based on the teaching data, and determines the quality of the printed circuit board on which the subject is mounted In the appearance inspection method, the reference height, which is the height of the ground position of the printed circuit board, is determined, the component type of the subject is determined, and the component shape data according to the determined component type and corresponding to the component type The additional shape information and the image data of the component are combined, and the image data is displayed superimposed on the reference height.

本発明の実装外観検査方法及び実装外観検査装置によれば、ティーチングデータにおけ
る部品の形状データと、部品種別毎に付加形状情報とを合成表示することにより、表示情
報のみから部品種別の視覚的判定が可能となる。これにより、不良部品を修理する際、実
基板とティーチングデータのグラフィック表示の比較作業において、実基板における不良
部品の位置を特定することが容易となり、誤認識を抑制することが可能となる。また、誤
認識を抑制することで、外観検査機が不良と判定した部品を搭載した基板が、修理されず
に後工程に流出することを抑制することが可能となる。
According to the mounting appearance inspection method and the mounting appearance inspection apparatus of the present invention, the component shape data in the teaching data and the additional shape information for each component type are combined and displayed, so that the visual determination of the component type from only the display information. Is possible. Thereby, when repairing a defective part, it becomes easy to specify the position of the defective part on the actual board in the comparison work of the graphic display of the actual board and teaching data, and it becomes possible to suppress erroneous recognition. In addition, by suppressing misrecognition, it is possible to prevent a substrate on which a component that has been determined to be defective by the appearance inspection machine flows out to a subsequent process without being repaired.

また、ティーチングデータに、被検体の近傍のグランド点からグランドデータを作成す
るので、正確な被検体の3次元表示が可能となるとともに、プリント基板の良否判定が正
確に行える。
In addition, since ground data is created from the ground point in the vicinity of the subject in the teaching data, accurate three-dimensional display of the subject is possible and the quality of the printed circuit board can be accurately determined.

これにより、企業から生産される電子機器において、市場への不良流出を抑制すること
が可能となる。
Thereby, in the electronic device produced from a company, it becomes possible to suppress the outflow of defects to the market.

以下に、本発明の実装外観検査装置及び実装外観検査方法に関し、特にティーチング
データ作成と表示の方法について図面とともに詳細に説明する。
Hereinafter, a mounting appearance inspection apparatus and a mounting appearance inspection method according to the present invention will be described in detail with reference to the drawings, in particular, teaching data creation and display methods.

本発明の実装外観検査装置及び実装外観検査方法は、クリーム半田が塗布されたプリ
ント基板やプリント基板に電子部品が実装された実装基板の検査などにも適用ができるも
のであり、以下に実装基板の製造ラインについて説明する。
The mounting appearance inspection apparatus and the mounting appearance inspection method of the present invention can also be applied to inspection of a printed circuit board coated with cream solder or a mounted circuit board in which electronic components are mounted on the printed circuit board. The production line will be described.

図2において、まず、クリームはんだ塗布装置210により、回路パターンが施された
プリント基板にクリームはんだを塗布する。その後、クリームはんだ外観検査装置220
により、塗布されたクリーム半田の位置や塗布量等を検査する。そして検査の結果に基づ
き良品基板は次工程230へ、不良基板は修正工程225で修理をした後、次工程230
へ搬入する。この修理工程においては、塗布されたクリームはんだをすべてふき取り、再
度クリームはんだ塗布装置210へ搬入し印刷行う場合もある。
In FIG. 2, first, cream solder is applied to a printed circuit board on which a circuit pattern has been applied by a cream solder application device 210. Thereafter, the cream solder appearance inspection device 220
The position of the applied cream solder, the amount of application, etc. are inspected. Based on the result of the inspection, the non-defective substrate is repaired in the next step 230, and the defective substrate is repaired in the correction step 225.
Carry in. In this repairing process, all the applied cream solder may be wiped off and carried back into the cream solder application device 210 for printing.

次に、電子部品搭載装置230により、クリーム半田外観検査を通過した良品の実装基
板に対して電子部品を搭載し、その後、リフロー前外観検査装置240により、搭載した
電子部品の状態やリード先端にあるクリーム半田の状態、あるいは電子部品が搭載されて
いない箇所におけるクリーム半田の状態や異物混入検査を行う。そして検査の結果に基づ
き良品基板は次工程250へ、不良基板は修理工程245で修理をした後、次工程250
へ搬入する。修理工程においては、検査機における検査結果画面において不良とされた部
品を確認し修理を行う場合や、検査結果を別の検査結果確認システムに表示し、本表示に
基づいて不良箇所を確認し修理を行う場合等がある。
Next, an electronic component is mounted on a non-defective mounting substrate that has passed the cream solder appearance inspection by the electronic component mounting device 230, and then the state of the mounted electronic component and the tip of the lead are checked by the pre-reflow appearance inspection device 240. A certain cream solder state, or a cream solder state or foreign matter contamination inspection at a place where no electronic component is mounted is performed. Based on the inspection result, the non-defective substrate is repaired in the next step 250, and the defective substrate is repaired in the repair step 245.
Carry in. In the repair process, when checking a repaired part on the inspection result screen on the inspection machine and performing repairs, the inspection result is displayed on another inspection result confirmation system, and the defective part is confirmed and repaired based on this display. There are cases where

最後に、リフロー前検査装置を通過した良品の実装基板に対して、リフロー装置250
によって、プリント基板と電子部品をはんだ接合し、その後、リフロー後外観検査装置2
60により、はんだ付けされた部品の状態や接合した半田の状態等、完成した実装基板の
状態を検査する。そして検査結果に基づき良品基板は後工程270(例えば組み立て工
程)へ、不良基板は修理工程265で修理を行い、後工程270へ引き渡す。修理工程に
おいては、検査機における検査結果画面において不良とされた部品を確認し修理を行う場
合や、検査結果を別の検査結果確認システムに表示し、本表示に基づいて不良箇所を確認
し修理を行う場合等がある。
Finally, the reflow device 250 is applied to a non-defective mounting board that has passed the pre-reflow inspection device.
To solder the printed circuit board and the electronic component, and then after reflow visual inspection device 2
In step 60, the state of the completed mounting board, such as the state of the soldered component and the state of the joined solder, is inspected. Then, based on the inspection result, the non-defective substrate is repaired in a post-process 270 (for example, an assembly process), and the defective substrate is repaired in a repair process 265 and delivered to the post-process 270. In the repair process, when checking a repaired part on the inspection result screen on the inspection machine and performing repairs, the inspection result is displayed on another inspection result confirmation system, and the defective part is confirmed and repaired based on this display. There are cases where

上記実装基板製造ラインにおいては3つの工程で外観検査機を用いた例を示したが、そ
の他のケースとして、少なくとも3工程の外観検査の内、1工程以上に外観検査装置が適
用される製造ラインであってもよい。また外観検査装置として、X線投影装置やX線CT
装置が用いられるケースであってもよい。
In the mounting board production line, an example using an appearance inspection machine in three processes has been shown. However, as another case, a production line in which an appearance inspection apparatus is applied to one or more processes among at least three processes. It may be. In addition, as an appearance inspection device, an X-ray projection device or an X-ray CT
The case where an apparatus is used may be sufficient.

図3は、本発明の実装外観検査装置及び実装外観検査方法に使用される3次元外観検査
部の動作原理を説明するための模式図である。
FIG. 3 is a schematic diagram for explaining the operation principle of the three-dimensional appearance inspection unit used in the mounting appearance inspection apparatus and the mounting appearance inspection method of the present invention.

まず、外観検査部は、計測するデータに基づいて2種類に分類すると、CCDカメラ
やラインセンサ等のセンサで2次元データを計測し、本2次元データに基づいて検査を行
う2次元外観検査と、レーザー三角測量等のセンシングにより被検体の表面形状データ
(高さ画像)も含んだ3次元情報を計測し、本3次元データに基づいて検査を行う3次元
外観検査を行う装置がある。また透過型X線検査装置やX線CT装置もある。
First, when the appearance inspection unit is classified into two types based on the data to be measured, a two-dimensional appearance inspection is performed in which two-dimensional data is measured by a sensor such as a CCD camera or a line sensor and the inspection is performed based on the two-dimensional data. There is a device that performs 3D appearance inspection by measuring 3D information including surface shape data (height image) of an object by sensing such as laser triangulation and performing inspection based on the 3D data. There are also transmission X-ray inspection apparatuses and X-ray CT apparatuses.

図3においては、3次元データ計測が可能な3次元外観検査を行う場合の撮像原理に
おける一実施例を示す。
FIG. 3 shows an embodiment of the imaging principle when performing a three-dimensional appearance inspection capable of measuring three-dimensional data.

本3次元外観検査を行う計測部は、レーザーユニット310からレーザー光320を被
検体330に照射し、被検体330からの反射光をPSD(Position Sensitive
Detector)センサ(340)で受光する。三角測量の原理から、レーザーの照射座標、被
検体上の計測座標(サンプリング座標)、センサにおける信号受信座標により、サンプリ
ング点における高さが決定される。例えば、被検体330が存在する場合、レーザー光3
20はポイント350で反射し、集光レンズ370を通り、その反射光351はPSD3
40におけるポイント352へ到達する。これに対し、被検体330が存在しない場合、
照射されたレーザー光320はポイント360で反射し、その反射光361は集光レンズ
370を通り、PSD340におけるポイント362へ到達する。このように、サンプリ
ング座標における高さ(Z)の違いにより、PSDセンサが受光する位置が異なる。PS
Dは受光位置に応じた2つの信号を出力するセンサであり、この2つの信号を(式1)に基
づいて計算することによりサンプリング座標における高さを決定することができる。また
図3においては、簡略化のため投光光学系および受光光学系の記載を省略しているが、こ
れらが組み込まれた場合においても、計測原理は同様となる。
The measurement unit that performs the three-dimensional appearance inspection irradiates the subject 330 with the laser beam 320 from the laser unit 310, and reflects the reflected light from the subject 330 to PSD (Position Sensitive).
Detector) receives light with sensor (340). From the principle of triangulation, the height at the sampling point is determined by the laser irradiation coordinates, the measurement coordinates (sampling coordinates) on the subject, and the signal reception coordinates at the sensor. For example, when the subject 330 exists, the laser beam 3
20 is reflected at a point 350, passes through a condenser lens 370, and the reflected light 351 is PSD3.
A point 352 at 40 is reached. On the other hand, when the object 330 does not exist,
The irradiated laser beam 320 is reflected at a point 360, and the reflected light 361 passes through a condenser lens 370 and reaches a point 362 in the PSD 340. Thus, the position where the PSD sensor receives light varies depending on the difference in height (Z) in the sampling coordinates. PS
D is a sensor that outputs two signals according to the light receiving position, and the height at the sampling coordinates can be determined by calculating these two signals based on (Equation 1). In FIG. 3, the description of the light projecting optical system and the light receiving optical system is omitted for simplification, but the measurement principle is the same even when these are incorporated.

3次元外観検査を行う場合は、任意領域のデータ計測を行うため、3次元外観計測部を
固定したまま被検体をXY平面内で平行移動させて信号計測を繰り返し行うか、あるいは、被検体を固定したままサンプリング座標点を平行移動させることによって、2次元領域における表面形状データを計測する。このとき計測した表面形状データは、2次元配列に格納され、その画素値が、各サンプリング点における高さを表す。以下高さ画像と記述する。
When performing a three-dimensional appearance inspection, in order to measure data in an arbitrary region, the subject is moved in parallel on the XY plane while the three-dimensional appearance measurement unit is fixed, and signal measurement is repeated, or the subject is measured. The surface shape data in the two-dimensional region is measured by translating the sampling coordinate points while being fixed. The surface shape data measured at this time is stored in a two-dimensional array, and the pixel value represents the height at each sampling point. Hereinafter described as a height image.

即ち、任意座標(x、y)におけるPSD340の出力信号値1をIa(x、y)、PSD340の出力信号値2をIb(x、y)とし、任意座標(x、y)における表面状データをH(x、y)とすると、表面状データH(x、y)は、H(x、y)=Ia(x、y)/(Ia(x、y)+Ib(x、y)) (式1)と表わすことができる。 That is, any coordinate (x, y) output signal value 1 of PSD340 in Ia (x, y), the output signal value 2 of PSD340 and Ib (x, y), the surface state at any coordinate (x, y) When the data and H (x, y), the surface state data H (x, y) is, H (x, y) = Ia (x, y) / (Ia (x, y) + Ib (x, y) ) (Equation 1)

また3次元外観計測部においては、PSD340センサから出力される2つの信号デー
タIa(x、y)とIb(x、y)を足し合わせることにより、受光光量を反映した輝度
画像を生成することができ、カメラ画像と同様な画像を計測することができる。即ち、検
査面座標(x、y)の輝度画像データB(x、y)は、B(x、y)=Ia(x、y)+
Ib(x、y)にて得ることができる。
In the three-dimensional appearance measurement unit, a luminance image reflecting the amount of received light can be generated by adding two signal data Ia (x, y) and Ib (x, y) output from the PSD340 sensor. It is possible to measure an image similar to a camera image. That is, the luminance image data B (x, y) of the inspection plane coordinates (x, y) is B (x, y) = Ia (x, y) +
It can be obtained by Ib (x, y).

以上に説明した3次元外観検査部の動作原理を用いた3次元外観検査装置については、
特許公報第3064517号公報にて詳細に示している。
For the 3D appearance inspection apparatus using the operating principle of the 3D appearance inspection section described above,
This is described in detail in Japanese Patent Publication No. 3064517.

上記3次元外観計測部によって計測した画像データをティーチングデータ(教示デー
タ)に基づいて処理することによって、被検体であるプリント基板上のはんだ部や電子部
品を検査する。ティーチングデータは、予めユーザーが作成するもので、ティーチング
データの作成とは、プリント基板上の被検体の形状、位置、検査方法や、検査機において
画像を撮像する計測領域等を設定することをいう。そして、3次元外観計測部を用いて撮
像した被検体の画像データに対して、作成されたティーチングデータに基づき検査を実行
し、被検体が搭載されたプリント基板の良否を決定する。
By processing the image data measured by the three-dimensional appearance measurement unit based on teaching data (teaching data), a solder part and an electronic component on a printed circuit board as an object are inspected. Teaching data is created in advance by the user. Teaching data creation means setting the shape, position, inspection method of a subject on a printed circuit board, a measurement region for capturing an image in an inspection machine, and the like. . Then, an inspection is performed on the image data of the subject imaged using the three-dimensional appearance measurement unit based on the created teaching data, and the quality of the printed circuit board on which the subject is mounted is determined.

次に、図8に示す実装外観検査装置のブロック図を用いて、実装外観検査装置の動作を
説明する。
Next, the operation of the mounting appearance inspection apparatus will be described using the block diagram of the mounting appearance inspection apparatus shown in FIG.

図8において、ティーチングに用いる実装基板全体の画像データの計測や、実際の検
査においてティーチングデータに基づいて基板検査に必要な領域の画像データの計測を行
うデータ計測部801、データ計測部801において計測した実装基板全体の画像データ
や、被検体ごとの画像データ等を記憶する計測データ記憶部802を有する。そして実際
の検査において、データ計測部801によって計測した画像データ、あるいは計測データ
記憶部802に記憶された画像データと、予め作成済みでティーチングデータ記憶部81
1に記憶されているティーチングデータにより、被検体の良否の判定を行う検査部803、検査部803の検査結果を記憶する検査結果記憶部804を有する。電子部品に対する検査項目としては、部品位置ずれ、部品浮き、表裏反転、極性、リード浮き、リード位置ずれ、はんだ不良、リード間ブリッジなどがあり、クリームはんだ検査においては、はんだ面積、はんだ体積、はんだずれ、形状異常などが検査項目となる。
In FIG. 8, measurement is performed by a data measurement unit 801 and a data measurement unit 801 that measure image data of the entire mounting board used for teaching, and measure image data of an area necessary for substrate inspection based on teaching data in actual inspection. The measurement data storage unit 802 stores image data of the entire mounted substrate, image data for each subject, and the like. In the actual inspection, the image data measured by the data measuring unit 801 or the image data stored in the measured data storage unit 802 and the teaching data storage unit 81 that has been created in advance.
1 includes an inspection unit 803 that determines the quality of the subject based on the teaching data stored in 1, and an inspection result storage unit 804 that stores the inspection result of the inspection unit 803. Inspection items for electronic components include component misalignment, component floating, upside down, polarity, lead floating, lead misalignment, solder failure, lead-to-lead bridge, etc. In cream solder inspection, solder area, solder volume, solder Misalignment, shape abnormality, etc. are inspection items.

次に検査に用いるティーチングデータを作成するための機構として、ライブラリデータ入力部820において、被検体の形状データや検査方法を部品種別毎に作成し、作成したライブラリデータをライブラリデータ記憶部821に記憶する。そして記憶したライブラリデータを用いて、ティーチングデータ入力部810により、ティーチングデータを作成する。具体的には、ティーチングデータ入力部810において、ライブラリデータ記憶部821に記憶されたライブラリから被検体に適したライブラリを選択し、その形状データを被検体の位置や角度に合わせて配置する。また被検体に応じた部品種別情報を設定する。本処理を被検体数分繰り返し、基板全体の検査情報を作成する。またティーチングデータ作成においては、全ての被検体を計測するための計測エリアの設定も行う。こうして作
成したティーチングデータを、ティーチングデータ記憶部811に登録する。
Then as a mechanism for creating teaching data used for testing, the library data input unit 820, creates the shape data and the inspection method of the subject for each component type, the library data library data storage unit created 821 is stored. And using library data stored by the teaching data input unit 810, creates a teaching data. Specifically, in the teaching data input unit 810, select the library appropriate to the subject from the library stored in the library data storage unit 821, arranged to fit the shape data on the position and angle of the subject . Also, component type information corresponding to the subject is set. This process is repeated for the number of subjects to create inspection information for the entire substrate. In creating teaching data, a measurement area for measuring all subjects is also set. Te it over quenching data created in this way is registered in the teaching data storage unit 811.

次にティーチングデータを表示する処理においては、ティーチングデータ記憶部811に登録されている表示対象となるティーチングデータと、ティーチングデータにおいて設定されているライブラリデータ記憶部821に記憶されているライブラリデータと、ティーチングデータにおいて設定された部品種別に対応した付加形状情報記憶部812に登録されている付加形状データを合成してティーチングデータの表示用形状データを生成するティーチングデータ表示データ生成部830を有する。付加形状情報は、ティーチングデータに指定し、保存する場合の他に、ライブラリデータにて、指定・保存してもよい。 Next, in the process of displaying teaching data, library data stored and teaching data to be displayed that are registered in the teaching data storage unit 811, a library data storage unit 821 that is set in the teaching data And a teaching data display data generation unit 830 that generates additional shape data for teaching data display by combining the additional shape data registered in the additional shape information storage unit 812 corresponding to the part type set in the teaching data. . The additional shape information may be specified / saved in library data in addition to the case of specifying and saving in teaching data.

データ制御部800は、ティーチング状態や検査状態の制御を行い、また各状態にお
いて必要な情報を表示部805に表示する。
The data control unit 800 controls the teaching state and the inspection state, and displays necessary information on the display unit 805 in each state.

図4、図5、図8を用いて、実装外観検査装置のティーチングデータ作成手順を、チップコンデンサ513のティーチングデータを作成する場合を例に説明する。
(1)プリント基板サイズを入力し、これをティーチングデータに登録し、表示部805に相当するディスプレイ510に表示する(ステップ400)。
(2)プリント基板中において、撮影する領域と位置を設定し、撮影領域としてティーチングデータに登録し、ディスプレイ表示する(ステップ401)。通常、基板サイズに対して、撮影可能な最大サイズを設定する。予め被検体となる電子部品が実装されている箇所が特定できる場合は、基板サイズのグラフィック表示上において適切な場所に適切なサイズの撮影領域を設定する。サイズ設定や変更はディスプレイ510上でマウスやキーボート等の入力デバイス512により行う。
(3)設定した撮影領域の画像データを計測する。あるいは、既に計測し保存している画像データを読み出す(ステップ402)
(4)計測した画像や読み込んだ画像データをディスプレイ510に表示する。(ステップ410)
(5)ディスプレイ510に表示した画像上において、入力デバイス512を用いて、ティーチングデータの作成を開始する。ティーチングデータは、検査部品データ、ティーチングデータ、グランドデータからなる。
(6)被検体の形状や検査情報が、予めライブラリデータとして登録されているかどうかの判断を行う(ステップ421)。もしライブラリデータとして登録されていない場合、ステップ430〜435のライブラリ作成処理を実行し、既にライブラリ登録されている場合は、ライブラリ作成処理をスキップしステップ440へ移行する。
(7)ライブラリ作成処理は、被検体の種別毎に、形状情報や検査方法を決定し、これをライブラリデータとして登録する(ステップ430)。まずライブラリデータとして、部品本体521の形状・サイズ、リード(522,523)の数・形状・サイズ、ランド(524,525)の形状・サイズ等、被検体に関する形状データをティーチングデータ入力インターフェイス540において541の入力エリアに設定するか、あるいはディスプレイ510上でマウスなどの入力デバイス512を用いて画像上で指定する(ステップ431)。次に、被検体に対する検査項目とその検査パラメータ入力エリア542において設定する(ステップ432)。検査項目としては、部品の位置ずれ検査、表裏反転検査、部品浮き検査、リード位置ずれ検査、リード浮き検査、はんだ検査、ブリッジ検査等を設
定する。検査項目としては、その他の項目を用いてもよい。そして入力終了後、上記で設定された形状データをディスプレイ510にグラフィック表示する(ステップ433)。最後に設定された形状データと検査データをライブラリデータの1つとして登録する(ステップ434)。
(8)グランドデータ作成処理は、3次元検査装置特有の処理で、部品の高さを決定するために必要なグランドデータを作成する処理である(ステップ440)。基板は一様な平面ではなく歪を有しているため、一般に基板面が機械座標系の高さゼロの位置に存在しない。このため部品の高さを基板面からの相対値で決定する。つまり部品の高さから基板の高さを引いた値が部品の高さとなる。この基板の高さを精度良く決定する方法として、できるだけ被検体の近くにグランドデータ3点を設定し、その3点の高さを決定し、その高さをグラド中心座標における高さとして決定する。そしてグランド中心座標3点を通る平面を決定し、その平面における被検体の中心座標(X、Y)における高さ(Z)を決定する。求めた高さの値をプリント基板面高さとして決定する。被検体の周辺に3点のグランド点を設定できない場合は、グランドデータ1つにおける高さを決定し、そのグランドにおける高さをプリント基板高さとして決定する。そして決定したグランド高さが部品を表示する際の高さ方向における基準高さとする。本グランド点における高さは、検査を行うプリント基板毎に求める。
The teaching data creation procedure of the mounting appearance inspection apparatus will be described with reference to FIGS. 4, 5, and 8, taking as an example the case of creating the teaching data of the chip capacitor 513.
(1) A printed circuit board size is input, registered in teaching data, and displayed on the display 510 corresponding to the display unit 805 (step 400).
(2) In the printed circuit board, a shooting area and position are set, registered in the teaching data as a shooting area, and displayed on the display (step 401). Usually, the maximum size that can be photographed is set for the substrate size. When a place where an electronic component as a subject is mounted in advance can be specified, an imaging region of an appropriate size is set at an appropriate place on the board size graphic display. Size setting and change are performed on the display 510 by an input device 512 such as a mouse or a keyboard.
(3) Measure image data of the set imaging region. Alternatively, image data that has already been measured and stored is read (step 402).
(4) The measured image and the read image data are displayed on the display 510. (Step 410)
(5) On the image displayed on the display 510, creation of teaching data is started using the input device 512. Teaching data consists of inspection part data, teaching data, and ground data.
(6) subject shape and examination information, it is determined whether pre-registered as the library data (step 421). If not registered as library data, perform library creation processing in step 430-435, if already library registered, the process proceeds to skip library creation process step 440.
(7) library generation process for each type of object, and determines the shape information and inspection method and registered as library data (step 430). First, as a library data, parts shape and size of the body 521, lead number, shape and size of the (522 and 523), Land (524, 525) of shape and size, and the like, the teaching data to shape data related to the subject input interface 540 Is set in the input area 541 or designated on the image using the input device 512 such as a mouse on the display 510 (step 431). Next, the inspection item for the subject and its inspection parameter input area 542 are set (step 432). As inspection items, component misalignment inspection, front / back reversal inspection, component float inspection, lead misalignment inspection, lead float inspection, solder inspection, bridge inspection, and the like are set. Other items may be used as inspection items. After the input is completed, the shape data set above is displayed on the display 510 as a graphic (step 433). Registering the last set shape data inspection data as one of the library data (step 434).
(8) The ground data creation process is a process unique to the three-dimensional inspection apparatus, and is a process for creating ground data necessary for determining the height of the part (step 440). Since the substrate is not a uniform plane but has distortion, the substrate surface generally does not exist at a position of zero height in the machine coordinate system. Therefore, the height of the component is determined by a relative value from the board surface. That is, the value obtained by subtracting the height of the substrate from the height of the component is the height of the component. The height of the substrate as a method to accurately determine, and set the ground data three points as close as possible to the subject, to determine the height of the three points, the height as a height of graph down de center coordinates decide. Then, a plane passing through the three ground center coordinates is determined, and the height (Z) at the center coordinates (X, Y) of the subject in the plane is determined. The obtained height value is determined as the printed board surface height. When three ground points cannot be set around the subject, the height in one ground data is determined, and the height in the ground is determined as the printed board height. The determined ground height is set as a reference height in the height direction when displaying the component. The height at this ground point is determined for each printed circuit board to be inspected.

本プリント基板面の高さを求める領域を設定する処理がグランドデータ作成処理である。作成したグランドデータは任意のグランド番号を付与し、ティーチングデータに登録する。部品521においては、周辺の回路パターン(銅箔面)526,527上にグランド領域として3点(528,529,530)のグランドデータを設定している。
(9)検査を行う検査部品データを作成し、ティーチングデータに登録する(ステップ450)。ディスプレイ510上において表示された画像データに対して、予め登録したライブラリデータから適切なライブラリデータを決定し、被検体の位置や角度において応じて、決定したライブラリデータを配置する。そして決定したライブラリデータ、位置・角度を検査部品データとして登録し、この検査部品データをティーチングデータに登録する。まず、検査部品データとして、部品種別情報を入力エリア551に入力する(ステップ451)。例えば、チップ抵抗、チップコンデンサ、多連抵抗、アルミ電解コンデンサ、QFP、SOP等を設定する。次に、予め登録したライブラリデータから、被検体の検査を行うために最適なライブラリデータを入力エリア552において決定する(ステップ452)。そして決定したライブラリデータを配置する位置と角度を入力デバイス512を用いてディスプレイ上で決定するか、あるいは入力エリア553において設定する(ステップ453)。次に、被検体のランド形状にあわせて、ランドサイズを画像上にて入力デバイス512を用いて決定するか、入力エリア554で設定する(ステップ454)。次に予め登録してあるグランドデータから、電子部品521の基準高さを決定するために用いるグランドデータ3点をディスプレイ510上でマウスなどによって選択するか、あるいは入力エリア555において選択する(ステップ455)。そして最後に、設定したデータを検査部品データとして、ティーチングデータに登録する(ステップ456)。
(10)ティーチングデータに登録された検査部品データに基づいて、ディスプレイ510に部品形状データをグラフィック表示する(ステップ460)。検査部品データにおいて使用しているライブラリデータの部品形状データと、さらに検査部品データに登録されている部品種別情報に基づいて予めティーチングシステムに登録している付加形状情報を合成して表示する。表示する際には、ステップ440で決定したグランドデータから決定した基準高さを部品を配置する高さ方向の基準点とする。本処理内容においては、図1を
用いて別途詳細に説明する。
(11)画像において、検査対象となる全ての部位に、部品検査データが設定されるまで繰り返し処理を行う(ステップ470)。
The process of setting an area for obtaining the height of the printed circuit board surface is a ground data creation process. The created ground data is given an arbitrary ground number and registered in teaching data. In the component 521, three points (528, 529, 530) of ground data are set as ground regions on the peripheral circuit patterns (copper foil surfaces) 526, 527.
(9) Create inspection part data to be inspected and register it in teaching data (step 450). The image data displayed on the display 510, to determine the appropriate library data from the previously registered library data, depending in the position and angle of the subject, placing the determined library data. The determined library data, registers the position and angle as the test component data, registers the examination component data to the teaching data. First, component type information is input to the input area 551 as inspection component data (step 451). For example, chip resistors, chip capacitors, multiple resistors, aluminum electrolytic capacitors, QFP, SOP, etc. are set. Next, the library data registered in advance, to determine the input area 552 the best library data in order to perform the inspection of the object (step 452). And either determined on the display with the position and type the angle device 512 to place the library data determined or set in the input area 553 (step 453). Next, according to the land shape of the subject, the land size is determined on the image using the input device 512 or set in the input area 554 (step 454). Next, from the ground data registered in advance, three ground data points used for determining the reference height of the electronic component 521 are selected on the display 510 with a mouse or the like or selected in the input area 555 (step 455). ). Finally, the set data is registered in the teaching data as inspection part data (step 456).
(10) Based on the inspection part data registered in the teaching data, the part shape data is graphically displayed on the display 510 (step 460). And component shape data library data used in the inspection component data, and displays the synthesized additional shape information registered in advance teaching system based on the component type information are further registered in the inspection part data. At the time of display, the reference height determined from the ground data determined in step 440 is set as a reference point in the height direction in which the parts are arranged. The details of this processing will be described in detail separately with reference to FIG.
(11) The processing is repeated until the part inspection data is set for all the parts to be inspected in the image (step 470).

上記のティーチング手順は、検査対象がクリームはんだと電子部品で形状データが若干
異なるものの、クリームはんだ外観検査装置、リフロー前外観検査装置、リフロー後外観
検査装置ともほぼ同様のティーチング手順で実現される。また2次元外観検査装置やX線
検査装置においてもほぼ同様の手順で実現される。
The above teaching procedure is realized by a teaching procedure substantially similar to that of the cream solder visual inspection device, the pre-reflow visual inspection device, and the post-reflow visual inspection device, although the shape data is slightly different between the cream solder and the electronic component. The two-dimensional appearance inspection apparatus and the X-ray inspection apparatus can be realized by substantially the same procedure.

図1と図8を用いて、ティーチングデータを表示する際、ライブラリに登録されている
部品形状データと、さらに部品種別情報に応じて予め実装外観検査装置に登録されてある
付加形状情報記憶部812に記憶されている付加形状情報とを統合表示する一例を説明す
る。
1 and 8, when displaying teaching data, the component shape data registered in the library and the additional shape information storage unit 812 registered in advance in the mounting appearance inspection apparatus according to the component type information. An example of the integrated display of the additional shape information stored in FIG.

まず図1におけるチップ抵抗とチップコンデンサーの表示例を示す。本発明の実装外
観検査装置においてティーチングに必要な形状情報は、ボディーサイズ(X、Y、Z)、
リードサイズ(X、Y、Z)、ランドサイズであり、本ティーチングデータの形状データ
に基づいて2次元表示した結果を111に示し、3次元ワイヤーフレーム表示結果を11
2、3次元シェーディング表示結果を113に示す。図1から分かる通り、ティーチング
データの形状データにおいては、チップ抵抗およびチップコンデンサとも、同一形状と
なっており、またサイズも類似のものが多く、ティーチングデータをそのまま表示しただ
けでは、その違いを視覚的に認識することができない。
First, a display example of the chip resistor and the chip capacitor in FIG. 1 is shown. The shape information necessary for teaching in the mounting appearance inspection apparatus of the present invention includes body size (X, Y, Z),
A lead size (X, Y, Z) and a land size, the result of two-dimensional display based on the shape data of the teaching data is shown in 111, and the result of three-dimensional wire frame display is 11
2 and 3D shading display results are shown at 113. As can be seen from FIG. 1, in the shape data of the teaching data, both the chip resistor and the chip capacitor have the same shape, and there are many similar sizes, and if the teaching data is displayed as it is, the difference can be visually recognized. Cannot be recognized.

実装外観検査装置の3次元検査部で不良と判定したプリント基板は、修理を行うか、破棄される。一般的には、修理を行うことが多く、修理作業を行った後、後工程の製品組み立てに引き渡される。この修理作業においては、不良箇所を修理者へ分かりやすく示すために、従来においては、ティーチングデータをディスプレイ表示し、その不良箇所を異なる色や十字カーソル等使用して示している。修理者は、本表示情報と実基板を相対比較し、実基板上の不良部品を特定し、修理作業を行う。 The printed circuit board determined to be defective by the three-dimensional inspection unit of the mounting appearance inspection apparatus is repaired or discarded. In general, repair is often performed, and after repair work is performed, it is delivered to product assembly in a later process. In this repair work, conventionally, teaching data is displayed on a display, and the defective portion is indicated by using a different color, a cross cursor, or the like in order to easily show the defective portion to a repair person. The repairer compares this display information with the actual board, identifies defective parts on the actual board, and performs repair work.

しかし、上記したように、ティーチングデータの情報のみからの表示では、不良部品の
種別を判断することができず、このため、異なった位置の部品を不良部品と誤認識し、本
来の不良部品を修理することなく、後工程に送出する問題があった。
However, as described above, the display from only the teaching data information cannot determine the type of the defective part. For this reason, a part at a different position is erroneously recognized as a defective part, and the original defective part is not recognized. There was a problem of sending it to the subsequent process without repairing.

そして、プリント基板に実装されるチップ電子部品が小型化されるとともに高密度実装されると、プリント基板の反りや、部品の浮きや部品が傾いて実装される場合や、クリーム半田の付着むらが発生している場合などが不良原因となり得るので、正確な電子部品の高さを含めて表示する事が必要となる。また、BGAやQFPなどのICパッケージの部品は高価であり、そのICパッケージの下に、半田片や、小型のチップ部品などが誤って装着される場合なども高さを測定することにより判定可能であり、正確に不良部分を特定し表示することができる。図3に示す本3次元外観検査を行う計測部の測定分解能は10ミクロンと高精度であり、前述のような不良箇所を判別し表示することが可能である。   When chip electronic components mounted on a printed circuit board are miniaturized and mounted at a high density, the printed circuit board may be warped, the component may be lifted, or the component may be mounted tilted, or the cream solder may be unevenly adhered. Since it can be a cause of failure, it is necessary to display the accurate height of the electronic component. Also, IC package parts such as BGA and QFP are expensive, and it is possible to judge by measuring the height when solder pieces, small chip parts, etc. are mistakenly mounted under the IC package. Therefore, it is possible to accurately identify and display the defective portion. The measurement resolution of the measurement unit that performs the three-dimensional appearance inspection shown in FIG. 3 is as high as 10 microns, and it is possible to determine and display the above-described defective portions.

そこで、視覚的に部品種別を判別するために、部品種別情報に基づいて、予め特徴的な
形状情報を付加形状情報として付加形状記憶部812に保持させ、ティーチングデータ表
示の際、その部品種別情報に基づいた描画情報とティーチングデータ記憶部811からの
ティーチングデータを合成し表示する。これを実施した表示として、チップ抵抗の表示を
120に、チップコンデンサーの表示を131、132に示す。チップ抵抗120は、
チップ抵抗のリード領域を除外した領域の一部121を黒く描画しており、チップコンデ
ンサーは、全体133を黒く表示する、あるいは、異なる色(例えば茶色)で表示してい
る。これは、実部品が持つ形態情報を反映したもので、実基板と比較した際、対比が容易
になり、修理者の誤判断を削減することが可能となる。
Therefore, in order to visually discriminate the component type, characteristic shape information is previously stored in the additional shape storage unit 812 as additional shape information based on the component type information, and the component type information is displayed when teaching data is displayed. The drawing information based on the above and the teaching data from the teaching data storage unit 811 are combined and displayed. As a display in which this is performed, a chip resistance display is shown at 120 and a chip capacitor display is shown at 131 and 132. The chip resistor 120 is
A part 121 excluding the lead area of the chip resistor is drawn in black, and the chip capacitor displays the whole 133 in black or in a different color (for example, brown). This reflects the form information possessed by the actual part. When compared with the actual board, the comparison becomes easy, and it is possible to reduce misjudgment by the repairer.

次にアルミ電解コンデンサーの表示における一実施例を示す。アルミ電解コンデンサー
においては、本発明の実装外観検査装置の3次元外観検査部においては、アルミ電解コン
デンサーの土台部分を検査対象する。このティーチングの様子を140に示す。土台本体
が141、リードが142、ランドが143となる。2次元の表示においては、それが何
であるか判別することができず、3次元で表示した場合においても同様である(151、
152)。そこでアルミ電解コンデンサの中央の円筒形状160を予め付加形状情報とし
て付加形状記憶部812に登録しておき、本円筒形状をティーチングデータの土台141
上部に配置し表示した3次元表示170として表示する。その他の部品の表示例として、
図7において、可変抵抗の表示例を示している。上記表示方法を適用することにより、被
検体と類似した形状を修理者に提示することが可能となり、実基板との比較において、誤
認識を削減させることを可能とする。
Next, an example of the display of the aluminum electrolytic capacitor will be shown. In the aluminum electrolytic capacitor, the base portion of the aluminum electrolytic capacitor is inspected in the three-dimensional appearance inspection unit of the mounting appearance inspection apparatus of the present invention. 140 shows the state of this teaching. The base body is 141, the lead is 142, and the land is 143. In the two-dimensional display, it is impossible to determine what it is, and the same applies to the case of displaying in three dimensions (151,
152). Therefore, the cylindrical shape 160 at the center of the aluminum electrolytic capacitor is registered in advance in the additional shape storage unit 812 as additional shape information, and this cylindrical shape is used as a base 141 for teaching data.
A three-dimensional display 170 arranged and displayed at the top is displayed. As an example of displaying other parts,
FIG. 7 shows a display example of variable resistance. By applying the above display method, it becomes possible to present a shape similar to the subject to the repair person, and it is possible to reduce erroneous recognition in comparison with the actual substrate.

図6において、ティーチングデータを表示する際、ライブラリデータ記憶部821に登録されている部品形状データと、さらに部品種別情報に応じて予め付加情報記憶部812に登録されている付加形状情報とをティーチングデータ表示データ生成部830で合成表示する処理フローの一例を説明する
まず、チップ抵抗を表示する際の合成データ生成処理フローを説明する。ステップ610において、ライブラリデータ記憶部821に登録されているチップ抵抗の部品形状から、チップ抵抗の本体縦サイズ600、本体横サイズ602、本体高さサイズ601、リード縦サイズ603、リード横サイズ602、リード高さサイズ601を取得する。次にステップ611において、ステップ600において取得したデータから、付加形状データ606の上面縦サイズ604、上面横サイズ602、側面縦サイズ605、側面横サイズ604と、部品形状データに対する相対位置をティーチングデータ入力部810にて入力することにより決定する。ここでサイズ605は、サイズ601の1/5とする。最後に、ステップ612において、求めた付加形状データとライブラリにおける部品形状データを1つの部品形状データとしてティーチングデータ表示データ生成部830で合成し、表示形状を決定する。
6, when displaying the teaching data, the component shape data registered in the library data storage unit 821, and an additional shape information registered in advance in the additional information storage unit 812 in response to the further component type information An example of a processing flow to be synthesized and displayed by the teaching data display data generation unit 830 will be described .
First, the synthetic data generation processing flow when displaying the chip resistance will be described. In step 610, the part shape of the chip resistors that are registered in the library data storage unit 821, the chip resistance of the body vertical size 600, the body horizontal size 602, body height size 601, the lead vertical size 603, the read horizontal size 602 The lead height size 601 is acquired. Next, in step 611, teaching data is inputted from the data acquired in step 600, the top surface vertical size 604, the top surface horizontal size 602, the side surface vertical size 605, the side surface horizontal size 604 of the additional shape data 606, and the relative position with respect to the part shape data. This is determined by inputting in part 810. Here, the size 605 is 1/5 of the size 601. Finally, in step 612, the obtained additional shape data and the component shape data in the library are combined as one component shape data by the teaching data display data generation unit 830 to determine the display shape.

次に、アルミ電解コンデンサーを表示する際の合成データ生成処理フローを説明する。ステップ630において、ライブラリデータ記憶部821に登録されているアルミ電解コンデンサの部品形状から、アルミ電解コンデンサの土台縦サイズ620、土台横サイズ621、土台高さサイズ622を取得する。次にステップ631において、付加形状データ624の円筒形状(楕円形状)モデルの縦サイズ、横サイズを、土台を内接する楕円サイズとして決定する。次にステップ632において、ティーチングデータから基板上の位置を取得し、その土台の高さを高さ画像データから決定する。画像データから土台の高さを決定する処理としては、土台領域において、P-タイルアルゴリズムや平均計算により決定
する。ステップ633において、ステップ632と同様に、付加形状が配置される領域の高さを高さ画像データから決定する。円筒形状の高さを画像データから決定する処理として、円筒形状内の領域において、ステップ632と同様にP-タイルアルゴリズムや平均計算により決定する。または、円筒形状の高さを予め決定した固定値を用いてもよい。ステップ634において、付加形状モデルの円筒形状の高さ623を、ステップ633で決定した円筒形状内の高さの値からステップ632で決定した土台領域の高さを引くことにより決定する。最後に、ステップ635において、求めた付加形状データとライブラリにおける部品形状データを1つの部品形状データとして合成モデルを生成する。
Next, a synthetic data generation processing flow when displaying an aluminum electrolytic capacitor will be described. In step 630, the part shape of the aluminum electrolytic capacitor that is registered in the library data storage unit 821, obtains the base vertical size 620 of aluminum electrolytic capacitors, base horizontal size 621, the base height size 622. Next, in step 631, the vertical size and horizontal size of the cylindrical (elliptical) model of the additional shape data 624 are determined as the elliptical size inscribed in the base. Next, in step 632, the position on the substrate is acquired from the teaching data, and the height of the base is determined from the height image data. The process for determining the height of the base from the image data is determined by a P-tile algorithm or an average calculation in the base area. In step 633, as in step 632, the height of the region in which the additional shape is arranged is determined from the height image data. As a process for determining the height of the cylindrical shape from the image data, it is determined by the P-tile algorithm or the average calculation in the region within the cylindrical shape, similarly to step 632. Alternatively, a fixed value in which the height of the cylindrical shape is determined in advance may be used. In step 634, the cylindrical height 623 of the additional shape model is determined by subtracting the height of the base region determined in step 632 from the height value in the cylindrical shape determined in step 633. Finally, in step 635, a composite model is generated using the obtained additional shape data and the component shape data in the library as one piece shape data.

本発明の実施例1における実装外観検査装置のティーチングデータの一表示例を示す図The figure which shows the example of 1 of the teaching data of the mounting | wearing external appearance inspection apparatus in Example 1 of this invention 本発明の実施例1における実装外観検査装置のプリント基板製造工程の概略を説明するための図The figure for demonstrating the outline of the printed circuit board manufacturing process of the mounting visual inspection apparatus in Example 1 of this invention. 本発明の実施例1における実装外観検査装置の3次元外観検査部の動作原理を説明するための模式図The schematic diagram for demonstrating the principle of operation of the three-dimensional external appearance inspection part of the mounting external appearance inspection apparatus in Example 1 of this invention. 本発明の実施例1における実装外観検査方法のティーチング手順フローチャートTeaching procedure flowchart of mounting visual inspection method in Embodiment 1 of the present invention 本発明の実施例1における実装外観検査装置及び実装外観検査方法のティーチング処理を説明するための図The figure for demonstrating the teaching process of the mounting external appearance inspection apparatus and the mounting external appearance inspection method in Example 1 of this invention 本発明の実施例1における実装外観検査装置及び実装外観検査方法のティーチングデータと付加形状データの合成データの生成の処理フローを説明するための図The figure for demonstrating the processing flow of the production | generation of the synthetic | combination data of teaching data and additional shape data of the mounting appearance inspection apparatus and mounting appearance inspection method in Example 1 of this invention. 本発明の実施例1における実装外観検査装置及び実装外観検査方法のティーチングデータの表示例を示す図The figure which shows the example of a display of the teaching data of the mounting appearance inspection apparatus and the mounting appearance inspection method in Example 1 of this invention 本発明の実施例1における実装外観検査装置のブロック図1 is a block diagram of a mounting appearance inspection apparatus according to a first embodiment of the present invention.

符号の説明Explanation of symbols

800 データ制御部
801 データ計測部
802 計測データ記憶部
803 検査部
804 検査結果記憶部
805 表示部
811 ティーチングデータ記憶部
812 付加形状情報記憶部
810 ティーチングデータ表示データ生成部
820 ライブラリデータ入力部
821 ライブラリデータ記憶部
830 ティーチングデータ表示データ生成部
800 Data control unit 801 Data measurement unit 802 Measurement data storage unit 803 Inspection unit 804 Inspection result storage unit 805 Display unit 811 Teaching data storage unit 812 Additional shape information storage unit 810 Teaching data display data generation unit 820 Library data input unit 821 Library data Storage unit 830 Teaching data display data generation unit

Claims (15)

プリント基板上に配置された電子部品や半田やクリーム半田の内、1つ以上を画像データとして計測して検査する実装外観検査方法において、
プリント基板上に配置された電子部品の部品形状データと部品位置データと部品種別情報が記憶されたティーチングデータをティーチングデータ記憶部より取得し、
その取得されたティーチングデータの部品種別情報に対応した付加形状情報を付加形状情報記憶部から取得し、
計測される画像データが記憶される計測データ記憶部より前記プリント基板の計測された画像データを取得し、
当該画像データに基づいて、前記付加形状情報の表示サイズを決定し、
前記決定される表示サイズに表示サイズを設定した前記付加形状情報と前記部品形状データを、前記部品位置データに基づいて表示することを特徴とする実装外観検査方法。
In a mounting appearance inspection method for measuring and inspecting one or more of electronic components, solder or cream solder arranged on a printed circuit board as image data,
Teaching data storing part shape data, part position data, and part type information of electronic parts arranged on the printed circuit board is acquired from the teaching data storage unit,
Acquire additional shape information corresponding to the component type information of the acquired teaching data from the additional shape information storage unit,
Obtain the measured image data of the printed circuit board from the measurement data storage unit that stores the measured image data,
Based on the image data, the display size of the additional shape information is determined,
A mounting appearance inspection method , wherein the additional shape information and the component shape data in which a display size is set to the determined display size are displayed based on the component position data.
前記プリント基板の複数のグランド点から仮想基準平面を設定して、表示する高さ位置決定することを特徴とする請求項1に記載の実装外観検査方法。 The mounting appearance inspection method according to claim 1, wherein a virtual reference plane is set from a plurality of ground points of the printed circuit board and a height position to be displayed is determined. 前記付加形状情報記憶部に記憶された付加形状情報は、前記部品の形状データに対応した3次元形状データであることを特徴とする請求項1に記載の実装外観検査方法。 The mounting shape inspection method according to claim 1, wherein the additional shape information stored in the additional shape information storage unit is three-dimensional shape data corresponding to the shape data of the component. 前記プリント基板上の実装電子部品の画像データを計測し、当該計測された画像データと、予め作成され記憶されている検査を行う電子部品の検査判定基準値を設定したティーチングデータを比較し、前記実装電子部品の良否を判定する検査部を有し、不良と判定された電子部品を3次元表示することを特徴とする請求項1に記載の実装外観検査方法。 The image data of the mounted electronic component on the printed circuit board is measured, the measured image data is compared with the teaching data in which the inspection determination reference value of the electronic component to be inspected and stored in advance is set, The mounting appearance inspection method according to claim 1, further comprising an inspection unit that determines whether the mounted electronic component is good or bad, and three-dimensionally displaying the electronic component determined to be defective. プリント基板上に実装された電子部品、電子部品とプリント基板を接合した半田、およびクリーム半田の1つ以上を被検体とし、検査を行う被検体の形状、位置、検査方法を設定したティーチングデータを作成し、計測した画像に対して、ティーチングデータに基づいて、検査を実行し、被検体が搭載された実装プリント基板の良否を決定する実装外観検査装置において、
前記プリント基板の被検体の画像データ及びグランドデータを計測するデータ計測部と、
計測された画像データを記憶する画像データ記憶部と、
当該計測された画像データと予め作成され記憶されている検査を行う電子部品の検査判定基準値を記憶したティーチングデータ記憶部と、
前記計測された画像データと前記ティーチング記憶部に記憶されるティーチングデータに基づいて被検体の良否を検査する検査部と、
当該検査部の検査結果を記憶する検査結果記憶部と、
前記実装プリント基板の検査すべき被検体の部品種別情報を記憶するライブラリデータ記憶部と、
前記電子部品の部品種別情報に対応した付加形状情報を記憶する付加形状情報記憶部と、前記画像データから付加形状情報のサイズを決定するティーチングデータ表示データ生成部と、
ティーチングデータ中の形状データとその形状データに対応した付加情報を重畳して前記グランドデータからの高さデータを基準高さにして3次元表示する表示部と、
を備えたことを特徴とする実装外観検査装置。
Teaching data that sets the shape, position, and inspection method of the subject to be inspected , with one or more of the electronic component mounted on the printed circuit board, the solder that joined the electronic component and the printed circuit board, and the cream solder as the subject. In the mounting appearance inspection apparatus that performs the inspection on the created and measured image based on the teaching data and determines the quality of the mounting printed circuit board on which the subject is mounted,
A data measuring unit for measuring image data and ground data of the object on the printed circuit board;
An image data storage unit for storing measured image data;
A teaching data storage unit that stores the measured image data and an inspection determination reference value of an electronic component that is created and stored in advance, and
An inspection unit that inspects the quality of the subject based on the measured image data and teaching data stored in the teaching storage unit;
An inspection result storage unit for storing the inspection result of the inspection unit;
A library data storage unit for storing component type information of the subject to be inspected of the mounted printed circuit board;
An additional shape information storage unit that stores additional shape information corresponding to the component type information of the electronic component; a teaching data display data generation unit that determines the size of the additional shape information from the image data;
A display unit that superimposes shape data in teaching data and additional information corresponding to the shape data, and displays the height data from the ground data as a reference height for three-dimensional display;
A mounting appearance inspection apparatus characterized by comprising:
前記ティーチングデータ記憶部は、前記検査すべき被検体の近傍のグランドデータを前記被検体の検査部品データと対応して記憶することを特徴とする請求項5に記載の実装外観検査装置。 6. The mounting appearance inspection apparatus according to claim 5, wherein the teaching data storage unit stores ground data in the vicinity of the subject to be inspected in correspondence with the inspection part data of the subject. 前記基準高さは、プリント基板の複数のグランド点から仮想基準平面を設定して決定することを特徴とする請求項5に記載の実装外観検査装置。 The mounting appearance inspection apparatus according to claim 5, wherein the reference height is determined by setting a virtual reference plane from a plurality of ground points of the printed circuit board. 前記付加形状情報記憶部に記憶された付加形状情報は、前記部品種別情報中の形状データに対応した3次元形状データであることを特徴とする請求項5に記載の実装外観検査装置。 The additional shape information adding shape information stored in the storage unit, mounting the appearance inspection apparatus according to claim 5, wherein the component is a three-dimensional shape data corresponding to the shape data in the type information. 前記ライブラリデータ記憶部に記憶されるライブラリデータは、被検体である電子部品の部品種類を示すデータであることを特徴とする請求項5に記載の実装外観検査装置。 Library data stored in the library data storage unit, mounting the appearance inspection apparatus according to claim 5, characterized in that the data representing the component type of the electronic component is subject. 前記検査部にて不良と判定された被検体は、良品の被検体の表示色と異なる色にて表示することを特徴とする請求5に記載の実装外観検査装置。 The subject is determined to be defective in the inspection unit, mounting the appearance inspection apparatus according to claim 5, characterized in that the display by the color different from the display color of the subject of non-defective. 前記検査部にて不良と判定された被検体は、当該被検体の表示に十字カーソルを重畳して表示することを特徴とする請求5に記載の実装外観検査装置。 The subject is determined to be defective in the inspection unit, mounting the appearance inspection apparatus according to claim 5, characterized in that the displayed superimposed a cross cursor on the display of the object. プリント基板上に配置された電子部品、電子部品とプリント基板を接合した半田、およびクリーム半田の1つ以上を被検体とし、検査を行う被検体の形状、位置、検査方法を設定したティーチングデータを作成し、計測した画像に対して、ティーチングデータに基づいて、検査を実行し、被検体が搭載されたプリント基板の良否を決定する実装外観検査方法において、
前記プリント基板のグランドの位置高さである基準の高さを決定し、
前記被検体の部品種別を決定し、
前記決定された部品種別による部品形状データと当該部品種別に対応した付加形状情報とより当該部品の画像データを合成し、
前記画像データを前記基準高さに重畳して表示することを特徴とする実装外観検査方法。
Teaching data that sets the shape, position, and inspection method of the subject to be inspected , using one or more of electronic components placed on the printed circuit board, solder that joins the electronic component and the printed circuit board, and cream solder as the subject. In the mounting appearance inspection method for performing the inspection on the created and measured image based on the teaching data and determining the quality of the printed circuit board on which the subject is mounted,
Determine a reference height that is the height of the ground position of the printed circuit board;
Determine the part type of the subject,
The image data of the part is synthesized from the part shape data according to the determined part type and the additional shape information corresponding to the part type,
A mounting appearance inspection method, wherein the image data is displayed while being superimposed on the reference height.
前記プリント基板のグランドの位置高さは、前記被検体の電子部品の近傍の複数のグランド点から決定することを特徴とする請求項12に記載の実装外観検査方法。 The mounting appearance inspection method according to claim 12, wherein the height of the ground position of the printed circuit board is determined from a plurality of ground points in the vicinity of the electronic component of the subject. 前記検査部にて不良と判定された被検体は、良品の被検体の表示色と異なる色にて表示す
ることを特徴とする請求12に記載の実装外観検査方法。
Subject is determined to be defective by the inspection unit, mounting appearance inspection method according to claim 12, characterized in that the display by the color different from the display color of the subject of non-defective.
前記検査部にて不良と判定された被検体は、当該被検体の表示に十字カーソルを重畳して表示することを特徴とする請求12に記載の実装外観検査方法。 Subject is determined to be defective by the inspection unit, mounting appearance inspection method according to claim 12, wherein the displaying by superimposing the cross cursor on the display of the object.
JP2003405384A 2003-12-04 2003-12-04 Mounting appearance inspection method and mounting appearance inspection apparatus Expired - Fee Related JP4333349B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003405384A JP4333349B2 (en) 2003-12-04 2003-12-04 Mounting appearance inspection method and mounting appearance inspection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003405384A JP4333349B2 (en) 2003-12-04 2003-12-04 Mounting appearance inspection method and mounting appearance inspection apparatus

Publications (3)

Publication Number Publication Date
JP2005164454A JP2005164454A (en) 2005-06-23
JP2005164454A5 JP2005164454A5 (en) 2006-12-28
JP4333349B2 true JP4333349B2 (en) 2009-09-16

Family

ID=34728061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003405384A Expired - Fee Related JP4333349B2 (en) 2003-12-04 2003-12-04 Mounting appearance inspection method and mounting appearance inspection apparatus

Country Status (1)

Country Link
JP (1) JP4333349B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186879A (en) * 2007-01-29 2008-08-14 Omron Corp Substrate inspection method
JP2008298463A (en) * 2007-05-29 2008-12-11 Pioneer Electronic Corp Print inspection device of print mask, and print inspection method of print mask
JP4775339B2 (en) * 2007-07-13 2011-09-21 パナソニック株式会社 Electronic component mounting system and electronic component mounting method
JP2009135369A (en) * 2007-12-03 2009-06-18 Panasonic Corp Substrate for mounting electronic component
JP2010271165A (en) * 2009-05-21 2010-12-02 Aisin Aw Co Ltd Inspection device for printed circuit board
JP6943412B2 (en) * 2017-02-24 2021-09-29 株式会社レクザム Board inspection equipment
JP7158890B2 (en) * 2018-05-17 2022-10-24 ヤマハ発動機株式会社 Production equipment for component mounting system, component mounting device, and inspection method for component mounting system
CN111693778B (en) * 2020-05-25 2021-07-20 珠海格力电器股份有限公司 Patch resistor abnormality detection method, device, system, equipment and storage medium

Also Published As

Publication number Publication date
JP2005164454A (en) 2005-06-23

Similar Documents

Publication Publication Date Title
US7026832B2 (en) Probe mark reading device and probe mark reading method
US8233041B2 (en) Image processing device and image processing method for performing three dimensional measurements
JP4694272B2 (en) Printed solder inspection apparatus and printed solder inspection method
JP4894628B2 (en) Appearance inspection method and appearance inspection apparatus
JP4493421B2 (en) Printed circuit board inspection apparatus, printed circuit board assembly inspection line system, and program
JP7135418B2 (en) FLATNESS DETECTION METHOD, FLATNESS DETECTION APPARATUS AND FLATNESS DETECTION PROGRAM
JP6277754B2 (en) Quality control system and internal inspection device
CN112884743B (en) Detection method and device, detection equipment and storage medium
JP4333349B2 (en) Mounting appearance inspection method and mounting appearance inspection apparatus
KR20110105512A (en) Inspection method
JP2004037222A (en) Teaching method, electronic substrate inspection method, and electronic substrate inspection device
KR100719712B1 (en) Bump checking apparatus and method
JP4591103B2 (en) X-ray CT inspection apparatus and X-ray CT inspection method
JP4228773B2 (en) Board inspection equipment
JP2019100753A (en) Printed circuit board inspection device and printed circuit board inspection method
JP5546364B2 (en) Solder inspection method
EP3104169A1 (en) Quality management system
JP4449596B2 (en) Mounting board inspection equipment
JP7448655B2 (en) Inspection data creation method, inspection data creation device, and inspection device
JP4628665B2 (en) Needle mark reading device and needle mark reading method
JP3203397B2 (en) Soldering condition inspection device and soldering condition inspection method
JP2018017608A (en) Method and device for inspecting circuit board
JP2010217086A (en) Device and method for inspection of printed solder
KR101017332B1 (en) Method for Optical Test of PCB
WO2022190543A1 (en) Information generation device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061115

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20061213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4333349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees