JP6833871B2 - Image processing parts data creation method and image processing parts data creation system - Google Patents

Image processing parts data creation method and image processing parts data creation system Download PDF

Info

Publication number
JP6833871B2
JP6833871B2 JP2018555412A JP2018555412A JP6833871B2 JP 6833871 B2 JP6833871 B2 JP 6833871B2 JP 2018555412 A JP2018555412 A JP 2018555412A JP 2018555412 A JP2018555412 A JP 2018555412A JP 6833871 B2 JP6833871 B2 JP 6833871B2
Authority
JP
Japan
Prior art keywords
electrode
image
image processing
component data
data creation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555412A
Other languages
Japanese (ja)
Other versions
JPWO2018105099A1 (en
Inventor
弘健 江嵜
弘健 江嵜
一也 小谷
一也 小谷
秀一郎 鬼頭
秀一郎 鬼頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2018105099A1 publication Critical patent/JPWO2018105099A1/en
Application granted granted Critical
Publication of JP6833871B2 publication Critical patent/JP6833871B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本明細書は、複数の同一形状の電極（例えばリード、バンプ、その他の特殊な形状の電極等）が配列された部品をカメラで撮像した画像を処理して前記電極を認識して画像処理用部品データを作成する画像処理用部品データ作成方法及び画像処理用部品データ作成システムに関する技術を開示したものである。 In the present specification, an image obtained by capturing an image of a component in which a plurality of electrodes having the same shape (for example, leads, bumps, or other specially shaped electrodes) are arranged by a camera is processed to recognize the electrodes for image processing. It discloses the technology related to the image processing component data creation method for creating component data and the image processing component data creation system.

近年、部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを自動作成する技術が開発されている。例えば、特許文献１（特開２００５−１２３３５２号公報）に記載された画像処理用部品データの作成方法は、ＢＧＡ型の部品の下面に格子状に形成されたバンプ（半田電極）の配置パターンをカメラで撮像して、その画像を処理してバンプを認識して、バンプの中心位置、直径、個数、配列ピッチ等を計測して、これらのデータを含む画像処理用部品データを作成するようにしている。 In recent years, a technique for automatically creating image processing component data used for image recognition of components mounted by a component mounting machine has been developed. For example, in the method for creating image processing component data described in Patent Document 1 (Japanese Unexamined Patent Publication No. 2005-123352), an arrangement pattern of bumps (solder electrodes) formed in a grid pattern on the lower surface of a BGA type component is used. An image is taken with a camera, the image is processed to recognize the bump, the center position, diameter, number, arrangement pitch, etc. of the bump are measured, and image processing component data including these data is created. ing.

特開２００５−１２３３５２号公報Japanese Unexamined Patent Publication No. 2005-123352

ところで、部品実装機で実装する部品の電極には、様々な形状の電極がある。例えば、バンプやリードのように、従来から周知の単純な形状の電極は、従来の画像処理技術によっても認識可能であるが、近年、バンプやリードとは形状が全く異なる特殊な形状の電極を持つ部品が使用されることがある。このような特殊な形状の電極は、従来の画像処理技術によっては電極として認識することが困難であったため、特殊な形状の電極を基準とした位置決めや検査処理を行うことが困難であった。 By the way, there are electrodes having various shapes in the electrodes of the parts to be mounted by the parts mounting machine. For example, electrodes with a simple shape that are well known in the past, such as bumps and reeds, can be recognized by conventional image processing technology, but in recent years, electrodes with a special shape that are completely different in shape from bumps and reeds have been used. Parts to have may be used. Since it is difficult to recognize such a specially shaped electrode as an electrode by conventional image processing technology, it is difficult to perform positioning and inspection processing based on the specially shaped electrode.

本発明は、部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成方法において、複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識工程と、前記電極画像認識工程で認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成工程とを含む、画像処理用部品データ作成方法であって、前記電極画像認識工程は、作業者が表示装置に表示された前記画像の中から前記電極を１個指定する電極指定操作と、前記画像の中から前記電極指定操作で指定された電極と形状が類似する部分を電極として認識する画像処理とを含み、前記部品データ作成工程では、作業者が前記電極指定操作で前記電極を１個指定すると、指定された電極だけでなく、電極として認識された形状が類似する部分の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成するようにしたものである。このようにすれば、複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して各電極を認識する際に、複数の同一形状の電極が特殊な形状の電極であっても、作業者が電極指定操作で電極を１個指定するだけで良く、画像処理により当該特殊な形状の電極の全てを電極として容易に認識することができる。しかも、この電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成するようにしたので、特殊な形状の電極を持つ部品でも、画像処理用部品データを自動作成することができる。 The present invention is an image processing component data creation method for creating image processing component data used when recognizing an image of a component mounted by a component mounting machine, in which a component in which a plurality of electrodes having the same shape are arranged is captured by a camera. At least one of the position, number, arrangement pitch, and size of the electrodes is used in the electrode image recognition step of processing the captured image to recognize the electrodes and the recognition result of the electrodes recognized in the electrode image recognition step. An image processing component data creation method including a component data creation step of creating image processing component data including data, wherein the electrode image recognition step is performed in the image displayed on a display device by an operator. and electrodes designation operation for designating one of said electrodes from viewing contains a recognizing image processing has been electrode and part shapes are similar designated by the electrode specifying operation as an electrode from among the images, the part data creation step Then, when the operator designates one of the electrodes in the electrode designation operation, the position, number, and arrangement pitch of the electrodes are not only for the designated electrode but also for all the parts having similar shapes recognized as the electrodes. , The image processing component data including at least one data of the size is created. In this way, when a component in which a plurality of electrodes having the same shape are arranged is processed by an image captured by a camera to recognize each electrode, the plurality of electrodes having the same shape are specially shaped electrodes. However, the operator only needs to specify one electrode by the electrode designation operation, and all the electrodes having the special shape can be easily recognized as electrodes by image processing. Moreover, since the image processing component data including at least one data of the electrode position, number, arrangement pitch, and size is created by using the recognition result of this electrode, the electrode has a special shape. Even for parts, it is possible to automatically create part data for image processing.

一般に、部品を撮像した画像は、グレースケール画像であるため、前記電極指定操作を行う前に、前記グレースケール画像を２値化処理して２値画像を作成し、前記電極指定操作では、作業者が前記２値画像の中から１個の電極に相当する１個のブロッブ（塊）を指定し、前記画像処理では、前記電極指定操作で指定されたブロッブと形状が類似するブロッブを電極として認識するようにしても良い。 In general, since the image obtained by imaging the component is a gray scale image, the gray scale image is binarized to create a binary image before the electrode designation operation is performed. A person designates one blob (lump) corresponding to one electrode from the binary image, and in the image processing, a blob similar in shape to the blob specified in the electrode designation operation is used as an electrode. You may try to recognize it.

また、作業者が表示装置に表示された前記画像の中から前記電極を１個のみ含む領域を指定する電極指定操作と、前記画像の中から前記電極指定操作で指定された領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識する画像処理とを含むようにしても良い。 Further, the electrode designation operation for designating the region including only one electrode from the image displayed on the display device by the operator, and the region and the image pattern designated by the electrode designation operation from the image are It may include image processing that recognizes a similar region as a region containing only one of the electrodes.

この場合、前記電極を１個のみ含む領域は、作業者が当該電極の一箇所を指定することで、当該電極のサイズに合わせて自動的に作成されるようにしても良いし、或は、前記電極指定操作を行う際に、作業者が前記電極を１個のみ含む領域のサイズを当該電極のサイズに合わせて調整するようにしても良い。電極を１個のみ含む領域が、当該電極のサイズに比べて大き過ぎると、電極周囲の背景の影響によって電極の認識精度が低下する可能性があるためである。 In this case, the region containing only one electrode may be automatically created according to the size of the electrode by the operator designating one location of the electrode. When performing the electrode designation operation, the operator may adjust the size of the region including only one electrode according to the size of the electrode. This is because if the region containing only one electrode is too large compared to the size of the electrode, the recognition accuracy of the electrode may be lowered due to the influence of the background around the electrode.

また、前記画像処理を行う前に、作業者が前記画像のうち前記電極を探索する範囲を指定するようにしても良い。このようにすれば、画像のうち、電極が存在しない範囲を探索せずに済み、その分、画像処理時間を短縮できると共に、電極が存在しない範囲で電極を誤認識する可能性を確実に排除でき、電極の認識精度を向上できる。 Further, before performing the image processing, the operator may specify a range in which the electrode is searched in the image. By doing so, it is not necessary to search the range where the electrode does not exist in the image, the image processing time can be shortened by that amount, and the possibility of erroneously recognizing the electrode in the range where the electrode does not exist is surely eliminated. It is possible to improve the recognition accuracy of the electrodes.

図１は実施例１の画像処理用部品データ作成システムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an image processing component data creation system according to the first embodiment. 図２は実施例１の特殊な形状の電極を持つ部品を下面側から撮像した画像の表示例を示す図である。FIG. 2 is a diagram showing a display example of an image obtained by capturing an image of a component having an electrode having a special shape according to the first embodiment from the lower surface side. 図３は実施例１の画像処理結果を示す図である。FIG. 3 is a diagram showing an image processing result of Example 1. 図４は実施例２の特殊な形状の電極を持つ部品を撮像したグレースケール画像を２値化処理して作成した２値画像の表示例を示す図である。FIG. 4 is a diagram showing a display example of a binary image created by binarizing a grayscale image obtained by imaging a component having an electrode having a special shape according to the second embodiment.

以下、３つの実施例１〜３を説明する。 Hereinafter, three Examples 1 to 3 will be described.

実施例１を図１乃至図３に基づいて説明する。
図１に示すように、画像処理用部品データ作成システムは、画像処理機能を搭載したパーソナルコンピュータ等のコンピュータ１１（画像処理装置）と、画像処理用部品データの作成対象となる部品を撮像してグレースケール画像を取得するＣＭＯＳセンサ等のイメージセンサを内蔵するカメラ１２と、キーボード、マウス、タッチパネル等の入力装置１３と、液晶ディスプレイ、ＣＲＴ等の表示装置１４と、後述する電極画像認識と画像処理用部品データ作成のためのプログラムや各種のデータ等を記憶する記憶装置１５とを備えた構成となっている。The first embodiment will be described with reference to FIGS. 1 to 3.
As shown in FIG. 1, the image processing component data creation system captures images of a computer 11 (image processing device) such as a personal computer equipped with an image processing function and a component for which image processing component data is to be created. A camera 12 having a built-in image sensor such as a CMOS sensor that acquires a gray scale image, an input device 13 such as a keyboard, a mouse, and a touch panel, a display device 14 such as a liquid crystal display and a CRT, and electrode image recognition and image processing described later. It is configured to include a storage device 15 for storing a program for creating component data and various data.

画像処理用部品データ作成システムは、部品実装機の制御システムを利用して構成しても良いし、或は、部品実装機の制御システムとは別に構成した専用の画像処理用部品データ作成システム（例えば卓上撮像装置とパーソナルコンピュータとの組み合わせ）を用いても良い。部品実装機の制御システムを利用して画像処理用部品データ作成システムを構成する場合には、カメラ１２は、部品実装機の吸着ノズルに吸着した部品をその下方から撮像するカメラ（いわゆるパーツカメラ）を使用すれば良い。 The image processing component data creation system may be configured by using the control system of the component mounting machine, or a dedicated image processing component data creation system configured separately from the control system of the component mounting machine ( For example, a combination of a desktop image pickup device and a personal computer) may be used. When the component data creation system for image processing is configured by using the control system of the component mounting machine, the camera 12 is a camera (so-called parts camera) that captures the components sucked on the suction nozzle of the component mounting machine from below. Should be used.

部品実装機で実装する部品の電極には、様々な形状の電極がある。例えば、バンプやリードのように、従来から周知の単純な形状の電極は、従来の画像処理技術によっても認識可能であるが、バンプやリードとは形状が全く異なる特殊な形状の電極は、従来の画像処理技術によっては電極として認識することが困難である。 There are various shapes of electrodes of the components to be mounted by the component mounting machine. For example, electrodes with a simple shape that are well known in the past, such as bumps and reeds, can be recognized by conventional image processing technology, but electrodes with a special shape that are completely different in shape from bumps and reeds are conventionally known. It is difficult to recognize it as an electrode depending on the image processing technology of.

そこで、本実施例では、次のような方法で、特殊な形状の電極を画像認識する。この方法は、バンプやリードの画像認識にも使用できる。
まず、カメラ１２で部品の下面（電極が形成された面）を撮像して、図２に示すように、撮像した部品の画像を表示装置１４に表示する。尚、別の場所のカメラ（例えば部品実装機のパーツカメラ等）で撮像した部品の画像を取得して表示装置１４に表示するようにしても良い。Therefore, in this embodiment, an electrode having a special shape is image-recognized by the following method. This method can also be used for image recognition of bumps and leads.
First, the camera 12 images the lower surface of the component (the surface on which the electrodes are formed), and as shown in FIG. 2, the image of the captured component is displayed on the display device 14. It should be noted that an image of a component captured by a camera at another location (for example, a component camera of a component mounting machine) may be acquired and displayed on the display device 14.

この後、作業者がマウス等の入力装置１３を操作して、表示装置１４に表示された画像の中から電極を１個のみ含む領域を枠で囲って指定する電極指定操作を行う。この際、電極を１個のみ含む領域は、作業者が当該電極の一箇所をマウスポインタ等で指定することで、当該電極のサイズに合わせて自動的に枠が作成されるようにしても良い。或は、電極指定操作を行う際に、作業者がマウス等の入力装置１３を操作して電極を１個のみ含む領域のサイズ（つまり当該領域を囲う枠のサイズ）を当該電極のサイズに合わせて調整するようにしても良い。電極を１個のみ含む領域が、当該電極のサイズに比べて大き過ぎると、電極周囲の背景の影響によって電極の認識精度が低下する可能性があるためである。 After that, the operator operates an input device 13 such as a mouse to perform an electrode designation operation in which an area including only one electrode is surrounded by a frame from the image displayed on the display device 14. At this time, in the area containing only one electrode, the operator may specify one part of the electrode with a mouse pointer or the like so that a frame is automatically created according to the size of the electrode. .. Alternatively, when performing the electrode designation operation, the operator operates an input device 13 such as a mouse to adjust the size of the area including only one electrode (that is, the size of the frame surrounding the area) to the size of the electrode. You may adjust it. This is because if the region containing only one electrode is too large compared to the size of the electrode, the recognition accuracy of the electrode may be lowered due to the influence of the background around the electrode.

作業者が上述した電極指定操作を完了すると、コンピュータ１１は、画像処理を実行して、表示装置１４に表示した画像の中から電極指定操作で指定された領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識する。この際、電極指定操作で指定された領域と画像パターンが類似する領域を定量的に評価する指標として、例えば、類似度（又は相違度）を用い、類似度（又は相違度）が所定の判定しきい値以下となる領域を、類似する領域と判定するようにすれば良い。類似度（又は相違度）は、０に近いほど類似性が高いことを示している。この画像処理により、図３に示すように、表示装置１４に表示された画像には、電極指定操作で指定された領域と類似する領域の認識結果が枠で囲まれて表示される。 When the operator completes the electrode designation operation described above, the computer 11 executes image processing and selects a region having an image pattern similar to the region designated by the electrode designation operation from the images displayed on the display device 14. Recognized as a region containing only one electrode. At this time, for example, a similarity (or difference) is used as an index for quantitatively evaluating a region whose image pattern is similar to the region designated by the electrode designation operation, and the similarity (or difference) is determined to be predetermined. The area below the threshold value may be determined to be a similar area. The degree of similarity (or degree of difference) is closer to 0, indicating that the similarity is higher. By this image processing, as shown in FIG. 3, in the image displayed on the display device 14, the recognition result of the region similar to the region designated by the electrode designation operation is displayed surrounded by a frame.

尚、画像処理を行う前に、作業者が画像のうち電極を探索する範囲を枠で囲って指定するようにしても良い。このようにすれば、画像のうち、電極が存在しない範囲を探索せずに済み、その分、画像処理時間を短縮できると共に、電極が存在しない範囲で電極を誤認識する可能性を確実に排除でき、電極の認識精度を向上できる。
コンピュータ１１は、画像処理後、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つを計測して、その計測データを含む画像処理用部品データを作成する部品データ作成装置としても機能する。 Before performing the image processing, the operator may specify the range in which the electrode is searched in the image by enclosing it in a frame. By doing so, it is not necessary to search the range where the electrode does not exist in the image, the image processing time can be shortened by that amount, and the possibility of erroneously recognizing the electrode in the range where the electrode does not exist is surely eliminated. It is possible to improve the recognition accuracy of the electrodes.
After image processing, the computer 11 also functions as a component data creation device that measures at least one of the position, number, array pitch, and size of the electrodes and creates component data for image processing including the measurement data. ..

以上説明した本実施例１によれば、作業者が表示装置１４に表示された画像の中から電極を１個のみ含む領域を枠で囲って指定した後、コンピュータ１１が表示装置１４に表示された画像の中から作業者が指定した領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識するようにしたので、特殊な形状の電極であっても、画像処理により当該特殊な形状の電極を電極として容易に認識することができ、当該特殊な形状の電極を基準とした位置決めや検査処理を行うことが可能となる。 According to the first embodiment described above, the computer 11 is displayed on the display device 14 after the operator specifies an area including only one electrode from the image displayed on the display device 14 by enclosing it in a frame. Since the region whose image pattern is similar to the region specified by the operator is recognized as the region containing only one electrode, even if the electrode has a special shape, the special shape is obtained by image processing. An electrode having a different shape can be easily recognized as an electrode, and positioning and inspection processing can be performed with reference to the electrode having a special shape.

次に、図４を用いて実施例２を説明する。但し、上記実施例１と実質的に同じ部分については同一符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。 Next, Example 2 will be described with reference to FIG. However, substantially the same parts as those in the first embodiment are designated by the same reference numerals to omit or simplify the description, and mainly different parts will be described.

本実施例２の電極画像認識方法では、まず、カメラ１２で部品の下面（電極が形成された面）を撮像して、グレースケール画像を取得する。電極指定操作を行う前に、コンピュータ１１は、グレースケール画像を２値化処理して、図４に示すように、２値画像を作成して表示装置１４に表示する。 In the electrode image recognition method of the second embodiment, first, the camera 12 images the lower surface of the component (the surface on which the electrodes are formed) to acquire a grayscale image. Before performing the electrode designation operation, the computer 11 binarizes the grayscale image, creates a binary image as shown in FIG. 4, and displays it on the display device 14.

この後、作業者がマウス等の入力装置１３を操作して、表示装置１４に表示された２値画像の中から１個の電極に相当する１個のブロッブ（塊）をマウスポインタ等で指定する電極指定操作を行う。 After that, the operator operates an input device 13 such as a mouse to specify one blob (lump) corresponding to one electrode from the binary image displayed on the display device 14 with a mouse pointer or the like. Perform the electrode designation operation.

作業者が上述した電極指定操作を完了すると、コンピュータ１１は、画像処理を実行して、電極指定操作で指定されたブロッブと形状が類似するブロッブを電極として認識する。この際、電極指定操作で指定されたブロッブと形状が類似するブロッブを定量的に評価する指標として、例えば、類似度（又は相違度）を用い、類似度（又は相違度）が所定の判定しきい値以下となるブロッブを、類似するブロッブと判定するようにすれば良い。
尚、画像処理を行う前に、作業者が画像のうち電極を探索する範囲を枠で囲って指定するようにしても良い。When the operator completes the electrode designation operation described above, the computer 11 executes image processing and recognizes a blob similar in shape to the blob designated by the electrode designation operation as an electrode. At this time, for example, a degree of similarity (or degree of difference) is used as an index for quantitatively evaluating a blob whose shape is similar to that of the blob designated by the electrode designation operation, and the degree of similarity (or degree of difference) is determined to be predetermined. A blob that is equal to or less than the threshold value may be determined to be a similar blob.
Before performing the image processing, the operator may specify the range in which the electrode is searched in the image by enclosing it in a frame.

コンピュータ１１は、画像処理後、ブロッブの位置、個数、配列ピッチ、サイズ等を電極の位置、個数、配列ピッチ、サイズ等として計測して、その計測データを含む画像処理用部品データを作成する。 After image processing, the computer 11 measures the position, number, arrangement pitch, size, etc. of the blobs as the position, number, arrangement pitch, size, etc. of the electrodes, and creates image processing component data including the measurement data.

以上説明した本実施例２においても、前記実施例１と同様の効果を得ることができる。 In the second embodiment described above, the same effect as that of the first embodiment can be obtained.

上述した実施例１又は実施例２の電極画像認識方法で認識した電極の認識結果を用いて作成する画像処理用部品データには、部品のボディサイズ等の部品形状データも含まれる。 The image processing component data created by using the electrode recognition results recognized by the electrode image recognition method of Example 1 or Example 2 described above also includes component shape data such as the body size of the component.

一般的な部品は、ボディ形状が矩形状等の単純な形状であるため、従来の画像処理技術によって部品形状データを自動作成することができるが、近年では、複雑な形状の部品や、従来方法では画像処理位置決めが困難な部品や、より自由度の高い位置決め手法が必要な部品が増加する傾向があり、画像処理用部品データのチューニングに時間がかかることが生産性を低下させる原因となる。 Since a general part has a simple body shape such as a rectangular shape, part shape data can be automatically created by a conventional image processing technique, but in recent years, a part having a complicated shape or a conventional method has been used. In this case, the number of parts for which image processing positioning is difficult and parts for which a positioning method with a higher degree of freedom is required tends to increase, and it takes time to tune the image processing part data, which causes a decrease in productivity.

また、モジュール基板等の複雑な形状の部品を画像処理する場合、従来の異型部品処理ではシークラインの配置が困難な場合があり、良品であるにも拘らず、画像処理が成功しない場合があった。 In addition, when image processing a component with a complicated shape such as a module board, it may be difficult to arrange the seek line in the conventional irregular component processing, and the image processing may not succeed even though it is a good product. It was.

そこで、本実施例３では、イメージマッチングという画像処理を採用して、次のようにして部品形状データを自動作成する。
まず、カメラ１２で撮像した良品の部品画像を取得して、その良品の部品画像をテンプレート画像として記憶しておき、認識対象となる部品画像からテンプレート画像を検索して、両画像の最も相関が高い位置で部品の位置決めが完了する。これにより、良品の部品画像と最も一致する座標を認識対象の部品画像から求めることができる。そのため、シークラインの配置等に悩む必要がなく、簡単に部品形状データを作成することができる。Therefore, in the third embodiment, image processing called image matching is adopted to automatically create part shape data as follows.
First, a non-defective part image captured by the camera 12 is acquired, the non-defective part image is stored as a template image, the template image is searched from the part image to be recognized, and the correlation between the two images is the most. Positioning of parts is completed at a high position. As a result, the coordinates that most closely match the non-defective component image can be obtained from the component image to be recognized. Therefore, it is not necessary to worry about the arrangement of the seek lines, and the part shape data can be easily created.

本実施例３のイメージマッチングを用いた部品形状データの作成方法と組み合わせる電極画像認識方法は、実施例１又は実施例２の電極画像認識方法に限定されず、公知のバンプ画像認識方法やリード画像認識方法と組み合わせても良い。これにより、位置決めの基準をボディ基準、特殊形状電極基準、バンプ基準、リード基準の中から任意に設定することができて、部品位置決めの自由度が高まり、より高度な要求に対応できる。 The electrode image recognition method combined with the component shape data creation method using the image matching of the third embodiment is not limited to the electrode image recognition method of the first or second embodiment, and is not limited to the known bump image recognition method and the lead image. It may be combined with the recognition method. As a result, the positioning reference can be arbitrarily set from the body reference, the special shape electrode reference, the bump reference, and the lead reference, the degree of freedom in component positioning is increased, and more advanced requirements can be met.

１１…コンピュータ（画像処理装置及び部品データ作成装置）、１２…カメラ、１３…入力装置、１４…表示装置
11 ... Computer (image processing device and component data creation device ), 12 ... Camera, 13 ... Input device, 14 ... Display device

Claims (9)

部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成方法において、
複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識工程と、
前記電極画像認識工程で認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成工程と
を含む、画像処理用部品データ作成方法であって、
前記電極画像認識工程は、
作業者が表示装置に表示された前記画像の中から前記電極を１個指定する電極指定操作と、
前記画像の中から前記電極指定操作で指定された前記電極と形状が類似する部分を電極として認識する画像処理と
を含み、
前記部品データ作成工程では、
作業者が前記電極指定操作で前記電極を１個指定すると、指定された電極だけでなく、電極として認識された形状が類似する部分の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成する、画像処理用部品データ作成方法。 In the image processing component data creation method, which creates image processing component data used when recognizing an image of a component mounted on a component mounting machine.
An electrode image recognition step of processing an image obtained by a camera of a component in which a plurality of electrodes having the same shape are arranged to recognize the electrodes , and
A component data creation step of creating image processing component data including at least one of electrode positions, numbers, array pitches, and sizes using the electrode recognition results recognized in the electrode image recognition step.
It is a method of creating component data for image processing, including
The electrode image recognition step is
An electrode designation operation in which an operator designates one electrode from the image displayed on the display device, and
The electrode shape designated by the electrode specification operation saw contains a recognizing image processing parts similar as the electrode from among the images,
In the part data creation process,
When the operator specifies one of the electrodes in the electrode designation operation, the position, number, arrangement pitch, and size of the electrodes are not only for the designated electrode but also for all the parts having similar shapes recognized as electrodes. An image processing component data creation method for creating image processing component data including at least one of the data. 前記部品を撮像した画像は、グレースケール画像であり、
前記電極指定操作を行う前に、前記グレースケール画像を２値化処理して２値画像を作成し、
前記電極指定操作では、作業者が前記２値画像の中から１個の電極に相当する１個のブロッブを指定し、
前記画像処理では、前記電極指定操作で指定されたブロッブと形状が類似するブロッブを電極として認識する、請求項１に記載の画像処理用部品データ作成方法。 The image obtained by imaging the component is a grayscale image.
Before performing the electrode designation operation, the grayscale image is binarized to create a binary image.
In the electrode designation operation, the operator designates one blob corresponding to one electrode from the binary image.
The image processing component data creation method according to claim 1, wherein in the image processing, a blob having a shape similar to that of the blob designated in the electrode designation operation is recognized as an electrode. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成方法において、
複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識工程と、
前記電極画像認識工程で認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成工程と
を含む、画像処理用部品データ作成方法であって、
前記電極画像認識工程は、
作業者が表示装置に表示された前記画像の中から前記電極を１個のみ含む領域を指定する電極指定操作と、
前記画像の中から前記電極指定操作で指定された領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識する画像処理と
を含み、
前記部品データ作成工程では、
作業者が前記電極指定操作で前記電極を１個のみ含む領域を指定すると、指定された領域だけでなく、指定された領域と画像パターンが類似する領域の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成する、画像処理用部品データ作成方法。 In the image processing component data creation method, which creates image processing component data used when recognizing an image of a component mounted on a component mounting machine.
An electrode image recognition step of processing an image obtained by a camera of a component in which a plurality of electrodes having the same shape are arranged to recognize the electrodes , and
A component data creation step of creating image processing component data including at least one of electrode positions, numbers, array pitches, and sizes using the electrode recognition results recognized in the electrode image recognition step.
It is a method of creating component data for image processing, including
The electrode image recognition step is
An electrode designation operation in which an operator specifies an area containing only one electrode from the image displayed on the display device, and
Region and an image pattern specified by the electrode specification operation saw contains a recognizing image processing as an area including a region which is similar only one said electrode from among the images,
In the part data creation process,
When the operator specifies a region containing only one of the electrodes in the electrode designation operation, the position and number of electrodes are not only in the designated region but also in all regions where the image pattern is similar to the designated region. , An image processing component data creation method for creating image processing component data including at least one data of array pitch and size. 前記電極を１個のみ含む領域は、作業者が当該電極の一箇所を指定することで、当該電極のサイズに合わせて自動的に作成される、請求項３に記載の画像処理用部品データ作成方法。 The image processing component data creation according to claim 3, wherein the region including only one electrode is automatically created according to the size of the electrode by the operator designating one location of the electrode. Method. 前記電極指定操作を行う際に、作業者が前記電極を１個のみ含む領域のサイズを当該電極のサイズに合わせて調整する、請求項３に記載の画像処理用部品データ作成方法。 The image processing component data creation method according to claim 3, wherein when performing the electrode designation operation, the operator adjusts the size of the region including only one electrode according to the size of the electrode. 前記画像処理を行う前に、作業者が前記画像のうち前記電極を探索する範囲を指定する、請求項１乃至５のいずれかに記載の画像処理用部品データ作成方法。 The method for creating image processing component data according to any one of claims 1 to 5, wherein an operator specifies a range of the image for searching for the electrode before performing the image processing. 前記電極は、リード、バンプ、これらとは形状が異なる特殊な形状の電極のいずれかである、請求項１乃至６のいずれかに記載の画像処理用部品データ作成方法。 The method for creating image processing component data according to any one of claims 1 to 6, wherein the electrode is a lead, a bump, or an electrode having a special shape different from these. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成システムにおいて、
複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識システムと、
前記画像を表示する表示装置と、
作業者が前記画像の中から前記電極を１個指定する電極指定操作を行う入力装置と、
前記画像の中から前記電極指定操作で指定された電極と形状が類似する部分を電極として認識する画像処理装置と、
前記電極画像認識システムで認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成装置と
を含む、画像処理用部品データ作成システムであって、
前記部品データ作成装置は、作業者が前記電極指定操作で前記電極を１個指定すると、指定された電極だけでなく、電極として認識された形状が類似する部分の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成する、画像処理用部品データ作成システム。 In an image processing component data creation system that creates image processing component data used when recognizing an image of a component mounted on a component mounting machine.
An electrode image recognition system that recognizes the electrodes by processing an image taken by a camera of a component in which multiple electrodes of the same shape are arranged .
A display device that displays the image and
An input device in which an operator performs an electrode designation operation for designating one electrode from the image.
An image processing device that recognizes a portion of the image having a shape similar to that of the electrode specified by the electrode designation operation as an electrode .
A component data creation device that creates image processing component data including at least one of electrode position, number, array pitch, and size using the electrode recognition results recognized by the electrode image recognition system.
It is a component data creation system for image processing, including
In the component data creation device, when the operator designates one of the electrodes by the electrode designation operation, the position of the electrode is not only for the designated electrode but also for all the parts having a similar shape recognized as the electrode. An image processing component data creation system that creates image processing component data including data of at least one of the number, array pitch, and size. 部品実装機で実装する部品を画像認識する際に使用する画像処理用部品データを作成する画像処理用部品データ作成システムにおいて、
複数の同一形状の電極が配列された部品をカメラで撮像した画像を処理して前記電極を認識する電極画像認識システムと、
前記画像を表示する表示装置と、
作業者が前記画像の中から前記電極を１個のみ含む領域を指定する電極指定操作を行う入力装置と、
前記画像の中から前記電極指定操作で指定された領域と画像パターンが類似する領域を前記電極を１個のみ含む領域として認識する画像処理装置と、
前記電極画像認識システムで認識した電極の認識結果を用いて、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１つのデータを含む画像処理用部品データを作成する部品データ作成装置と
を含む、画像処理用部品データ作成システムであって、
前記部品データ作成装置は、作業者が前記電極指定操作で前記電極を１個のみ含む領域を指定すると、指定された領域だけでなく、指定された領域と画像パターンが類似する領域の全てに対して、電極の位置、個数、配列ピッチ、サイズのうちの少なくとも１のデータを含む画像処理用部品データを作成する、画像処理用部品データ作成システム。 In an image processing component data creation system that creates image processing component data used when recognizing an image of a component mounted on a component mounting machine.
An electrode image recognition system that recognizes the electrodes by processing an image taken by a camera of a component in which multiple electrodes of the same shape are arranged .
A display device that displays the image and
An input device in which an operator performs an electrode designation operation for designating an area containing only one electrode from the image.
An image processing device that recognizes a region having an image pattern similar to the region designated by the electrode designation operation from the image as a region containing only one electrode .
A component data creation device that creates image processing component data including at least one of electrode position, number, array pitch, and size using the electrode recognition results recognized by the electrode image recognition system.
It is a component data creation system for image processing, including
When the operator specifies a region containing only one of the electrodes in the electrode designation operation, the component data creation device covers not only the designated region but also all regions having an image pattern similar to the designated region. An image processing component data creation system that creates image processing component data including data of at least one of electrode positions, numbers, array pitches, and sizes.
JP2018555412A 2016-12-09 2016-12-09 Image processing parts data creation method and image processing parts data creation system Active JP6833871B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086711 WO2018105099A1 (en) 2016-12-09 2016-12-09 Electrode image recognition method, electrode image recognition system, image processing component data creation method, and image processing component data creation system

Publications (2)

Publication Number Publication Date
JPWO2018105099A1 JPWO2018105099A1 (en) 2019-07-25
JP6833871B2 true JP6833871B2 (en) 2021-02-24

Family

ID=62491847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555412A Active JP6833871B2 (en) 2016-12-09 2016-12-09 Image processing parts data creation method and image processing parts data creation system

Country Status (2)

Country Link
JP (1) JP6833871B2 (en)
WO (1) WO2018105099A1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09251536A (en) * 1996-03-15 1997-09-22 Komatsu Ltd Device and method for inspection by pattern matching
JP4050842B2 (en) * 1998-06-15 2008-02-20 富士フイルム株式会社 Image processing method
JP4324442B2 (en) * 2003-10-16 2009-09-02 Ｊｕｋｉ株式会社 Component data generation device and electronic component mounting device

Also Published As

Publication number Publication date
WO2018105099A1 (en) 2018-06-14
JPWO2018105099A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
US11900586B2 (en) Hot spot defect detecting method and hot spot defect detecting system
JP5831420B2 (en) Image processing apparatus and image processing method
US9892504B2 (en) Image inspection method and inspection region setting method
US11189019B2 (en) Method for detecting defects, electronic device, and computer readable medium
JP6317725B2 (en) System and method for determining clutter in acquired images
WO2007125981A1 (en) Boundary position decision device, boundary position decision method, program for functioning computer as the device, and recording medium
US11551381B2 (en) Information processing device, information processing system, and non-transitory computer-readable medium storing information processing program
JP6833871B2 (en) Image processing parts data creation method and image processing parts data creation system
JP5160366B2 (en) Pattern matching method for electronic parts
JP2018109824A (en) Electronic control device, electronic control system, and electronic control method
JPWO2014128923A1 (en) Map collation device, collation method and collation program
JP2020134424A (en) Spectroscopic inspection method, image processing device, and robot system
JP4634250B2 (en) Image recognition method and apparatus for rectangular parts
JP2023535005A (en) Method and system or apparatus for recognizing objects in electronic images
JP2018098249A (en) Inspection device and insection method
CN110766671A (en) Image processing method based on machine vision software
US11680911B2 (en) Marking inspection device, marking inspection method and article inspection apparatus
JP5778685B2 (en) System and method for alignment and inspection of ball grid array devices
US10963726B2 (en) Article recognition device
JP2002190021A (en) Device and method for detecting position
JP5517248B2 (en) Component positioning part determination device and part positioning part determination method
JP2006338482A (en) Image processing component data generation method and device
JP6280760B2 (en) Inspection apparatus and inspection method
CN118012436A (en) Analysis method and device for industrial part drawing
US8611636B1 (en) High speed method of aligning components having a plurality of non-uniformly spaced features

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200501

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250