WO2022190543A1 - Information generation device - Google Patents
Information generation device Download PDFInfo
- Publication number
- WO2022190543A1 WO2022190543A1 PCT/JP2021/047125 JP2021047125W WO2022190543A1 WO 2022190543 A1 WO2022190543 A1 WO 2022190543A1 JP 2021047125 W JP2021047125 W JP 2021047125W WO 2022190543 A1 WO2022190543 A1 WO 2022190543A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- inspection method
- defective
- defective product
- inspection
- Prior art date
Links
- 238000007689 inspection Methods 0.000 claims abstract description 197
- 238000000034 method Methods 0.000 claims abstract description 160
- 230000002950 deficient Effects 0.000 claims abstract description 114
- 238000003384 imaging method Methods 0.000 abstract 1
- 229910000679 solder Inorganic materials 0.000 description 35
- 230000007547 defect Effects 0.000 description 33
- 238000003860 storage Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000007639 printing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000007667 floating Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000005476 soldering Methods 0.000 description 4
- 238000009736 wetting Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000007650 screen-printing Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Definitions
- the feature of the defective product image is expressed as the positional relationship of the display images within the display area, so that a group of display images corresponding to the type of defect is formed within the display area. and also includes application method information that identifies the inspection method to be applied to the defect images associated with those display images. It is possible to visually recognize which defect the rule-based inspection method or the learning-based inspection method is applied to, and how the rule-based inspection method and the learning-based inspection method are combined. It is possible to clearly indicate to the user whether the The display image includes the defective product image itself and the defective product image subjected to information processing.
- the defective product image to which the learning-based inspection method is applied is arranged near the center of the display area;
- the defective product image to which the rule-based inspection method is applied may be arranged at a position away from the center of the display area.
- FIG. 2 is a functional block diagram of the management device 1 to which the information providing device of the present invention is applied.
- the management device 1 is included in the management system 100 of the printed circuit board manufacturing facility shown in FIG. 1, and manages and controls the manufacturing devices X1 to X3 and the inspection devices Y1 to Y4.
- the optimization control unit 13 determines which of the rule-based inspection method and the learning-based inspection method is applied to pass/fail judgment in each of the inspection devices Y1 to Y4 to optimize the image inspection. ⁇ Instruct Y4.
- the rule-based inspection method and the learning-based inspection method each have strengths and weaknesses in terms of pass/fail judgment, and as shown in FIG. As shown in FIG. 3B, those for which the characteristics of good and bad are not separated are suitable for the rule-based inspection method. Therefore, it is possible to optimize the image inspection depending on which inspection method is applied to what kind of defect.
- FIG. 1 schematically shows a configuration example of manufacturing equipment in a surface mounting line for printed circuit boards according to the present embodiment.
- SMT Surface mount technology
- the surface mount line mainly consists of three processes: solder printing, component mounting, and reflow (solder welding).
- the solder printing inspection device Y1 is a device for inspecting the printed state of the solder paste on the board carried out from the solder printing device X1.
- the solder print inspection apparatus Y1 measures the solder paste printed on the board two-dimensionally or three-dimensionally, and determines whether or not various inspection items are normal values (allowable range) from the measurement results. Inspection items include, for example, solder volume, area, height, misalignment, and shape.
- An image sensor (camera) or the like can be used for two-dimensional measurement of solder paste, and a laser displacement meter, phase shift method, spatial encoding method, light section method, etc. can be used for three-dimensional measurement. can.
- the X-ray inspection device Y4 is a device for inspecting the soldering state of the board using an X-ray image. For example, in the case of package parts such as BGA (Ball Grid Array) and CSP (Chip Size Package) and multi-layer boards, the solder joints are hidden under the parts and boards. In the image) it is not possible to inspect the state of the solder.
- the X-ray inspection apparatus Y4 is an apparatus for compensating for such weaknesses of appearance inspection. Items to be inspected by the X-ray inspection apparatus Y4 include, for example, component misalignment, solder height, solder volume, solder ball diameter, backfillet length, and solder joint quality.
- As the X-ray image an X-ray transmission image may be used, and it is also preferable to use a CT (Computed Tomography) image.
- the manufacturing apparatuses X1 to X3 and the inspection apparatuses Y1 to Y4 described above are connected to the management apparatus 1 via a network (LAN).
- the management apparatus 1 is a system responsible for managing and controlling the manufacturing apparatuses X1 to X3 and the inspection apparatuses Y1 to Y4. It consists of a general-purpose computer system equipped with an input device (keyboard, mouse, controller, touch panel, etc.), a display device, and the like. Functions of the management device 1, which will be described later, are realized by the CPU reading and executing a program stored in the auxiliary storage device.
- a terminal 10 is connected to the management device 1 via a network (LAN).
- LAN network
- the optimization control unit 13 determines which of the rule-based inspection method and the learning-based inspection method is applied to each pass/fail judgment of the inspection apparatuses Y1 to Y4 to optimize the image inspection. Instruct Y4. Specifically, selection of programs to be executed by the inspection apparatuses Y1 to Y4 and adjustment of various parameters are performed.
- the learning-based inspection method can be used to accurately determine the characteristics of the good indicated by the solid line and the defective indicated by the dashed line.
- FIG. 3(B) it is difficult to make an accurate judgment by the learning-based inspection method when the characteristics of defective and good are not separated. For example, when there is a gray zone that linearly changes in the vicinity of the reference indicated by the dotted line, such as misalignment or float, the perimeter-based inspection method cannot be expected to make a highly accurate determination.
- the rule-based inspection method and the learning-based inspection method have strengths and weaknesses, so the overall accuracy of the image inspection is determined by the application relationship of the inspection method, such as what kind of defect is judged by which inspection method. Therefore, image inspection can be optimized by optimizing the application relationship between the type of defect and the inspection method.
- the application relationship information generating unit 14 generates application relationship information indicating the relationship between the defective product image and the image inspection method applied to determine the quality of the defective product image.
- FIG. 5 shows the application relationship information M displayed as an image on the display unit 15.
- the application relationship information M shown in FIG. 5 is obtained by mapping the defective product images stored in the defective product image storage unit 12 from the inspection devices Y1 to Y4 by the defective product image acquiring unit 11 and arranging them on a two-dimensional plane. is.
- Each of the display elements F included in the application relationship information M corresponds to one defective product image.
- display element F corresponds to the display image associated with the defective silver image of the present invention.
- the perspective of the feature of the defective product image is represented as a position on a two-dimensional plane, and is represented as a cluster according to the type of defect.
- the applicable relationship between the display element F corresponding to the image of the defective product and the inspection method is specified and labeled by surrounding it with a circle such as a solid line in FIG.
- whether the learning-based inspection method or the rule-based inspection method is applied is specified by the type of line that draws a circle surrounding the cluster of display elements F, and the rule-based inspection method is applied.
- the types of lines that draw circles surrounding clusters of display elements F are also distinguished according to the types of defects.
- the two-dimensional plane corresponds to the display area of the present invention
- the mapping by the principal component analysis based on the perspective of the feature amount of the defective image is the arrangement in the display area based on the feature of the defective image of the present invention.
- the circle surrounding the cluster C1 etc. corresponds to the application method information of the present invention.
- the learning-based inspection method determines the quality of the inspection object, but it is not limited to the binary determination of quality, and multi-valued state determination including the type of defect may be performed.
Abstract
In the present invention, when an image inspection for determining whether an object being inspected is defective on the basis of an image obtained by imaging the object being inspected is performed by combining a plurality of types of inspection methods, including a rule-based inspection method for determining whether the object being inspected is defective according to prescribed rules and a learning-based inspection method for determining whether the object being inspected is defective by using a trained determiner, generates application-related information that provides, in a visually recognizable way, the relationship between a defective image, which is an image of the object being inspected that has been determined as defective, and an inspection method that has been applied to the defective image, wherein the application-related information includes a display image that is associated with the defective image and disposed in a display area on the basis of the features of the defective image, and application method information that specifies the inspection method to be applied to the defective image associated with the display image.
Description
本発明は、不良品の画像に適用される検査方法に関する情報を生成する情報生成装置に関する。
The present invention relates to an information generation device that generates information on inspection methods applied to images of defective products.
従来、プリント基板等の検査対象物を撮像した画像を用いて検査対象物の良否の判定を行う画像検査方法として、画像から特徴量を抽出し、設定されたルールに基づいて特徴量の値を判定するルールベースの検査方法（以下、ルールベース検査方法」と称する。）と、良品が撮像された良品画像と不良品が撮像された不良品画像の特徴をそれぞれニューラルネットワーク等の公知の学習手段に学習させて判定器を生成し、入力された検査対象物の画像が良品であるか不良品であるか判定器によって判定する学習ベースの検査方法（以下、「学習ベース検査方法」と称する。）が知られている。
Conventionally, as an image inspection method for judging the quality of an object to be inspected, such as a printed circuit board, by using an image of the object to be inspected, a feature value is extracted from the image, and the value of the feature value is calculated based on a set rule. A rule-based inspection method for judging (hereinafter referred to as a rule-based inspection method) and known learning means such as a neural network for determining the features of a non-defective product image in which a non-defective product is captured and a defective product image in which a defective product is captured. A learning-based inspection method (hereinafter referred to as a "learning-based inspection method") in which a determiner is generated by learning and determines whether the input image of the inspection object is a non-defective product or a defective product. )It has been known.
ルールベース検査方法と学習ベース検査方法には、それぞれ得意不得意があるため、両者を組み合わせて画像検査を実施することが提案されている（例えば、特許文献１参照）。
Since the rule-based inspection method and the learning-based inspection method each have strengths and weaknesses, it has been proposed to perform image inspection by combining them (see Patent Document 1, for example).
上述のように、ルールベース検査方法と学習ベース検査方法を組み合わせて画像検査を実施する場合には、どのような不良に対していずれの検査方法を適用するかの組み合わせが画像検査の精度に影響を与えることになる。検査装置側で、ルールベース検査方法と学習ベース検査方法とを組み合わせて検査方法の最適化を図り、精度のよい画像検査を実現するとしても、どのような組み合わせにより最適化が実現されているのかが必ずしもユーザに伝えられるわけではないので、検査方法の最適化ひいては検査精度の高さに対するユーザの納得性を確保することは難しかった。
As described above, when image inspection is performed by combining the rule-based inspection method and the learning-based inspection method, the combination of which inspection method is applied to which defect affects the accuracy of the image inspection. will give Even if the inspection equipment optimizes the inspection method by combining the rule-based inspection method and the learning-based inspection method to achieve high-precision image inspection, what kind of combination achieves the optimization? is not necessarily communicated to the user, it has been difficult to ensure the user's satisfaction with the optimization of the inspection method and, by extension, the high inspection accuracy.
本発明は、上記のような問題に鑑みてなされたものであり、ルールベース検査方法と学習ベース検査方法を組み合わせて画像検査を実施する場合に、どのように組み合わせられているのかをユーザにも分かりやすく示す技術を提供することを目的とする。
The present invention has been made in view of the above problems, and when image inspection is performed by combining a rule-based inspection method and a learning-based inspection method, it is possible for the user to understand how the combination is performed. The purpose is to provide a technology that is easy to understand.
上記の課題を解決するための本発明は、
検査対象物を撮像した画像に基づいて該検査対象物の良否を判定する画像検査を、所定のルールに従って良否を判定するルールベース検査方法と、学習させた判定器を用いて良否を判定する学習ベース検査方法と、を含む複数種類の検査方法を組み合わせて行う場合に、不良と判定された該検査対象物の画像である不良品画像と、該不良品画像に適用された検査方法との関係を、視覚的に認識可能な態様で提供する適用関係情報を生成する情報生成装置であって、
前記適用関係情報は、
表示領域内に、前記不良品画像の特徴に基づいて配置された、前記不良品画像に関連付けられた表示画像と、
該表示画像に関連付けられた前記不良品画像に適用される検査方法を特定する適用方法情報と、
を含むことを特徴とする。 The present invention for solving the above problems is
A rule-based inspection method for judging pass/fail of an object to be inspected based on a captured image of the object to be inspected according to a predetermined rule, and learning to judge pass/fail using a learned judge. A relationship between a defective product image, which is an image of an object to be inspected determined to be defective, and an inspection method applied to the defective product image when multiple types of inspection methods including the base inspection method are combined. is an information generation device that generates application relationship information that provides in a visually recognizable manner,
The application relationship information is
a display image associated with the defective image positioned within a display area based on characteristics of the defective image;
application method information specifying an inspection method applied to the defective product image associated with the display image;
characterized by comprising
検査対象物を撮像した画像に基づいて該検査対象物の良否を判定する画像検査を、所定のルールに従って良否を判定するルールベース検査方法と、学習させた判定器を用いて良否を判定する学習ベース検査方法と、を含む複数種類の検査方法を組み合わせて行う場合に、不良と判定された該検査対象物の画像である不良品画像と、該不良品画像に適用された検査方法との関係を、視覚的に認識可能な態様で提供する適用関係情報を生成する情報生成装置であって、
前記適用関係情報は、
表示領域内に、前記不良品画像の特徴に基づいて配置された、前記不良品画像に関連付けられた表示画像と、
該表示画像に関連付けられた前記不良品画像に適用される検査方法を特定する適用方法情報と、
を含むことを特徴とする。 The present invention for solving the above problems is
A rule-based inspection method for judging pass/fail of an object to be inspected based on a captured image of the object to be inspected according to a predetermined rule, and learning to judge pass/fail using a learned judge. A relationship between a defective product image, which is an image of an object to be inspected determined to be defective, and an inspection method applied to the defective product image when multiple types of inspection methods including the base inspection method are combined. is an information generation device that generates application relationship information that provides in a visually recognizable manner,
The application relationship information is
a display image associated with the defective image positioned within a display area based on characteristics of the defective image;
application method information specifying an inspection method applied to the defective product image associated with the display image;
characterized by comprising
これによれば、適用関係情報には、不良品画像の特徴が、表示領域内における表示画像の位置関係として表現されるので、表示領域内には不良の種類に応じた表示画像の群が形成され、これらの表示画像に関連付けられた不良品画像に適用される検査方法を特定する適用方法情報も含まれる。どのような不良にルールベース検査方法と学習ベース検査方法のいずれが適用されるのかを、視覚的に認識することができ、ルールベース検査方法と学習ベース検査方法が、どのように組み合わせられているのかをユーザにも分かりやすく示すことができる。
表示画像には、不良品画像自体、不良品画像に情報処理を施したものも含まれる。 According to this, in the application relation information, the feature of the defective product image is expressed as the positional relationship of the display images within the display area, so that a group of display images corresponding to the type of defect is formed within the display area. and also includes application method information that identifies the inspection method to be applied to the defect images associated with those display images. It is possible to visually recognize which defect the rule-based inspection method or the learning-based inspection method is applied to, and how the rule-based inspection method and the learning-based inspection method are combined. It is possible to clearly indicate to the user whether the
The display image includes the defective product image itself and the defective product image subjected to information processing.
表示画像には、不良品画像自体、不良品画像に情報処理を施したものも含まれる。 According to this, in the application relation information, the feature of the defective product image is expressed as the positional relationship of the display images within the display area, so that a group of display images corresponding to the type of defect is formed within the display area. and also includes application method information that identifies the inspection method to be applied to the defect images associated with those display images. It is possible to visually recognize which defect the rule-based inspection method or the learning-based inspection method is applied to, and how the rule-based inspection method and the learning-based inspection method are combined. It is possible to clearly indicate to the user whether the
The display image includes the defective product image itself and the defective product image subjected to information processing.
また、本発明において、
前記適用方法情報は、互いに近接して配置された前記表示画像の群に関連付けて表示されるようにしてもよい。 Moreover, in the present invention,
The application method information may be displayed in association with a group of the display images arranged close to each other.
前記適用方法情報は、互いに近接して配置された前記表示画像の群に関連付けて表示されるようにしてもよい。 Moreover, in the present invention,
The application method information may be displayed in association with a group of the display images arranged close to each other.
表示画像は、不良品画像の特徴に基づいて表示領域内に配置されるので、共通の不良と判定された不良品画像に関連付けられた表示画像は、表示領域内においても近接して配置され群を形成するので、適用方法情報を表示画像の群に関連付けることにより、ルールベース検査方法と学習ベース検査方法が、どのように組み合わせられているのかをユーザにより分かりやすく示すことができる。
Since the display images are arranged in the display area based on the characteristics of the defective product images, the display images associated with the common defective product images determined to be defective are arranged closely in the display area. By associating the application method information with the group of displayed images, it is possible to show the user how the rule-based inspection method and the learning-based inspection method are combined in a more comprehensible manner.
また、本発明において、
前記表示領域の中心の近傍に前記学習ベース検査方法が適用された前記不良品画像が配置され、
前記表示領域の中心から離れた位置に前記ルールベース検査方法が適用された前記不良品画像が配置されているようにしてもよい。 Moreover, in the present invention,
the defective product image to which the learning-based inspection method is applied is arranged near the center of the display area;
The defective product image to which the rule-based inspection method is applied may be arranged at a position away from the center of the display area.
前記表示領域の中心の近傍に前記学習ベース検査方法が適用された前記不良品画像が配置され、
前記表示領域の中心から離れた位置に前記ルールベース検査方法が適用された前記不良品画像が配置されているようにしてもよい。 Moreover, in the present invention,
the defective product image to which the learning-based inspection method is applied is arranged near the center of the display area;
The defective product image to which the rule-based inspection method is applied may be arranged at a position away from the center of the display area.
これによれば、ルールベース検査方法と学習ベース検査方法とが、表示領域の中心からの遠近によって区別されるので、ルールベース検査方法と学習ベース検査方法がどのように組み合わせられているのかをユーザにより分かりやすく示すことができる。
According to this, since the rule-based inspection method and the learning-based inspection method are distinguished by the distance from the center of the display area, the user can see how the rule-based inspection method and the learning-based inspection method are combined. can be shown more clearly.
本発明によれば、ルールベース検査方法と学習ベース検査方法を組み合わせて画像検査を実施する場合に、どのように組み合わせられているのかをユーザにも分かりやすく示すことができる。
According to the present invention, when image inspection is performed by combining a rule-based inspection method and a learning-based inspection method, it is possible to show the user how they are combined in an easy-to-understand manner.
〔適用例〕
以下、本発明の適用例について、図面を参照しつつ説明する。
図２は、本発明の情報提供装置が適用される管理装置１の機能ブロック図である。管理装置１は、図１に示すプリント基板の製造設備の管理システム１００に含まれ、製造装置Ｘ１～Ｘ３および検査装置Ｙ１～Ｙ４の管理や制御を担う。 [Example of application]
Hereinafter, application examples of the present invention will be described with reference to the drawings.
FIG. 2 is a functional block diagram of themanagement device 1 to which the information providing device of the present invention is applied. The management device 1 is included in the management system 100 of the printed circuit board manufacturing facility shown in FIG. 1, and manages and controls the manufacturing devices X1 to X3 and the inspection devices Y1 to Y4.
以下、本発明の適用例について、図面を参照しつつ説明する。
図２は、本発明の情報提供装置が適用される管理装置１の機能ブロック図である。管理装置１は、図１に示すプリント基板の製造設備の管理システム１００に含まれ、製造装置Ｘ１～Ｘ３および検査装置Ｙ１～Ｙ４の管理や制御を担う。 [Example of application]
Hereinafter, application examples of the present invention will be described with reference to the drawings.
FIG. 2 is a functional block diagram of the
管理装置１は、不良品画像取得部１１、不良品画像記憶部１２、最適化制御部１３、適用関係情報生成部１４、表示部１５、出力部１６、入力部１７の各部を有する。
The management device 1 has a defective product image acquisition unit 11 , a defective product image storage unit 12 , an optimization control unit 13 , an application relationship information generation unit 14 , a display unit 15 , an output unit 16 and an input unit 17 .
不良品画像取得部１１は、検査装置Ｙ１～Ｙ４による検査において不良と判定された基板の画像（不良品画像）を取得し、不良品画像記憶部１２は、不良品画像取得部１１によって取得された不良品画像を記憶する。
The defective product image acquisition unit 11 acquires images (defective product images) of substrates determined to be defective in the inspection by the inspection devices Y1 to Y4. Store the defective product image.
最適化制御部１３は、検査装置Ｙ１～Ｙ４のそれぞれにおける良否判定に、ルールベース検査方法と学習ベース検査方法のいずれを適用して画像検査の最適化を実現するかを決定し、検査装置Ｙ１～Ｙ４に指示する。
ルールベース検査方法と学習ベース検査方法とには、良否判定において、それぞれ得意不得意があり、図３（Ａ）に示すように、良不良の特徴が分かれているものは学習ベース検査方法に適しており、図３（Ｂ）に示すように、良不良の特徴が分かれていないものはルールベース検査方法に適している。したがって、どのような不良にいずれの検査方法を適用するかによって画像検査の最適化を図ることができる。 Theoptimization control unit 13 determines which of the rule-based inspection method and the learning-based inspection method is applied to pass/fail judgment in each of the inspection devices Y1 to Y4 to optimize the image inspection. ~ Instruct Y4.
The rule-based inspection method and the learning-based inspection method each have strengths and weaknesses in terms of pass/fail judgment, and as shown in FIG. As shown in FIG. 3B, those for which the characteristics of good and bad are not separated are suitable for the rule-based inspection method. Therefore, it is possible to optimize the image inspection depending on which inspection method is applied to what kind of defect.
ルールベース検査方法と学習ベース検査方法とには、良否判定において、それぞれ得意不得意があり、図３（Ａ）に示すように、良不良の特徴が分かれているものは学習ベース検査方法に適しており、図３（Ｂ）に示すように、良不良の特徴が分かれていないものはルールベース検査方法に適している。したがって、どのような不良にいずれの検査方法を適用するかによって画像検査の最適化を図ることができる。 The
The rule-based inspection method and the learning-based inspection method each have strengths and weaknesses in terms of pass/fail judgment, and as shown in FIG. As shown in FIG. 3B, those for which the characteristics of good and bad are not separated are suitable for the rule-based inspection method. Therefore, it is possible to optimize the image inspection depending on which inspection method is applied to what kind of defect.
しかし、良否判定に適用される検査方法の組み合わせは、検査装置Ｙ１～Ｙ４の内部で実施されるため、その内容及び適否が検査装置Ｙ１～Ｙ４のユーザにはわかりづらい。
However, since the combination of inspection methods applied to pass/fail judgment is performed inside the inspection apparatuses Y1 to Y4, it is difficult for users of the inspection apparatuses Y1 to Y4 to understand the contents and suitability thereof.
そこで、管理装置１では、不良と判定されたプリント基板の画像である不良品画像と、該不良品画像に適用された検査方法との関係を、視覚的に認識可能な態様で提供する適用関係情報を生成する情報生成装置としての機能を実現している。
Therefore, in the management device 1, the application relationship provides the relationship between the defective product image, which is the image of the printed circuit board determined to be defective, and the inspection method applied to the defective product image in a visually recognizable manner. It realizes a function as an information generation device that generates information.
ここでは、適用関係情報生成部１４が、不良品画像取得部１１によって取得され、不良品画像記憶部に記憶された不良品画像と、最適化制御部１３から取得した、当該不良品画像の良否判定に適用された検査方法に関する情報に基づいて、図５に示すような適用関係情報を生成している。
Here, the application relationship information generation unit 14 generates the defective product image acquired by the defective product image acquisition unit 11 and stored in the defective product image storage unit, and the quality of the defective product image acquired from the optimization control unit 13. Application relation information as shown in FIG. 5 is generated based on the information about the inspection method applied for the determination.
図５は、破線で囲まれた表示要素ＦのクラスタＣ１が「はんだ多」に対応し、１点鎖線で囲まれた表示要素ＦのクラスタＣ２が「はんだ少」に対応する。そして、点線で囲まれたクラスタＣ３「浮き」に対応し、２鎖線で囲まれたクラスタＣ４が「ずれ」に対応する。これらのクラスタＣ１～Ｃ４に含まれる不良品画像の良否判定には、ルールベース検査方法が適用される。
In FIG. 5, a cluster C1 of display elements F surrounded by a dashed line corresponds to "a lot of solder", and a cluster C2 of display elements F surrounded by a dashed line corresponds to "a little solder". A cluster C3 surrounded by a dotted line corresponds to "Floating", and a cluster C4 surrounded by a two-chain line corresponds to "Displacement". A rule-based inspection method is applied to determine the quality of the defective product images included in these clusters C1 to C4.
実線で囲まれた表示要素ＦのクラスタＣ５、Ｃ６、Ｃ７に含まれる表示要素Ｆに含まれる不良品画像は、ルールベース検査方法に比べて、学習ベース検査方法の方が良否判定に適した不良品画像であり、例えば、「不濡れ」がこれらのクラスタに含まれる。
Defective product images included in display elements F included in clusters C5, C6, and C7 of display elements F surrounded by solid lines are defective images that are more suitable for quality determination by the learning-based inspection method than by the rule-based inspection method. These clusters include non-wetting images, which are good images, for example.
適用関係情報Ｍでは、不良品画像の特徴の遠近が２次元平面上の位置として表現され、不良の種類に応じたクラスタとして表現される。さらに、図５に実線等の円に囲うことによって不良品画像に対応する表示要素Ｆと検査方法との適用関係が特定され、ラベリングされている。
In the application relationship information M, the perspective of the feature of the defective product image is represented as a position on a two-dimensional plane, and is represented as a cluster according to the type of defect. Furthermore, the applicable relationship between the display element F corresponding to the image of the defective product and the inspection method is specified and labeled by surrounding it with a circle such as a solid line in FIG.
適用関係情報Ｍによれば、検査装置Ｙ１～Ｙ４において、どのような種類の不良に関する画像検査に対して、いずれの検査方法を適用しているか、そして、それらの検査方法がどのように組み合わされているのかという情報を視覚的に認識可能な態様で提供することができ、ルールベース検査方法と学習ベース検査方法を組み合わせて画像検査を実施する場合に、どのように組み合わせられているのかをユーザにも分かりやすく示すことができる。
According to the application relation information M, in the inspection apparatuses Y1 to Y4, which inspection method is applied to image inspection for what kind of defects, and how these inspection methods are combined. It is possible to provide information as to whether the image is being inspected in a visually recognizable manner, and when image inspection is performed by combining the rule-based inspection method and the learning-based inspection method, the user can understand how the combination is performed. can also be clearly shown.
〔実施例１〕
以下では、本発明の実施例に係る情報生成装置の例である管理装置１を含む管理システム１００ついて、図面を用いて、より詳細に説明する。
（システム構成）
図１は、本実施例に係るプリント基板の表面実装ラインにおける製造設備の構成例を模式的に示している。表面実装（Ｓｕｒｆａｃｅ Ｍｏｕｎｔ Ｔｅｃｈｎｏｌｏｇｙ：ＳＭＴ）とはプリント基板の表面に電子部品をはんだ付けする技術であり、表面実装ラインは、主として、はんだ印刷～部品のマウント～リフロー（はんだの溶着）の三つの工程から構成される。 [Example 1]
Below, themanagement system 100 including the management device 1, which is an example of the information generation device according to the embodiment of the present invention, will be described in more detail with reference to the drawings.
(System configuration)
FIG. 1 schematically shows a configuration example of manufacturing equipment in a surface mounting line for printed circuit boards according to the present embodiment. Surface mount technology (SMT) is a technology for soldering electronic components to the surface of a printed circuit board, and the surface mount line mainly consists of three processes: solder printing, component mounting, and reflow (solder welding). consists of
以下では、本発明の実施例に係る情報生成装置の例である管理装置１を含む管理システム１００ついて、図面を用いて、より詳細に説明する。
（システム構成）
図１は、本実施例に係るプリント基板の表面実装ラインにおける製造設備の構成例を模式的に示している。表面実装（Ｓｕｒｆａｃｅ Ｍｏｕｎｔ Ｔｅｃｈｎｏｌｏｇｙ：ＳＭＴ）とはプリント基板の表面に電子部品をはんだ付けする技術であり、表面実装ラインは、主として、はんだ印刷～部品のマウント～リフロー（はんだの溶着）の三つの工程から構成される。 [Example 1]
Below, the
(System configuration)
FIG. 1 schematically shows a configuration example of manufacturing equipment in a surface mounting line for printed circuit boards according to the present embodiment. Surface mount technology (SMT) is a technology for soldering electronic components to the surface of a printed circuit board, and the surface mount line mainly consists of three processes: solder printing, component mounting, and reflow (solder welding). consists of
図１に示すように、表面実装ラインでは、製造装置として、上流側から順に、はんだ印刷装置Ｘ１、マウンタＸ２、リフロー炉Ｘ３が設けられる。はんだ印刷装置Ｘ１は、スクリーン印刷によってプリント基板上の電極部（ランドと呼ばれる）にペースト状のはんだを印刷する装置である。マウンタＸ２は、基板に実装すべき電子部品をピックアップし、該当箇所のはんだペーストの上に部品を載置するための装置であり、チップマウンタとも呼ばれる。リフロー炉Ｘ３は、はんだペーストを加熱溶融した後、冷却を行い、電子部品を基板上にはんだ接合するための加熱装置である。基板に実装する電子部品の数や種類が多い場合には、表面実装ラインに複数台のマウンタＸ２が設けられることもある。
As shown in FIG. 1, in the surface mounting line, a solder printing device X1, a mounter X2, and a reflow furnace X3 are provided as manufacturing devices in this order from the upstream side. The solder printing device X1 is a device that prints paste-like solder on electrode portions (called lands) on a printed circuit board by screen printing. The mounter X2 is a device for picking up the electronic component to be mounted on the board and placing the component on the solder paste of the corresponding portion, and is also called a chip mounter. The reflow furnace X3 is a heating device for heating and melting the solder paste, cooling it, and soldering the electronic component onto the substrate. When there are many types and numbers of electronic components to be mounted on the board, a plurality of mounters X2 may be provided in the surface mounting line.
また、表面実装ラインには、はんだ印刷～部品のマウント～リフローの各工程の出口で基板の状態を検査し、不良あるいは不良のおそれを自動で検出するシステムが設置されている。当該システムは、良品と不良品の自動仕分けの他、検査結果やその分析結果に基づき各製造装置の動作にフィードバックする機能（例えば、実装プログラムの変更など）も有している。
In addition, the surface mounting line is equipped with a system that inspects the state of the board at the exit of each process from solder printing to component mounting to reflow, and automatically detects defects or potential defects. In addition to automatic sorting of non-defective products and defective products, this system also has a function to feed back the operation of each manufacturing apparatus based on the inspection results and analysis results (for example, change of the mounting program, etc.).
はんだ印刷検査装置Ｙ１は、はんだ印刷装置Ｘ１から搬出された基板に対し、はんだペーストの印刷状態を検査するための装置である。はんだ印刷検査装置Ｙ１では、基板上に印刷されたはんだペーストを２次元ないし３次元的に計測し、その計測結果から各種の検査項目について正常値（許容範囲）か否かの判定を行う。検査項目としては、例えば、はんだの体積・面積・高さ・位置ずれ・形状などがある。はんだペーストの２次元計測には、イメージセンサ（カメラ）などを用いることができ、３次元計測には、レーザ変位計や、位相シフト法、空間コード化法、光切断法などを利用することができる。
The solder printing inspection device Y1 is a device for inspecting the printed state of the solder paste on the board carried out from the solder printing device X1. The solder print inspection apparatus Y1 measures the solder paste printed on the board two-dimensionally or three-dimensionally, and determines whether or not various inspection items are normal values (allowable range) from the measurement results. Inspection items include, for example, solder volume, area, height, misalignment, and shape. An image sensor (camera) or the like can be used for two-dimensional measurement of solder paste, and a laser displacement meter, phase shift method, spatial encoding method, light section method, etc. can be used for three-dimensional measurement. can.
部品検査装置Ｙ２は、マウンタＸ２から搬出された基板に対し、電子部品の配置状態を検査するための装置である。部品検査装置Ｙ２では、はんだペーストの上に載置された部品（部品本体、電極など部品の一部でもよい）を２次元ないし３次元的に計測し、その計測結果から各種の検査項目について正常値（許容範囲）か否かの判定を行う。検査項目としては、例えば、部品の位置ずれ、角度（回転）ずれ、欠品（部品が配置されていないこと）、部品違い（異なる部品が配置されていること）、極性違い（部品側と基板側の電極の極性が異なること）、表裏反転（部品が裏向きに配置されていること）、部品高さなどがある。はんだ印刷検査と同様、電子部品の２次元計測には、イメージセンサ（カメラ）などを用いることができ、３次元計測には、レーザ変位計や、位相シフト法、空間コード化法、光切断法などを利用することができる。
The component inspection device Y2 is a device for inspecting the arrangement state of electronic components on the board carried out from the mounter X2. The component inspection device Y2 measures the component placed on the solder paste (or part of the component such as the component body or the electrode) two-dimensionally or three-dimensionally. It is determined whether or not the value (allowable range). Inspection items include, for example, misalignment of parts, misalignment of angles (rotation), missing parts (parts are not placed), wrong parts (different parts are placed), wrong polarity (part side and board the polarity of the electrode on the side is different), the front/back inversion (the part is placed face down), the height of the part, etc. As with solder printing inspection, image sensors (cameras) can be used for two-dimensional measurement of electronic components, and laser displacement meters, phase shift methods, spatial encoding methods, and light section methods can be used for three-dimensional measurement. etc. can be used.
外観検査装置Ｙ３は、リフロー炉Ｘ３から搬出された基板に対し、はんだ付けの品質を検査するための装置である。外観検査装置Ｙ３では、リフロー後のはんだ部分を２次元ないし３次元的に計測し、その計測結果から各種の検査項目について正常値（許容範囲）か否かの判定を行う。検査項目としては、部品検査と同じ項目に加え、はんだフィレット形状の良否なども含まれる。はんだの形状計測には、上述したレーザ変位計、位相シフト法、空間コード化法、光切断法などの他、いわゆるカラーハイライト方式（Ｒ、Ｇ、Ｂの照明を異なる入射角ではんだ面に当て、各色の反射光を天頂カメラで撮影することで、はんだの３次元形状を２次元の色相情報として検出する方法）を用いることができる。
The appearance inspection device Y3 is a device for inspecting the soldering quality of the board carried out from the reflow furnace X3. The appearance inspection apparatus Y3 measures the solder portion after reflow two-dimensionally or three-dimensionally, and determines whether or not the various inspection items are normal values (allowable range) based on the measurement results. Inspection items include, in addition to the same items as the component inspection, the quality of the solder fillet shape. In addition to the above-mentioned laser displacement meter, phase shift method, spatial encoding method, and light section method, the so-called color highlight method (R, G, and B illumination is applied to the solder surface at different angles of incidence) is used to measure solder shape. A method of detecting the three-dimensional shape of the solder as two-dimensional hue information by photographing the reflected light of each color with a zenith camera) can be used.
Ｘ線検査装置Ｙ４は、Ｘ線像を用いて基板のはんだ付けの状態を検査するための装置である。例えば、ＢＧＡ（Ｂａｌｌ Ｇｒｉｄ Ａｒｒａｙ）、ＣＳＰ（Ｃｈｉｐ Ｓｉｚｅ Ｐａｃｋａｇｅ）などのパッケージ部品や多層基板の場合には、はんだ接合部が部品や基板の下に隠れているため、外観検査装置Ｙ３では（つまり外観画像では）はんだの状態を検査することができない。Ｘ線検査装置Ｙ４は、このような外観検査の弱点を補完するための装置である。Ｘ線検査装置Ｙ４の検査項目としては、例えば、部品の位置ずれ、はんだ高さ、はんだ体積、はんだボール径、バックフィレットの長さ、はんだ接合の良否などがある。なお、Ｘ線像としては、Ｘ線透過画像を用いてもよいし、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像を用いることも好ましい。
The X-ray inspection device Y4 is a device for inspecting the soldering state of the board using an X-ray image. For example, in the case of package parts such as BGA (Ball Grid Array) and CSP (Chip Size Package) and multi-layer boards, the solder joints are hidden under the parts and boards. In the image) it is not possible to inspect the state of the solder. The X-ray inspection apparatus Y4 is an apparatus for compensating for such weaknesses of appearance inspection. Items to be inspected by the X-ray inspection apparatus Y4 include, for example, component misalignment, solder height, solder volume, solder ball diameter, backfillet length, and solder joint quality. As the X-ray image, an X-ray transmission image may be used, and it is also preferable to use a CT (Computed Tomography) image.
（管理装置）
上述した製造装置Ｘ１～Ｘ３及び検査装置Ｙ１～Ｙ４は、ネットワーク（ＬＡＮ）を介して管理装置１に接続されている。管理装置１は、製造装置Ｘ１～Ｘ３および検査装置Ｙ１～Ｙ４の管理や制御を担うシステムであり、図示しないが、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）、表示装置などを具備する汎用的なコンピュータシステムにより構成される。後述する管理装置１の機能は、補助記憶装置に格納されたプログラムをＣＰＵが読み込み実行することにより実現される。 (Management device)
The manufacturing apparatuses X1 to X3 and the inspection apparatuses Y1 to Y4 described above are connected to themanagement apparatus 1 via a network (LAN). The management apparatus 1 is a system responsible for managing and controlling the manufacturing apparatuses X1 to X3 and the inspection apparatuses Y1 to Y4. It consists of a general-purpose computer system equipped with an input device (keyboard, mouse, controller, touch panel, etc.), a display device, and the like. Functions of the management device 1, which will be described later, are realized by the CPU reading and executing a program stored in the auxiliary storage device.
上述した製造装置Ｘ１～Ｘ３及び検査装置Ｙ１～Ｙ４は、ネットワーク（ＬＡＮ）を介して管理装置１に接続されている。管理装置１は、製造装置Ｘ１～Ｘ３および検査装置Ｙ１～Ｙ４の管理や制御を担うシステムであり、図示しないが、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）、表示装置などを具備する汎用的なコンピュータシステムにより構成される。後述する管理装置１の機能は、補助記憶装置に格納されたプログラムをＣＰＵが読み込み実行することにより実現される。 (Management device)
The manufacturing apparatuses X1 to X3 and the inspection apparatuses Y1 to Y4 described above are connected to the
なお、管理装置１は、１台のコンピュータにより構成してもよいし、複数のコンピュータにより構成してもよい。あるいは、製造装置Ｘ１～Ｘ３や検査装置Ｙ１～Ｙ４のいずれかの装置が内蔵するコンピュータに、管理装置１の機能の全部又は一部を実装することも可能である。あるいは、管理装置１の機能の一部をネットワーク上のサーバ（クラウドサーバなど）により実現してもよい。
It should be noted that the management device 1 may be composed of one computer, or may be composed of a plurality of computers. Alternatively, all or part of the functions of the management device 1 can be implemented in a computer built into any one of the manufacturing devices X1 to X3 and the inspection devices Y1 to Y4. Alternatively, part of the functions of the management device 1 may be realized by a server (such as a cloud server) on the network.
管理装置１には、ネットワーク（ＬＡＮ）を介して端末１０が接続される。
A terminal 10 is connected to the management device 1 via a network (LAN).
本実施形態の管理装置１は、製造設備の管理者が設備のメンテナンス及び品質管理を行うための機能を実現するための機能部を有している。図２に、管理装置１が有する、適用関係情報生成装置としての機能部のブロック図を示す。
The management device 1 of the present embodiment has a functional unit for implementing functions for a manufacturing equipment manager to perform equipment maintenance and quality control. FIG. 2 shows a block diagram of a functional unit as an application relationship information generation device that the management device 1 has.
図２に示すように、管理装置１は、不良品画像取得部１１、不良品画像記憶部１２、最適化制御部１３、適用関係情報生成部１４、表示部１５、出力部１６、入力部１７の各部を有している。
As shown in FIG. 2, the management device 1 includes a defective product image acquisition unit 11, a defective product image storage unit 12, an optimization control unit 13, an application relationship information generation unit 14, a display unit 15, an output unit 16, and an input unit 17. It has each part of
不良品画像取得部１１は、検査装置Ｙ１～Ｙ４による検査において不良と判定された基板の画像（不良品画像）を取得する。
The defective product image acquisition unit 11 acquires images (defective product images) of substrates determined to be defective in inspections by the inspection devices Y1 to Y4.
不良品画像記憶部１２は、不良品画像取得部１１によって取得された不良品画像を記憶する。
The defective product image storage unit 12 stores the defective product image acquired by the defective product image acquiring unit 11.
最適化制御部１３は、検査装置Ｙ１～Ｙ４における各良否判定に、ルールベース検査方法と学習ベース検査方法のいずれを適用して画像検査の最適化を実現するかを決定し、検査装置Ｙ１～Ｙ４に指示する。具体的には、検査装置Ｙ１～Ｙ４によって実行されるプログラムの選択や、各種パラメータの調整等を行う。
The optimization control unit 13 determines which of the rule-based inspection method and the learning-based inspection method is applied to each pass/fail judgment of the inspection apparatuses Y1 to Y4 to optimize the image inspection. Instruct Y4. Specifically, selection of programs to be executed by the inspection apparatuses Y1 to Y4 and adjustment of various parameters are performed.
プリント基板の表面実装では、例えば、はんだの多い少ない、浮き、ずれ、不濡れ等の不良が発生する可能性がある。プリント基板の良否を画像検査する場合には、これらの不良の種類に応じて、その良否の判定に適した画像検査方法を適用している。画像検査方法としては、種々の検査方法が知られているが、ここでは、ルールベース検査方法と、学習ベース検査方法について説明する。ルールベース検査方法とは、検査対象物の画像から特徴量を抽出し、予め設定されたルールに従って特徴量の値から良否を判定する検査方法である。学習ベース検査方法は、良品を撮像した良品画像と、不良品を撮像した不良品画像とを含む教師画像を予めニューラルネットワーク等の学習手段によって学習させて判定器を生成し、このように学習させた判定器によって良否を判定する検査方法である。
In the surface mounting of printed circuit boards, there is a possibility that defects such as too much or too little solder, floating, misalignment, and non-wetting may occur. When inspecting the quality of a printed circuit board with an image, an image inspection method suitable for determining the quality is applied according to the type of the defect. Various image inspection methods are known, but here, a rule-based inspection method and a learning-based inspection method will be described. A rule-based inspection method is an inspection method in which a feature amount is extracted from an image of an object to be inspected, and pass/fail is determined from the value of the feature amount according to a preset rule. In the learning-based inspection method, a teacher image including a non-defective image of a non-defective product and a defective product image of a defective product is trained in advance by a learning means such as a neural network to generate a determiner, and is trained in this way. This is an inspection method in which pass/fail is judged by a judging device.
ルールベース検査方法では、不良の種類に応じてルール（例えば特徴量の閾値）を設定する。まず、第１の不良を検出でき、見過ぎが発生しないようにルールを設定する。このように設定されたルールで検出される不良を除いた状態から、第２の不良について、第２の不良を検出でき、見過ぎが発生しないようにルールを設定する。同様の処理を繰り返して、複数種類の不良に対してルールを設定する。このようにして、ルールの最適化を図ることにより、ルールベース検査方法の精度を向上させることができるが、あらゆる不良に対して必ずしも適切なルールを設定できるわけではない。そのような不良に対して学習ベース検査方法を適用することにより、精度の良い判定ができる場合がある。図３（Ａ）、（Ｂ）は、学習ベース検査方法の得意不得意を説明する概念図である。図３（Ａ）のように、実線で示された良と破線で示された不良の特徴が分かれているものについては、学習ベース検査方法で精度の良い判定が可能である。これに対して、図３（Ｂ）に示すように不良と良の特徴が分かれていないものは、学習ベース検査方法では精度の良い判定が難しい。例えば、ずれや浮きなどのように点線で示された基準の近辺で線形的に変化するグレーゾーンが存在するものは、外周ベース検査方法では精度の良い判定が期待できない。
In the rule-based inspection method, rules (for example, threshold values for feature values) are set according to the type of defect. First, a rule is set so that the first defect can be detected and oversight does not occur. A rule is set so that the second defect can be detected from the state in which the defect detected by the rule set in this way is excluded, and the second defect can be detected so that oversight does not occur. Similar processing is repeated to set rules for multiple types of defects. By optimizing the rules in this way, it is possible to improve the accuracy of the rule-based inspection method, but it is not always possible to set appropriate rules for all defects. By applying the learning-based inspection method to such defects, it may be possible to make accurate judgments. FIGS. 3A and 3B are conceptual diagrams explaining the strengths and weaknesses of the learning-based inspection method. As shown in FIG. 3(A), the learning-based inspection method can be used to accurately determine the characteristics of the good indicated by the solid line and the defective indicated by the dashed line. On the other hand, as shown in FIG. 3(B), it is difficult to make an accurate judgment by the learning-based inspection method when the characteristics of defective and good are not separated. For example, when there is a gray zone that linearly changes in the vicinity of the reference indicated by the dotted line, such as misalignment or float, the perimeter-based inspection method cannot be expected to make a highly accurate determination.
上述のようにルールベース検査方法と学習ベース検査方法の得意不得意があるため、どのような不良をどの検査方法で判定するかという検査方法の適用関係によって全体としての画像検査の精度が決まる。したがって、不良の種類と検査方法との適用関係を最適化することによって、画像検査の最適化を図ることができる。
As mentioned above, the rule-based inspection method and the learning-based inspection method have strengths and weaknesses, so the overall accuracy of the image inspection is determined by the application relationship of the inspection method, such as what kind of defect is judged by which inspection method. Therefore, image inspection can be optimized by optimizing the application relationship between the type of defect and the inspection method.
図４は、そのような適用関係の例を示す概念図である。ここでは、各種の不良のうち、よりルールベース検査方法に適した、はんだ多、はんだ少、浮き、ずれについて、ルールベース検査方法によって良否判定を行う。そして、その他の不良については、より学習ベース検査方法が適しているものとして、学習ベース検査方法によって、良否の判定を行う。このような学習ベース検査方法により適した不良として、例えば、不濡れがある。ルールベース検査方法か学習ベース検査方法のいずれかのみで画像検査を行う場合に限られず、両者を併用し、両者で同じ種類の不良の判定を行ってもよい。
FIG. 4 is a conceptual diagram showing an example of such application relationships. Here, among various kinds of defects, quality determination is performed by the rule-based inspection method for excessive solder, insufficient solder, floating, and misalignment, which are more suitable for the rule-based inspection method. For other defects, the learning-based inspection method is considered to be more suitable, and pass/fail determination is performed by the learning-based inspection method. Defects that are more suitable for such learning-based inspection methods include, for example, non-wetting. The image inspection is not limited to the rule-based inspection method or the learning-based inspection method alone, and both methods may be used together to determine the same type of defects.
このように、最適化制御部１３では、ルールベース検査方法と学習ベース検査方法とを組み合わせて画像検査を行う場合に、両者の適用関係を制御することによって画像検査の最適化を実現する。複数の画像検査方法を組み合わせて用いる場合に、ルールベース検査方法と学習ベース検査方法以外の検査方法を組み合わせてもよいし、画像検査の最適化の方法も上述のものに限られるわけではない。
In this way, the optimization control unit 13 optimizes the image inspection by controlling the application relationship between the rule-based inspection method and the learning-based inspection method when image inspection is performed by combining the rule-based inspection method and the learning-based inspection method. When a plurality of image inspection methods are used in combination, an inspection method other than the rule-based inspection method and the learning-based inspection method may be combined, and the method for optimizing the image inspection is not limited to the one described above.
適用関係情報生成部１４は、不良品画像と当該不良品画像の良否判定に適用される画像検査方法との関係を示す適用関係情報を生成する。
The application relationship information generating unit 14 generates application relationship information indicating the relationship between the defective product image and the image inspection method applied to determine the quality of the defective product image.
図５に、表示部１５に画像として表示された適用関係情報Ｍを示す。図５に示す適用関係情報Ｍは、不良品画像取得部１１が検査装置Ｙ１～Ｙ４から取得し、不良品画像記憶部１２に記憶された不良品画像を２次元平面にマッピングして配置したものである。適用関係情報Ｍに含まれる表示要素Ｆのそれぞれが、１枚の不良品画像に対応する。ここでは、表示要素Ｆが、本発明の不良銀画像に関連付けられた表示画像に対応する。
FIG. 5 shows the application relationship information M displayed as an image on the display unit 15. FIG. The application relationship information M shown in FIG. 5 is obtained by mapping the defective product images stored in the defective product image storage unit 12 from the inspection devices Y1 to Y4 by the defective product image acquiring unit 11 and arranging them on a two-dimensional plane. is. Each of the display elements F included in the application relationship information M corresponds to one defective product image. Here display element F corresponds to the display image associated with the defective silver image of the present invention.
ここでは、破線で囲まれた表示要素ＦのクラスタＣ１が「はんだ多」に対応し、１点鎖線で囲まれた表示要素ＦのクラスタＣ２が「はんだ少」に対応する。そして、点線で囲まれたクラスタＣ３「浮き」に対応し、２鎖線で囲まれたクラスタＣ４が「ずれ」に対応する。これらのクラスタＣ１～Ｃ４に含まれる不良品画像の良否判定には、ルールベース検査方法が適用される。
Here, a cluster C1 of display elements F surrounded by a dashed line corresponds to "a lot of solder", and a cluster C2 of display elements F surrounded by a dashed line corresponds to "a little solder". A cluster C3 surrounded by a dotted line corresponds to "Floating", and a cluster C4 surrounded by a two-chain line corresponds to "Displacement". A rule-based inspection method is applied to determine the quality of the defective product images included in these clusters C1 to C4.
実線で囲まれた表示要素ＦのクラスタＣ５、Ｃ６、Ｃ７に含まれる表示要素Ｆに含まれる不良品画像は、ルールベース検査方法に比べて、学習ベース検査方法の方が良否判定に適した不良品画像であり、例えば、「不濡れ」がこれらのクラスタに含まれる。ここでは、クラスタＣ１～Ｃ７が、本発明の、互いに近接して配置された表示画像の群に対応する。
Defective product images included in display elements F included in clusters C5, C6, and C7 of display elements F surrounded by solid lines are defective images that are more suitable for quality determination by the learning-based inspection method than by the rule-based inspection method. These clusters include non-wetting images, which are good images, for example. Here, clusters C1-C7 correspond to groups of display images arranged close to each other according to the present invention.
このような適用関係情報Ｍは、不良品画像記憶部１２に記憶された不良品画像に対して、適用関係情報生成部１４が主成分分析（ＰＣＡ）を実行することにより、各不良品画像に対応する表示要素Ｆを２次元平面上に配置することができる。さらに、主成分分析によって２次元平面上に配置された表示要素Ｆのクラスタごとのラベリングは、適用関係情報生成部１４がクラスタ分析を実行することによって実現することができる。クラスタ分析によるラベリングにおいては、最適化制御部１３から、各不良と検査方法との適用関係に関する情報を取得して利用することができる。このような各不良と検査方法との適用関係に関する情報は、適用関係情報生成部１４が所定の記憶領域に記憶しておいてもよい。また、表示要素Ｆのクラスタごとのラベリングは、入力装置によって構成される入力部１７を用いて、人が行ってもよい。不良品画像取得部１１によって取得され、不良品画像記憶部１２に記憶された不良品画像の情報に、当該不良品画像の判定に適用された検査方法に関する情報が関連付けられている場合にはこれを利用して、適用関係情報生成部１４は適用関係情報Ｍを生成してもよい。適用関係情報Ｍの生成方法は、上述のものに限られるものではない。また、適用関係情報生成部１４が、適用関係情報Ｍの生成に用いる不良品画像は、不良品画像記憶部１２に記憶された不良品画像のすべてでもよいし、適宜サンプリングされたものでもよい。不良品画像記憶部１２から取得する不良品画像には、ＡＯＩ検査機によって撮像された不良品画像、Ｘ線ＣＴ検査機によって取得された不良品画像が含まれる。
Such application relationship information M is obtained by applying principal component analysis (PCA) to the defective product images stored in the defective product image storage unit 12 by the application relationship information generating unit 14, and Corresponding display elements F can be arranged on a two-dimensional plane. Furthermore, the labeling for each cluster of the display elements F arranged on the two-dimensional plane by the principal component analysis can be realized by the application relationship information generation unit 14 executing the cluster analysis. In labeling by cluster analysis, it is possible to acquire information about the application relationship between each defect and an inspection method from the optimization control unit 13 and use it. The application relationship information generator 14 may store such information on the application relationship between each defect and the inspection method in a predetermined storage area. Also, the labeling of each cluster of the display elements F may be performed by a person using the input unit 17 configured by an input device. If the information on the defective product image acquired by the defective product image acquisition unit 11 and stored in the defective product image storage unit 12 is associated with the information on the inspection method applied to determine the defective product image, this The application relationship information generation unit 14 may generate the application relationship information M using . The method of generating the application relationship information M is not limited to the one described above. Also, the defective product images used by the application relationship information generation unit 14 to generate the application relationship information M may be all of the defective product images stored in the defective product image storage unit 12, or may be appropriately sampled. The defective product image acquired from the defective product image storage unit 12 includes the defective product image captured by the AOI inspection machine and the defective product image acquired by the X-ray CT inspection machine.
このように、不良品画像に対応する表示要素Ｆが２次元平面にマッピングされることにより、同種の不良と判定された不良品画像に対応する表示要素Ｆがクラスタ化して表示される。また、異なる種類の不良と判定された不良品画像に対応する表示要素Ｆのクラスタは異なる位置に表示される。そして、ルールベース検査方法が適用される不良品画像に対応する表示要素Ｆは２次元平面の中心から離れた遠い位置に配置され、学習ベース検査方法が適用される不良品画像に対応する表示要素Ｆは２次元平面の中心の近傍すなわち中心に近い位置に配置される。
In this way, by mapping the display elements F corresponding to the defective product images on the two-dimensional plane, the display elements F corresponding to the defective product images determined to be of the same kind are clustered and displayed. Also, clusters of display elements F corresponding to defective product images determined to be different types of defects are displayed at different positions. A display element F corresponding to the defective product image to which the rule-based inspection method is applied is arranged at a position far away from the center of the two-dimensional plane, and a display element corresponding to the defective product image to which the learning-based inspection method is applied. F is placed near the center of the two-dimensional plane, that is, at a position close to the center.
適用関係情報Ｍでは、不良品画像の特徴の遠近が２次元平面上の位置として表現され、不良の種類に応じたクラスタとして表現される。さらに、図５に実線等の円に囲うことによって不良品画像に対応する表示要素Ｆと検査方法との適用関係が特定され、ラベリングされている。ここでは、学習ベース検査方法が適用されるか、ルールベース検査方法が適用されるかは、表示要素Ｆのクラスタを囲む円を描く線の種類によって特定し、ルールベース検査方法については適用される不良の種類によっても、表示要素Ｆのクラスタを囲む円を描く線の種類を区別している。また、学習ベース検査方法が適用される不良品画像に対応するクラスタには、「ＡＩ」との文字も表示することによっても検査方法を特定している。ルールベース検査方法が適用される不良品画像に対応するクラスタには不良の種類を示す文字を表示している。したがって、適用関係情報Ｍによれば、検査装置Ｙ１～Ｙ４において、どのような種類の不良に関する画像検査に対して、いずれの検査方法を適用しているか、そして、それらの検査方法がどのように組み合わされているのかという情報を視覚的に認識可能な態様で提供することができる。このような適用関係情報Ｍを用いることにより、検査装置Ｙ１～Ｙ４のユーザは、複数の検査方法の組み合わせの現状について、明確かつ説得的に認識することができ、必要に応じて、検査方法の適用関係の変更を試みることができる。
In the application relationship information M, the perspective of the feature of the defective product image is represented as a position on a two-dimensional plane, and is represented as a cluster according to the type of defect. Furthermore, the applicable relationship between the display element F corresponding to the image of the defective product and the inspection method is specified and labeled by surrounding it with a circle such as a solid line in FIG. Here, whether the learning-based inspection method or the rule-based inspection method is applied is specified by the type of line that draws a circle surrounding the cluster of display elements F, and the rule-based inspection method is applied. The types of lines that draw circles surrounding clusters of display elements F are also distinguished according to the types of defects. The inspection method is also specified by displaying the characters "AI" in the cluster corresponding to the defective product image to which the learning-based inspection method is applied. A cluster corresponding to a defective product image to which the rule-based inspection method is applied displays characters indicating the type of defect. Therefore, according to the application relationship information M, which inspection method is applied to the image inspection for what type of defects in the inspection apparatuses Y1 to Y4, and how these inspection methods are used. Information about whether they are combined can be provided in a visually perceptible manner. By using such application relation information M, the user of the inspection apparatuses Y1 to Y4 can clearly and persuasively recognize the current state of the combination of a plurality of inspection methods, and can select the inspection method as necessary. You can try to change the application relationship.
ここでは、２次元平面が、本発明の表示領域に対応し、不良品画像の特徴量の遠近に基づく主成分分析によるマッピングが、本発明の、不良品画像の特徴に基づく表示領域内の配置に対応する。また、クラスタＣ１等を囲む円が、本発明の適用方法情報に対応する。
Here, the two-dimensional plane corresponds to the display area of the present invention, and the mapping by the principal component analysis based on the perspective of the feature amount of the defective image is the arrangement in the display area based on the feature of the defective image of the present invention. corresponds to Also, the circle surrounding the cluster C1 etc. corresponds to the application method information of the present invention.
表示部１５は、適用関係情報生成部１４によって生成された適用関係情報を表示する機能を有し、ディスプレイ等の表示装置によって構成される。
The display unit 15 has a function of displaying the application relationship information generated by the application relationship information generation unit 14, and is configured by a display device such as a display.
出力部１６は、管理装置１とネットワークによって接続された端末１０からの要求に基づき、適用関係情報生成部１４によって生成された適用関係情報を送信する機能を有する。また、出力部１６は、検査装置Ｙ１～Ｙ４に、適用関係情報生成部１４によって生成された適用関係情報を送信し、これらの装置のディスプレイに表示させるようにしてもよい。また、出力部１６は、適用関係情報生成部１４によって生成された適用関係情報を印刷して出力する機能を有してもよい。
The output unit 16 has a function of transmitting the application relationship information generated by the application relationship information generation unit 14 based on a request from the terminal 10 connected to the management device 1 via the network. Further, the output unit 16 may transmit the application relationship information generated by the application relationship information generation unit 14 to the inspection devices Y1 to Y4, and display the information on the displays of these devices. The output unit 16 may also have a function of printing and outputting the application relationship information generated by the application relationship information generation unit 14 .
ここでは、管理装置１が、本発明の情報生成装置に対応する。管理装置１とネットワークによって接続された端末１０に、不良品画像の情報及び適用される検査方法に関する適用方法情報を送信し、端末１０において適用関係情報を生成することにより、端末１０によって本発明の情報生成装置を構成してもよい。同様に、検査装置Ｙ１～Ｙ４のいずれかに、不良品画像の情報及び適用される検査方法に関する適用方法情報を送信し、検査装置Ｙ１～Ｙ４のいずれかにおいて適用関係情報を生成することにより、検査装置Ｙ１～Ｙ４のいずれかによって本発明の情報生成装置を構成してもよい。
Here, the management device 1 corresponds to the information generation device of the present invention. By transmitting the information of the defective product image and the application method information regarding the inspection method to be applied to the terminal 10 connected to the management device 1 via the network, and generating the application relation information in the terminal 10, the terminal 10 An information generation device may be configured. Similarly, by transmitting the information of the defective product image and the application method information regarding the inspection method to be applied to any of the inspection apparatuses Y1 to Y4, and generating the application relationship information in any of the inspection apparatuses Y1 to Y4, Any one of the inspection devices Y1 to Y4 may constitute the information generation device of the present invention.
学習ベース検査方法によって、検査対象物の良否を判定しているが、良否の２値の判定に限らず、不良の種類も含めた多値の状態判定を行ってもよい。
The learning-based inspection method determines the quality of the inspection object, but it is not limited to the binary determination of quality, and multi-valued state determination including the type of defect may be performed.
＜付記１＞
検査対象物を撮像した画像に基づいて該検査対象物の良否を判定する画像検査を、所定のルールに従って良否を判定するルールベース検査方法と、学習させた判定器を用いて良否を判定する学習ベース検査方法と、を含む複数種類の検査方法を組み合わせて行う場合に、不良と判定された該検査対象物の画像である不良品画像と、該不良品画像に適用された検査方法との関係を、視覚的に認識可能な態様で提供する適用関係情報（Ｍ）を生成する情報生成装置（１）であって、
前記適用関係情報（Ｍ）は、
表示領域内に、前記不良品画像の特徴に基づいて配置された、前記不良品画像に関連付けられた表示画像（Ｆ）と、
該表示画像（Ｆ）に関連付けられた前記不良品画像に適用される検査方法を特定する適用方法情報（Ｃ１～Ｃ７）と、
を含むことを特徴とする情報生成装置（１）。 <Appendix 1>
A rule-based inspection method for judging pass/fail of an object to be inspected based on a captured image of the object to be inspected according to a predetermined rule, and learning to judge pass/fail using a learned judge. A relationship between a defective product image, which is an image of an object to be inspected determined to be defective, and an inspection method applied to the defective product image when multiple types of inspection methods including the base inspection method are combined. is an information generating device (1) that generates application relationship information (M) that provides in a visually recognizable manner,
The application relationship information (M) is
a display image (F) associated with the defective image, arranged in a display area based on characteristics of the defective image;
application method information (C1 to C7) specifying an inspection method applied to the defective product image associated with the display image (F);
An information generating device (1), characterized in that it comprises:
検査対象物を撮像した画像に基づいて該検査対象物の良否を判定する画像検査を、所定のルールに従って良否を判定するルールベース検査方法と、学習させた判定器を用いて良否を判定する学習ベース検査方法と、を含む複数種類の検査方法を組み合わせて行う場合に、不良と判定された該検査対象物の画像である不良品画像と、該不良品画像に適用された検査方法との関係を、視覚的に認識可能な態様で提供する適用関係情報（Ｍ）を生成する情報生成装置（１）であって、
前記適用関係情報（Ｍ）は、
表示領域内に、前記不良品画像の特徴に基づいて配置された、前記不良品画像に関連付けられた表示画像（Ｆ）と、
該表示画像（Ｆ）に関連付けられた前記不良品画像に適用される検査方法を特定する適用方法情報（Ｃ１～Ｃ７）と、
を含むことを特徴とする情報生成装置（１）。 <
A rule-based inspection method for judging pass/fail of an object to be inspected based on a captured image of the object to be inspected according to a predetermined rule, and learning to judge pass/fail using a learned judge. A relationship between a defective product image, which is an image of an object to be inspected determined to be defective, and an inspection method applied to the defective product image when multiple types of inspection methods including the base inspection method are combined. is an information generating device (1) that generates application relationship information (M) that provides in a visually recognizable manner,
The application relationship information (M) is
a display image (F) associated with the defective image, arranged in a display area based on characteristics of the defective image;
application method information (C1 to C7) specifying an inspection method applied to the defective product image associated with the display image (F);
An information generating device (1), characterized in that it comprises:
１ ：管理装置
１４ ：適用関係情報生成部
Ｆ ：表示要素
Ｍ ：適用関係情報 1: Management device 14: Application relationship information generator F: Display element M: Application relationship information
１４ ：適用関係情報生成部
Ｆ ：表示要素
Ｍ ：適用関係情報 1: Management device 14: Application relationship information generator F: Display element M: Application relationship information
Claims (3)
- 検査対象物を撮像した画像に基づいて該検査対象物の良否を判定する画像検査を、所定のルールに従って良否を判定するルールベース検査方法と、学習させた判定器を用いて良否を判定する学習ベース検査方法と、を含む複数種類の検査方法を組み合わせて行う場合に、不良と判定された該検査対象物の画像である不良品画像と、該不良品画像に適用された検査方法との関係を、視覚的に認識可能な態様で提供する適用関係情報を生成する情報生成装置であって、
前記適用関係情報は、
表示領域内に、前記不良品画像の特徴に基づいて配置された、前記不良品画像に関連付けられた表示画像と、
該表示画像に関連付けられた前記不良品画像に適用される検査方法を特定する適用方法情報と、
を含むことを特徴とする情報生成装置。 A rule-based inspection method for judging pass/fail of an object to be inspected based on a captured image of the object to be inspected according to a predetermined rule, and learning to judge pass/fail using a learned judge. A relationship between a defective product image, which is an image of an object to be inspected determined to be defective, and an inspection method applied to the defective product image when multiple types of inspection methods including the base inspection method are combined. is an information generation device that generates application relationship information that provides in a visually recognizable manner,
The application relationship information is
a display image associated with the defective image positioned within a display area based on characteristics of the defective image;
application method information specifying an inspection method applied to the defective product image associated with the display image;
An information generation device comprising: - 前記適用方法情報は、互いに近接して配置された前記表示画像の群に関連付けて表示されることを特徴とする請求項１に記載の情報生成装置。 The information generation apparatus according to claim 1, wherein the application method information is displayed in association with the group of the display images arranged close to each other.
- 前記表示領域の中心の近傍に前記学習ベース検査方法が適用された前記不良品画像が配置され、
前記表示領域の中心から離れた位置に前記ルールベース検査方法が適用された前記不良品画像が配置されていることを特徴とする請求項１又は２に記載の情報生成装置。 the defective product image to which the learning-based inspection method is applied is arranged near the center of the display area;
3. The information generating apparatus according to claim 1, wherein the defective product image to which the rule-based inspection method is applied is arranged at a position away from the center of the display area.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021038115A JP2022138308A (en) | 2021-03-10 | 2021-03-10 | Information generation device |
| JP2021-038115 | 2021-03-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022190543A1 true WO2022190543A1 (en) | 2022-09-15 |
Family
ID=83226222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/047125 WO2022190543A1 (en) | 2021-03-10 | 2021-12-20 | Information generation device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2022138308A (en) |
| WO (1) | WO2022190543A1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004047939A (en) * | 2002-05-23 | 2004-02-12 | Hitachi High-Technologies Corp | Method of producing defect sorter and method of automatically sorting defect |
| JP2006098153A (en) * | 2004-09-29 | 2006-04-13 | Hitachi High-Technologies Corp | Method and apparatus for automatically sorting defect |
| JP2020085774A (en) * | 2018-11-29 | 2020-06-04 | 日本電気硝子株式会社 | Method for inspecting tube glass, method for learning, and tube glass inspection device |
| JP2020135659A (en) * | 2019-02-22 | 2020-08-31 | 東京エレクトロンデバイス株式会社 | Parameter determination method, parameter determination device, and program |
| KR20200103150A (en) * | 2019-02-11 | 2020-09-02 | (주) 인텍플러스 | Visual inspection system |
| WO2020184542A1 (en) * | 2019-03-13 | 2020-09-17 | 株式会社ナベル | Egg classification device, egg classification method, and computer program |
| JP2020187070A (en) * | 2019-05-16 | 2020-11-19 | 株式会社キーエンス | Image inspection device and method for setting image inspection device |
-
2021
- 2021-03-10 JP JP2021038115A patent/JP2022138308A/en active Pending
- 2021-12-20 WO PCT/JP2021/047125 patent/WO2022190543A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004047939A (en) * | 2002-05-23 | 2004-02-12 | Hitachi High-Technologies Corp | Method of producing defect sorter and method of automatically sorting defect |
| JP2006098153A (en) * | 2004-09-29 | 2006-04-13 | Hitachi High-Technologies Corp | Method and apparatus for automatically sorting defect |
| JP2020085774A (en) * | 2018-11-29 | 2020-06-04 | 日本電気硝子株式会社 | Method for inspecting tube glass, method for learning, and tube glass inspection device |
| KR20200103150A (en) * | 2019-02-11 | 2020-09-02 | (주) 인텍플러스 | Visual inspection system |
| JP2020135659A (en) * | 2019-02-22 | 2020-08-31 | 東京エレクトロンデバイス株式会社 | Parameter determination method, parameter determination device, and program |
| WO2020184542A1 (en) * | 2019-03-13 | 2020-09-17 | 株式会社ナベル | Egg classification device, egg classification method, and computer program |
| JP2020187070A (en) * | 2019-05-16 | 2020-11-19 | 株式会社キーエンス | Image inspection device and method for setting image inspection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022138308A (en) | 2022-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5455870A (en) | Apparatus and method for inspection of high component density printed circuit board | |
| JP5290233B2 (en) | Three-dimensional measuring device and substrate inspection device | |
| US7961933B2 (en) | Method of setting reference data for inspection of fillets and inspection device using same | |
| JPS62219632A (en) | Apparatus and method for automatic inspection of soldering state of circuit board | |
| JP4493421B2 (en) | Printed circuit board inspection apparatus, printed circuit board assembly inspection line system, and program | |
| JP6988499B2 (en) | Inspection management system, inspection management device, inspection management method | |
| JP6277754B2 (en) | Quality control system and internal inspection device | |
| JP6451142B2 (en) | Quality control device and control method for quality control device | |
| WO2012096003A1 (en) | Solder-attachment inspection method, pcb-inspection system, and solder-attachment inspection device | |
| JP6988500B2 (en) | Inspection management system, inspection management device, inspection management method | |
| JP2015133406A (en) | Quality management device, quality management method, and program | |
| KR101916134B1 (en) | Inspection device of conformal coation on printed circuit board | |
| WO2022190543A1 (en) | Information generation device | |
| JP4228773B2 (en) | Board inspection equipment | |
| EP3104169B1 (en) | Quality management system | |
| JP4333349B2 (en) | Mounting appearance inspection method and mounting appearance inspection apparatus | |
| JP2007017311A (en) | Appearance inspection system | |
| WO2022157995A1 (en) | Inspection management system, inspection management device, inspection management method, and program | |
| Kumar et al. | Automated quality inspection of PCB assembly using image processing | |
| WO2022196003A1 (en) | Quality evaluation device and inspection management system | |
| WO2023189220A1 (en) | Inspection management system and inspection management device | |
| JP7266123B2 (en) | Welding quality inspection method and welding quality inspection device | |
| JP2023152091A (en) | Inspection management system, inspection management device, and inspection management program creation method | |
| JP2023152089A (en) | Inspection management system and inspection management device | |
| TWI822269B (en) | Image inspection method, image management method of defective parts, and image inspection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21930388 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21930388 Country of ref document: EP Kind code of ref document: A1 |