JP2021047104A - Learning device, inspection apparatus, learning method and inspection method - Google Patents

Learning device, inspection apparatus, learning method and inspection method Download PDF

Info

Publication number
JP2021047104A
JP2021047104A JP2019170273A JP2019170273A JP2021047104A JP 2021047104 A JP2021047104 A JP 2021047104A JP 2019170273 A JP2019170273 A JP 2019170273A JP 2019170273 A JP2019170273 A JP 2019170273A JP 2021047104 A JP2021047104 A JP 2021047104A
Authority
JP
Japan
Prior art keywords
image
learning
inspection
substrate
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019170273A
Other languages
Japanese (ja)
Other versions
JP7317647B2 (en
Inventor
塩見　順一
Junichi Shiomi
順一 塩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2019170273A priority Critical patent/JP7317647B2/en
Priority to KR1020200113813A priority patent/KR102529354B1/en
Priority to TW109130836A priority patent/TWI775140B/en
Priority to CN202010947201.8A priority patent/CN112614086A/en
Publication of JP2021047104A publication Critical patent/JP2021047104A/en
Application granted granted Critical
Publication of JP7317647B2 publication Critical patent/JP7317647B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

To realize the highly accurate substrate inspection while reducing a capacity of a learning dataset.SOLUTION: A learning device comprises: a second input unit 402 which inputs second data obtained by re-classifying a tentative defect image in first data with the presence/absence of a true defect; and a learning unit 403 which generates a learning dataset by performing weighting to the tentative defect image in the second data. The learning unit 403 generates a learned model by learning the relation between a substrate image and the presence/absence of a defect with machine learning using the learning dataset. In the generation of the learning dataset by the learning unit 403, when the tentative defect image is re-classified as it has the true defect, the weighting coefficient selected in accordance with the importance of the true defect among the plurality of weighting coefficients is multiplied into the tentative defect image and the image is classified to the image "with a defect." Consequently, the highly accurate substrate inspection is realized while reducing the capacity of the learning dataset.SELECTED DRAWING: Figure 5

Description

本発明は、表面上にパターンを有する基板を検査する技術に関する。 The present invention relates to a technique for inspecting a substrate having a pattern on the surface.

従来、プリント配線基板の検査では、検査装置によりプリント配線基板の各領域の画像が検査され、欠陥を有すると判断された画像（以下、「欠陥画像」と呼ぶ。）が抽出される。そして、抽出された欠陥画像に対して作業者による欠陥確認作業（いわゆる、ベリファイ作業）が行われる。検査装置により抽出される欠陥には、品質上問題となる可能性が高い真欠陥と、品質上問題となる可能性が実質的にない虚報とが含まれており、上述の欠陥確認作業では、検査装置により抽出された欠陥画像から、作業者が目視によって真欠陥を抽出している。 Conventionally, in the inspection of a printed wiring board, an image of each region of the printed wiring board is inspected by an inspection device, and an image determined to have a defect (hereinafter, referred to as a “defect image”) is extracted. Then, a defect confirmation work (so-called verification work) is performed by the operator on the extracted defect image. The defects extracted by the inspection device include true defects that are likely to cause quality problems and false reports that are virtually unlikely to cause quality problems. The operator visually extracts the true defect from the defect image extracted by the inspection device.

一方、特許文献１では、金属ベローズのような部品の外観検査装置において、事前に準備された多数の良否画像データを用いたディープラーニングにより学習バイナリファイルを作成し、当該学習バイナリファイルにより被検査画像に対する画像処理を行って良否判定を行うことが提案されている。 On the other hand, in Patent Document 1, in a visual inspection device for a part such as a metal bellows, a learning binary file is created by deep learning using a large number of quality image data prepared in advance, and the image to be inspected is created by the learning binary file. It has been proposed to perform image processing on the above to make a pass / fail judgment.

特許第６５１２５８５号公報Japanese Patent No. 6512585

ところで、プリント配線基板の検査装置において、欠陥画像の抽出に特許文献１のようなディープラーニング技術を適用する場合、欠陥画像に含まれる虚報の割合を低減して検査精度を向上しようとすると、学習処理に必要な画像数が膨大となり（すなわち、学習用データセットの容量が膨大となり）、学習に多大な時間を要するおそれがある。 By the way, in an inspection device for a printed wiring board, when a deep learning technique such as Patent Document 1 is applied to extract a defect image, learning is made when trying to improve the inspection accuracy by reducing the ratio of false information contained in the defect image. The number of images required for processing becomes enormous (that is, the capacity of the training data set becomes enormous), and there is a possibility that a great deal of time is required for learning.

本発明は、上記課題に鑑みなされたものであり、学習用データセットの容量を低減しつつ、高精度な基板検査を実現することを目的としている。 The present invention has been made in view of the above problems, and an object of the present invention is to realize highly accurate substrate inspection while reducing the capacity of a learning data set.

請求項１に記載の発明は、表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習装置であって、基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する第１入力部と、前記第１データ中の前記仮欠陥画像を真欠陥の有無により再分類した第２データを入力する第２入力部と、前記第２データにおいて前記仮欠陥画像に対する重み付けを行って学習用データセットを生成し、前記学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する学習部とを備え、前記学習部による前記学習用データセットの生成では、前記仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち前記真欠陥の重要度に応じて選択された重み係数を前記仮欠陥画像に乗算した上で欠陥有りに分類し、前記仮欠陥画像が真欠陥を有しないと再分類された場合、前記仮欠陥画像を欠陥無しに分類する。 The invention according to claim 1 is a learning device for creating a trained model used when inspecting a substrate having a pattern on a surface, and the substrate image does not have a defect and a temporary defect image having a defect. A first input unit for inputting the first data classified as a temporary non-defective product image, and a second input unit for inputting second data in which the temporary defect image in the first data is reclassified according to the presence or absence of a true defect. , The temporary defect image is weighted in the second data to generate a learning data set, and the relationship between the substrate image and the presence or absence of defects is learned by machine learning using the learning data set. A learning unit for creating a model is provided, and in the generation of the training data set by the learning unit, when the temporary defect image is reclassified as having a true defect, the important of the true defect among a plurality of weighting coefficients is important. When the weighting coefficient selected according to the degree is multiplied by the temporary defect image and classified as having a defect, and the temporary defect image is reclassified as having no true defect, the temporary defect image is classified as having no defect. Classify.

請求項２に記載の発明は、請求項１に記載の学習装置であって、前記複数の重み係数は、前記基板上において真欠陥が位置する領域の重要度が高くなるに従って大きくなる。 The invention according to claim 2 is the learning apparatus according to claim 1, wherein the plurality of weighting coefficients increase as the importance of the region where the true defect is located on the substrate increases.

請求項３に記載の発明は、請求項１または２に記載の学習装置であって、前記複数の重み係数は、複数種類の検査のうち真欠陥が検出された検査の種類の重要度が高くなるに従って大きくなる。 The invention according to claim 3 is the learning device according to claim 1 or 2, and the plurality of weighting coefficients have a high importance of the type of inspection in which a true defect is detected among the plurality of types of inspections. It gets bigger as it gets bigger.

請求項４に記載の発明は、表面上にパターンを有する基板を検査する検査装置であって、基板を撮像して得られた被検査画像を、請求項１ないし３のいずれか１つに記載の学習装置により作成された学習済みモデルを利用して検査する検査部を備える。 The invention according to claim 4 is an inspection apparatus for inspecting a substrate having a pattern on the surface, and the image to be inspected obtained by imaging the substrate is according to any one of claims 1 to 3. It is equipped with an inspection unit that inspects using the trained model created by the learning device of.

請求項５に記載の発明は、表面上にパターンを有する基板を検査する検査装置であって、請求項１ないし３のいずれか１つに記載の学習装置と、基板を撮像して得られた被検査画像を、前記学習装置により作成された学習済みモデルを利用して検査する検査部とを備える。 The invention according to claim 5 is an inspection apparatus for inspecting a substrate having a pattern on the surface, and is obtained by imaging the learning apparatus according to any one of claims 1 to 3 and the substrate. It is provided with an inspection unit that inspects the image to be inspected by using the trained model created by the learning device.

請求項６に記載の発明は、請求項５に記載の検査装置であって、前記学習装置の前記第２入力部は、前記検査部により得られた欠陥画像を前記仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力し、前記学習部は、前記新たな第２データにおいて前記仮欠陥画像に対する重み付けを行って新たな学習用データセットを生成し、前記新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を前記学習済みモデルに再学習させる。 The invention according to claim 6 is the inspection device according to claim 5, wherein the second input unit of the learning device uses the defect image obtained by the inspection unit as the temporary defect image and is a true defect. The new second data reclassified according to the presence or absence is input, and the learning unit generates a new learning data set by weighting the temporary defect image in the new second data, and the new learning unit is used. By machine learning using the data set, the trained model is made to relearn the relationship between the substrate image and the presence or absence of defects.

請求項７に記載の発明は、請求項４ないし６のいずれか１つに記載の検査装置であって、基板を撮像して前記被検査画像を取得する撮像部をさらに備える。 The invention according to claim 7 is the inspection apparatus according to any one of claims 4 to 6, further comprising an imaging unit that images a substrate and acquires the image to be inspected.

請求項８に記載の発明は、表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習方法であって、ａ）基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する工程と、ｂ）前記第１データ中の前記仮欠陥画像を真欠陥の有無により再分類した第２データを入力する工程と、ｃ）前記第２データにおいて前記仮欠陥画像に対する重み付けを行って学習用データセットを生成し、前記学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する工程とを備え、前記ｃ）工程における前記学習用データセットの生成では、前記仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち前記真欠陥の重要度に応じて選択された重み係数を前記仮欠陥画像に乗算した上で欠陥有りに分類し、前記仮欠陥画像が真欠陥を有しないと再分類された場合、前記仮欠陥画像を欠陥無しに分類する。 The invention according to claim 8 is a learning method for creating a trained model used when inspecting a substrate having a pattern on a surface, and a) a temporary defect image in which the substrate image has a defect and a defect. A step of inputting the first data classified into a non-defective product image that does not have, b) a step of inputting a second data in which the temporary defect image in the first data is reclassified according to the presence or absence of a true defect, and c. ) In the second data, the temporary defect image is weighted to generate a learning data set, and the relationship between the substrate image and the presence or absence of defects is learned by machine learning using the learning data set. In the process of creating the model and the generation of the training data set in the step c), when the temporary defect image is reclassified as having a true defect, the important of the true defect among the plurality of weighting coefficients is important. When the weighting coefficient selected according to the degree is multiplied by the temporary defect image and classified as having a defect, and the temporary defect image is reclassified as having no true defect, the temporary defect image is classified as having no defect. Classify.

請求項９に記載の発明は、請求項８に記載の学習方法であって、前記複数の重み係数は、前記基板上において真欠陥が位置する領域の重要度が高くなるに従って大きくなる。 The invention according to claim 9 is the learning method according to claim 8, and the plurality of weighting coefficients increase as the importance of the region where the true defect is located on the substrate increases.

請求項１０に記載の発明は、請求項８または９に記載の学習方法であって、前記複数の重み係数は、複数種類の検査のうち真欠陥が検出された検査の種類の重要度が高くなるに従って大きくなる。 The invention according to claim 10 is the learning method according to claim 8 or 9, and the plurality of weighting factors have a high importance of the type of inspection in which a true defect is detected among the plurality of types of inspections. It gets bigger as it gets bigger.

請求項１１に記載の発明は、表面上にパターンを有する基板を検査する検査方法であって、基板を撮像して得られた被検査画像を、請求項８ないし１０のいずれか１つに記載の学習方法により作成された学習済みモデルを利用して検査する工程を備える。 The invention according to claim 11 is an inspection method for inspecting a substrate having a pattern on the surface, and the image to be inspected obtained by imaging the substrate is according to any one of claims 8 to 10. It is provided with a process of inspecting using the trained model created by the learning method of.

請求項１２に記載の発明は、表面上にパターンを有する基板を検査する検査方法であって、ｄ）請求項８ないし１０のいずれか１つに記載の学習方法により学習済みモデルを作成する工程と、ｅ）基板を撮像して得られた被検査画像を、前記ｄ）工程において作成された前記学習済みモデルを利用して検査する工程とを備える。 The invention according to claim 12 is an inspection method for inspecting a substrate having a pattern on the surface, and d) a step of creating a trained model by the learning method according to any one of claims 8 to 10. And e) the step of inspecting the image to be inspected obtained by imaging the substrate by using the trained model created in the step d).

請求項１３に記載の発明は、請求項１２に記載の検査方法であって、ｆ）前記ｅ）工程において得られた欠陥画像を前記仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力する工程と、ｇ）前記新たな第２データにおいて前記仮欠陥画像に対する重み付けを行って新たな学習用データセットを生成し、前記新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を前記学習済みモデルに再学習させる工程とをさらに備える。 The invention according to claim 13 is the inspection method according to claim 12, and is a novel second method in which the defect image obtained in the f) step e) is reclassified as the temporary defect image according to the presence or absence of a true defect. 2 Data input step and g) The temporary defect image is weighted in the new second data to generate a new learning data set, and machine learning using the new learning data set is performed. A step of re-learning the relationship between the substrate image and the presence or absence of defects in the trained model is further provided.

請求項１４に記載の発明は、請求項１１ないし１３のいずれか１つに記載の検査方法であって、基板を撮像して前記被検査画像を取得する工程をさらに備える。 The invention according to claim 14 is the inspection method according to any one of claims 11 to 13, further comprising a step of imaging a substrate to acquire the image to be inspected.

本発明では、学習用データセットの容量を低減しつつ、高精度な基板検査を実現することができる。 In the present invention, it is possible to realize highly accurate substrate inspection while reducing the capacity of the learning data set.

検査装置の構成を示す図である。It is a figure which shows the structure of the inspection apparatus. 第１コンピュータの構成を示す図である。It is a figure which shows the structure of the 1st computer. 第１コンピュータにより実現される機能構成を示す図である。It is a figure which shows the functional structure realized by the 1st computer. 第２コンピュータの構成を示す図である。It is a figure which shows the structure of the 2nd computer. 第２コンピュータにより実現される機能構成を示す図である。It is a figure which shows the functional structure realized by the 2nd computer. 学習済みモデルの作成の流れを示す図である。It is a figure which shows the flow of making a trained model. 学習済みモデルの作成の様子を示す図である。It is a figure which shows the state of making a trained model. 基板上の複数種類の領域を示す図である。It is a figure which shows a plurality of kinds of regions on a substrate. 基板上の複数種類の領域を示す図である。It is a figure which shows a plurality of kinds of regions on a substrate. 基板の検査の流れを示す図である。It is a figure which shows the flow of the inspection of a substrate. 学習済みモデルの再学習の流れを示す図である。It is a figure which shows the flow of relearning of a trained model.

図１は、本発明の一の実施の形態に係る検査装置１の構成を示す図である。検査装置１は、例えば、電子部品が実装される前のプリント配線基板９（以下、単に「基板９」とも呼ぶ。）の外観を検査する装置である。基板９の表面上には、パターン（例えば、銅による配線パターンや電極パターン）が形成されている。基板９上には、例えば、銅のメッキが露出している領域、銅の配線が保護膜であるソルダレジストにより被覆されている領域、および、基材表面上に直接的にソルダレジストが配置されている領域が存在する。 FIG. 1 is a diagram showing a configuration of an inspection device 1 according to an embodiment of the present invention. The inspection device 1 is, for example, a device that inspects the appearance of a printed wiring board 9 (hereinafter, also simply referred to as “board 9”) before electronic components are mounted. A pattern (for example, a wiring pattern made of copper or an electrode pattern) is formed on the surface of the substrate 9. On the substrate 9, for example, a region where the copper plating is exposed, a region where the copper wiring is covered with a solder resist which is a protective film, and a solder resist are arranged directly on the surface of the base material. There is an area that is

検査装置１は、基板９を撮像する装置本体２と、第１コンピュータ３と、第２コンピュータ４とを備える。第１コンピュータ３および第２コンピュータ４はそれぞれ、演算部を含む処理装置である。第１コンピュータ３は、検査装置１の全体動作の制御も行う。第２コンピュータ４は、後述する学習済みモデルの作成を行う学習装置である。装置本体２は、撮像部２１と、基板９を保持するステージ２２と、ステージ移動機構２３とを有する。撮像部２１は、基板９を撮像して画像を取得する。当該画像は、例えば、多階調のカラー画像である。ステージ移動機構２３は、撮像部２１に対してステージ２２を相対的に移動する。 The inspection device 1 includes a device main body 2 that captures an image of the substrate 9, a first computer 3, and a second computer 4. The first computer 3 and the second computer 4 are processing devices including a calculation unit, respectively. The first computer 3 also controls the overall operation of the inspection device 1. The second computer 4 is a learning device that creates a trained model described later. The apparatus main body 2 has an imaging unit 21, a stage 22 for holding the substrate 9, and a stage moving mechanism 23. The image pickup unit 21 takes an image of the substrate 9 and acquires an image. The image is, for example, a multi-gradation color image. The stage moving mechanism 23 moves the stage 22 relative to the imaging unit 21.

撮像部２１は、照明光を出射する照明部２１１と、光学系２１２と、撮像デバイス２１３とを有する。光学系２１２は、基板９に照明光を導くとともに基板９からの光を撮像デバイス２１３に導く。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。照明部２１１は、ＬＥＤや電球等のランプと、ランプからの光を整えるレンズや反射部材等の光学要素とを含む。光学系２１２は、複数のレンズやハーフミラー等の光学要素を含む。撮像デバイス２１３は、例えば、２次元のイメージングセンサである。撮像デバイス２１３は１次元のイメージングセンサであってもよく、この場合、ステージ２２を移動しながら撮像が行われる。 The image pickup unit 21 includes an illumination unit 211 that emits illumination light, an optical system 212, and an image pickup device 213. The optical system 212 guides the illumination light to the substrate 9 and guides the light from the substrate 9 to the image pickup device 213. The image pickup device 213 converts the image of the substrate 9 imaged by the optical system 212 into an electric signal. The lighting unit 211 includes a lamp such as an LED or a light bulb, and an optical element such as a lens or a reflecting member that regulates the light from the lamp. The optical system 212 includes optical elements such as a plurality of lenses and half mirrors. The image pickup device 213 is, for example, a two-dimensional imaging sensor. The imaging device 213 may be a one-dimensional imaging sensor, in which case imaging is performed while moving the stage 22.

ステージ移動機構２３はボールねじ、ガイドレール、モータ等により構成される。もちろん、ステージ移動機構２３として様々な機構が採用可能であり、例えば、リニアモータが利用可能である。第１コンピュータ３がステージ移動機構２３および撮像部２１を制御することにより、ステージ２２が水平方向に移動して基板９上の所望の領域が撮像される。ステージ２２は基板９を保持する保持部である。基板９の保持は様々な方法で行われてよい。例えば、ステージ２２に溝が形成され、溝内に形成された吸引口から吸引が行われることにより、基板９がステージ２２上に吸着される。ステージ２２に多数の吸引口が形成されて基板９が吸着されてもよい。ステージ２２を多孔質材料にて形成し、多孔質材料から吸引が行われてもよい。ステージ２２は機械的な機構により基板９を保持してもよい。 The stage moving mechanism 23 is composed of a ball screw, a guide rail, a motor, and the like. Of course, various mechanisms can be adopted as the stage moving mechanism 23, and for example, a linear motor can be used. When the first computer 3 controls the stage moving mechanism 23 and the imaging unit 21, the stage 22 moves in the horizontal direction and a desired region on the substrate 9 is imaged. The stage 22 is a holding portion for holding the substrate 9. The substrate 9 may be held in various ways. For example, a groove is formed in the stage 22, and suction is performed from the suction port formed in the groove, so that the substrate 9 is attracted to the stage 22. A large number of suction ports may be formed on the stage 22 to suck the substrate 9. The stage 22 may be formed of a porous material, and suction may be performed from the porous material. The stage 22 may hold the substrate 9 by a mechanical mechanism.

図２は第１コンピュータ３の構成を示す図である。第１コンピュータ３は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、固定ディスク３４と、ディスプレイ３５と、入力部３６と、読取装置３７と、通信部３８と、ＧＰＵ３９と、バス３０とを含む一般的なコンピュータシステムの構成を有する。ＣＰＵ３１は、各種演算処理を行う。ＧＰＵ３９は、画像処理に関する各種演算処理を行う。ＲＯＭ３２は、基本プログラムを記憶する。ＲＡＭ３３は、各種情報を記憶する。固定ディスク３４は、情報記憶を行う。ディスプレイ３５は、画像等の各種情報の表示を行う。入力部３６は、操作者からの入力を受け付けるキーボード３６ａおよびマウス３６ｂを備える。読取装置３７は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体８１から情報の読み取りを行う。ディスプレイ３５、キーボード３６ａ、マウス３６ｂおよび読取装置３７は、インターフェイスＩ／Ｆを介してバス３０に接続される。通信部３８は、検査装置１の他の構成、および、外部の装置との間で信号を送受信する。バス３０は、ＣＰＵ３１、ＧＰＵ３９、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４、ディスプレイ３５、入力部３６、読取装置３７および通信部３８を接続する信号回路である。 FIG. 2 is a diagram showing the configuration of the first computer 3. The first computer 3 is a general computer 3 including a CPU 31, a ROM 32, a RAM 33, a fixed disk 34, a display 35, an input unit 36, a reading device 37, a communication unit 38, a GPU 39, and a bus 30. It has a computer system configuration. The CPU 31 performs various arithmetic processes. The GPU 39 performs various arithmetic processes related to image processing. The ROM 32 stores the basic program. The RAM 33 stores various information. The fixed disk 34 stores information. The display 35 displays various information such as images. The input unit 36 includes a keyboard 36a and a mouse 36b that receive input from the operator. The reading device 37 reads information from a computer-readable recording medium 81 such as an optical disk, a magnetic disk, a magneto-optical disk, or a memory card. The display 35, the keyboard 36a, the mouse 36b, and the reader 37 are connected to the bus 30 via the interface I / F. The communication unit 38 transmits / receives signals to / from other configurations of the inspection device 1 and an external device. The bus 30 is a signal circuit that connects the CPU 31, GPU 39, ROM 32, RAM 33, fixed disk 34, display 35, input unit 36, reader 37, and communication unit 38.

第１コンピュータ３では、事前に読取装置３７を介して記録媒体８１からプログラム８１１が読み出されて固定ディスク３４に記憶されている。プログラム８１１はネットワークを介して固定ディスク３４に記憶されてもよい。ＣＰＵ３１およびＧＰＵ３９は、プログラム８１１に従ってＲＡＭ３３や固定ディスク３４を利用しつつ演算処理を実行する。ＣＰＵ３１およびＧＰＵ３９は、第１コンピュータ３において演算部として機能する。ＣＰＵ３１およびＧＰＵ３９以外に演算部として機能する他の構成が採用されてもよい。 In the first computer 3, the program 811 is read in advance from the recording medium 81 via the reading device 37 and stored in the fixed disk 34. Program 811 may be stored on a fixed disk 34 via a network. The CPU 31 and the GPU 39 execute arithmetic processing while using the RAM 33 and the fixed disk 34 according to the program 811. The CPU 31 and the GPU 39 function as arithmetic units in the first computer 3. In addition to the CPU 31 and the GPU 39, other configurations that function as arithmetic units may be adopted.

図３は、第１コンピュータ３がプログラム８１１に従って演算処理等を実行することにより実現される機能構成を示す図である。これらの機能構成には、記憶部３０１と、検査部３０２と、制御部３０３とが含まれる。これらの機能の全部または一部は専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。図３に示す機能構成のうち、検査部３０２および制御部３０３は、ＣＰＵ３１、ＧＰＵ３９、ＲＯＭ３２、ＲＡＭ３３、固定ディスク３４およびこれらの周辺構成により実現される。また、記憶部３０１は、主としてＲＡＭ３３および固定ディスク３４により実現される。 FIG. 3 is a diagram showing a functional configuration realized by the first computer 3 executing arithmetic processing or the like according to the program 811. These functional configurations include a storage unit 301, an inspection unit 302, and a control unit 303. All or part of these functions may be realized by a dedicated electric circuit. Further, these functions may be realized by a plurality of computers. Among the functional configurations shown in FIG. 3, the inspection unit 302 and the control unit 303 are realized by the CPU 31, GPU 39, ROM 32, RAM 33, fixed disk 34, and peripheral configurations thereof. Further, the storage unit 301 is mainly realized by the RAM 33 and the fixed disk 34.

記憶部３０１は、撮像部２１により取得された基板９の画像、および、後述する学習済みモデル等を記憶する。検査部３０２は、記憶部３０１に記憶されている当該学習済みモデルを利用して基板９の画像を検査し、欠陥の有無により当該画像を分類する分類器である。制御部３０３は、撮像部２１およびステージ移動機構２３、並びに、各機能構成の動作を制御する。 The storage unit 301 stores the image of the substrate 9 acquired by the imaging unit 21, a learned model and the like, which will be described later. The inspection unit 302 is a classifier that inspects an image of the substrate 9 using the learned model stored in the storage unit 301 and classifies the image according to the presence or absence of defects. The control unit 303 controls the operation of the imaging unit 21, the stage moving mechanism 23, and each functional configuration.

図４は第２コンピュータ４の構成を示す図である。第２コンピュータ４は、第１コンピュータ３と略同様に、ＣＰＵ４１と、ＲＯＭ４２と、ＲＡＭ４３と、固定ディスク４４と、ディスプレイ４５と、入力部４６と、読取装置４７と、通信部４８と、ＧＰＵ４９と、バス４０とを含む一般的なコンピュータシステムの構成を有する。ＣＰＵ４１は、各種演算処理を行う。ＧＰＵ４９は、画像処理に関する各種演算処理を行う。ＲＯＭ４２は、基本プログラムを記憶する。ＲＡＭ４３は、各種情報を記憶する。固定ディスク４４は、情報記憶を行う。ディスプレイ４５は、画像等の各種情報の表示を行う。入力部４６は、操作者からの入力を受け付けるキーボード４６ａおよびマウス４６ｂを備える。読取装置４７は、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体８２から情報の読み取りを行う。ディスプレイ４５、キーボード４６ａ、マウス４６ｂおよび読取装置４７は、インターフェイスＩ／Ｆを介してバス４０に接続される。通信部４８は、検査装置１の他の構成、および、外部の装置との間で信号を送受信する。バス４０は、ＣＰＵ４１、ＧＰＵ４９、ＲＯＭ４２、ＲＡＭ４３、固定ディスク４４、ディスプレイ４５、入力部４６、読取装置４７および通信部４８を接続する信号回路である。 FIG. 4 is a diagram showing the configuration of the second computer 4. Similar to the first computer 3, the second computer 4 includes a CPU 41, a ROM 42, a RAM 43, a fixed disk 44, a display 45, an input unit 46, a reading device 47, a communication unit 48, and a GPU 49. , A general computer system configuration including a bus 40. The CPU 41 performs various arithmetic processes. The GPU 49 performs various arithmetic processes related to image processing. The ROM 42 stores the basic program. The RAM 43 stores various information. The fixed disk 44 stores information. The display 45 displays various information such as images. The input unit 46 includes a keyboard 46a and a mouse 46b that receive input from the operator. The reading device 47 reads information from a computer-readable recording medium 82 such as an optical disk, a magnetic disk, a magneto-optical disk, or a memory card. The display 45, keyboard 46a, mouse 46b and reader 47 are connected to the bus 40 via the interface I / F. The communication unit 48 transmits / receives signals to / from other configurations of the inspection device 1 and an external device. The bus 40 is a signal circuit that connects a CPU 41, a GPU 49, a ROM 42, a RAM 43, a fixed disk 44, a display 45, an input unit 46, a reading device 47, and a communication unit 48.

第２コンピュータ４では、事前に読取装置４７を介して記録媒体８２からプログラム８２１が読み出されて固定ディスク４４に記憶されている。プログラム８２１はネットワークを介して固定ディスク４４に記憶されてもよい。ＣＰＵ４１およびＧＰＵ４９は、プログラム８２１に従ってＲＡＭ４３や固定ディスク４４を利用しつつ演算処理を実行する。ＣＰＵ４１およびＧＰＵ４９は、第２コンピュータ４において演算部として機能する。ＣＰＵ４１およびＧＰＵ４９以外に演算部として機能する他の構成が採用されてもよい。 In the second computer 4, the program 821 is read in advance from the recording medium 82 via the reading device 47 and stored in the fixed disk 44. The program 821 may be stored on the fixed disk 44 via the network. The CPU 41 and the GPU 49 execute arithmetic processing while using the RAM 43 and the fixed disk 44 according to the program 821. The CPU 41 and the GPU 49 function as arithmetic units in the second computer 4. In addition to the CPU 41 and the GPU 49, another configuration that functions as a calculation unit may be adopted.

図５は、第２コンピュータ４がプログラム８２１に従って演算処理等を実行することにより実現される機能構成を示す図である。これらの機能構成には、第１入力部４０１と、第２入力部４０２と、学習部４０３と、記憶部４０４とが含まれる。これらの機能の全部または一部は専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。図５に示す機能構成のうち、第１入力部４０１、第２入力部４０２および学習部４０３は、ＣＰＵ４１、ＧＰＵ４９、ＲＯＭ４２、ＲＡＭ４３、固定ディスク４４およびこれらの周辺構成により実現される。また、記憶部４０４は、主としてＲＡＭ４３および固定ディスク４４により実現される。 FIG. 5 is a diagram showing a functional configuration realized by the second computer 4 executing arithmetic processing or the like according to the program 821. These functional configurations include a first input unit 401, a second input unit 402, a learning unit 403, and a storage unit 404. All or part of these functions may be realized by a dedicated electric circuit. Further, these functions may be realized by a plurality of computers. Among the functional configurations shown in FIG. 5, the first input unit 401, the second input unit 402, and the learning unit 403 are realized by the CPU 41, the GPU 49, the ROM 42, the RAM 43, the fixed disk 44, and their peripheral configurations. Further, the storage unit 404 is mainly realized by the RAM 43 and the fixed disk 44.

第１入力部４０１は、分類された基板９の画像（以下、「基板画像」と呼ぶ。）の集合である第１データを記憶部４０４へと入力する。第２入力部４０２は、再分類された基板画像の集合である第２データを記憶部４０４へと入力する。記憶部４０４は、第１入力部４０１および第２入力部４０２から入力されたデータ等を記憶する。基板画像の分類および再分類の詳細については、後述する。 The first input unit 401 inputs the first data, which is a set of the classified images of the substrate 9 (hereinafter, referred to as “board image”), to the storage unit 404. The second input unit 402 inputs the second data, which is a set of the reclassified substrate images, to the storage unit 404. The storage unit 404 stores data and the like input from the first input unit 401 and the second input unit 402. Details of the classification and reclassification of the substrate image will be described later.

学習部４０３は、第２データから学習用データセットを生成し、当該学習用データセットを用いた機械学習により、上記検査部３０２による検査に利用される学習済みモデルを作成する。学習部４０３では、検査用の初期モデルに対して、基板画像と欠陥の有無との関係を機械学習させることにより、学習済みモデルが作成される。学習用データセットの詳細については、後述する。学習部４０３における機械学習は、例えば、ニューラルネットワークを用いたディープラーニングにより行われる。当該ディープラーニングによる学習は、例えば、ＲｅｓＮｅｔを用いて行われる。なお、当該機械学習は、ディープラーニング以外の方法により行われてもよい。 The learning unit 403 generates a learning data set from the second data, and creates a trained model used for the inspection by the inspection unit 302 by machine learning using the learning data set. The learning unit 403 creates a learned model by machine learning the relationship between the substrate image and the presence or absence of defects in the initial model for inspection. The details of the training data set will be described later. Machine learning in the learning unit 403 is performed by, for example, deep learning using a neural network. Learning by the deep learning is performed using, for example, ResNet. The machine learning may be performed by a method other than deep learning.

図６は、検査装置１における学習済みモデルの作成の流れを示す図である。図７は、学習済みモデルの作成の様子を示す図である。学習済みモデルの作成では、まず、基板９を撮像して得られた画像から抽出された様々な領域の画像（すなわち、基板画像）が多数準備される（ステップＳ１１）。以下の説明では、当該多数の基板画像を「基板画像群」と呼ぶ。基板画像群は、好ましくは、検査装置１の撮像部２１により取得される。なお、上記基板画像群には、複数の基板９をそれぞれ撮像した画像が含まれることが好ましい。 FIG. 6 is a diagram showing a flow of creating a trained model in the inspection device 1. FIG. 7 is a diagram showing a state of creating a trained model. In the creation of the trained model, first, a large number of images of various regions (that is, substrate images) extracted from the images obtained by imaging the substrate 9 are prepared (step S11). In the following description, the large number of board images will be referred to as a "board image group". The substrate image group is preferably acquired by the imaging unit 21 of the inspection device 1. It is preferable that the substrate image group includes images obtained by capturing images of a plurality of substrates 9.

基板９では、銅の配線や基材上にソルダレジストと呼ばれる保護膜が形成されており、基板９上には、様々な種類の領域が存在する。例えば、銅のメッキが露出する領域、銅の配線上にソルダレジストが存在する領域、および、基材上にソルダレジストが存在する領域等が基板９上に存在する。 In the substrate 9, a protective film called a solder resist is formed on a copper wiring or a base material, and various types of regions exist on the substrate 9. For example, a region where the copper plating is exposed, a region where the solder resist exists on the copper wiring, a region where the solder resist exists on the base material, and the like exist on the substrate 9.

図８に示すように、銅のメッキが露出する領域には、露出する各メッキ部の面積が小さい小面積メッキ領域９３ａ、露出する各メッキ部の面積が大きい大面積メッキ領域９３ｃ、露出する各メッキ部の面積が中程度である中面積メッキ領域９３ｂが含まれる。小面積メッキ領域９３ａでは、導通等に対する欠陥による悪影響が、中面積メッキ領域９３ｂおよび大面積メッキ領域９３ｃに比べて大きい。また、中面積メッキ領域９３ｂでは、導通等に対する欠陥による悪影響が、大面積メッキ領域９３ｃに比べて大きい。換言すれば、基板９上において欠陥が位置する領域の重要度は、大面積メッキ領域９３ｃ、中面積メッキ領域９３ｂ、小面積メッキ領域９３ａの順で高くなる。 As shown in FIG. 8, in the region where the copper plating is exposed, a small area plating region 93a in which the area of each exposed plating portion is small, a large area plating region 93c in which the area of each exposed plating portion is large, and each exposed A medium area plating region 93b in which the area of the plated portion is medium is included. In the small area plating region 93a, the adverse effect of defects on conduction and the like is larger than that in the medium area plating region 93b and the large area plating region 93c. Further, in the medium-area plating region 93b, the adverse effect due to defects on conduction and the like is larger than in the large-area plating region 93c. In other words, the importance of the region where the defect is located on the substrate 9 increases in the order of the large area plating region 93c, the medium area plating region 93b, and the small area plating region 93a.

図９に示すように、ソルダレジストに被覆されている領域には、ソルダレジスト下の配線が細線パターンである細線ＳＲ領域９４ａ、ソルダレジスト下の配線が標準的なパターンである標準配線ＳＲ領域９４ｂ、および、ソルダレジスト下に配線が存在せず基材のみが存在する基材ＳＲ領域９４ｃが含まれる。細線ＳＲ領域９４ａでは、導通等に対する欠陥による悪影響が、標準配線ＳＲ領域９４ｂおよび基材ＳＲ領域９４ｃに比べて大きい。また、標準配線ＳＲ領域９４ｂでは、導通等に対する欠陥による悪影響が、基材ＳＲ領域９４ｃに比べて大きい。換言すれば、基板９上において欠陥が位置する領域の重要度は、基材ＳＲ領域９４ｃ、標準配線ＳＲ領域９４ｂ、細線ＳＲ領域９４ａの順で高くなる。 As shown in FIG. 9, in the region covered with the solder resist, the thin wire SR region 94a in which the wiring under the solder resist is a thin wire pattern, and the standard wiring SR region 94b in which the wiring under the solder resist is a standard pattern. , And the base material SR region 94c in which no wiring is present and only the base material is present under the solder resist. In the thin wire SR region 94a, the adverse effect due to the defect on the continuity or the like is larger than that in the standard wiring SR region 94b and the base material SR region 94c. Further, in the standard wiring SR region 94b, the adverse effect due to the defect on continuity or the like is larger than that in the base material SR region 94c. In other words, the importance of the region where the defect is located on the substrate 9 increases in the order of the base material SR region 94c, the standard wiring SR region 94b, and the thin wire SR region 94a.

準備された基板画像群（すなわち、多数の基板画像）は、図７に示すように、欠陥を有する仮欠陥画像と、欠陥を有しない仮良品画像とに分類される。分類された基板画像群は、第２コンピュータ４において、第１入力部４０１により第１データとして記憶部４０４に入力される（ステップＳ１２）。ステップＳ１２における基板画像群の分類（すなわち、検査）は、様々な公知の方法により行われる。例えば、公知の外観検査装置により、各基板画像と欠陥を有しない基準基板画像とが比較され、有意な差異が存在する基板画像は仮欠陥画像に分類され、それ以外の基板画像は仮良品画像に分類される。 As shown in FIG. 7, the prepared substrate image group (that is, a large number of substrate images) is classified into a temporary defect image having a defect and a temporary defect image having no defect. The classified substrate image group is input to the storage unit 404 as first data by the first input unit 401 in the second computer 4 (step S12). The classification (that is, inspection) of the substrate image group in step S12 is performed by various known methods. For example, a known visual inspection device compares each substrate image with a reference substrate image having no defects, the substrate image having a significant difference is classified as a temporary defect image, and the other substrate images are temporary good product images. are categorized.

ステップＳ１２における基板画像群の分類では、複数種類の欠陥検査が行われる。例えば、メッキ部の検査では、メッキ部上の異物等を検出するメッキ異物検査や、メッキ部におけるメッキの濃淡を検出するメッキ多値検査が行われる。メッキ異物検査において検出される欠陥（例えば、メッキ部上の異物やメッキ部の欠け）は、導通等に対する悪影響が、メッキ多値検査において検出される欠陥（例えば、メッキ部の変色、汚れ、傷等）に比べて大きい。換言すれば、検査の種類の重要度は、メッキ多値検査、メッキ異物検査の順で高くなる。 In the classification of the substrate image group in step S12, a plurality of types of defect inspections are performed. For example, in the inspection of the plated portion, a plated foreign matter inspection for detecting a foreign matter or the like on the plated portion or a multi-valued plating inspection for detecting the shading of the plating on the plated portion is performed. Defects detected in the plating foreign matter inspection (for example, foreign matter on the plated part or chipping of the plated part) have an adverse effect on continuity, etc., and defects detected in the plating multi-value inspection (for example, discoloration, stains, scratches on the plated part) Etc.) is larger than that. In other words, the importance of the type of inspection increases in the order of plating multi-value inspection and plating foreign matter inspection.

また、例えば、ソルダレジストの検査では、ソルダレジストの剥離を検出するＳＲ剥離検査や、ソルダレジストの濃淡を検出するＳＲムラ検査が行われる。ＳＲ剥離検査において検出される欠陥（例えば、ソルダレジストの剥離による配線の露出）は、導通等に対する悪影響が、ＳＲムラ検査において検出される欠陥（例えば、ソルダレジストの明るいまたは暗いムラ）に比べて大きい。換言すれば、検査の種類の重要度は、ＳＲムラ検査、ＳＲ剥離検査の順で高くなる。 Further, for example, in the inspection of the solder resist, an SR peeling inspection for detecting the peeling of the solder resist and an SR unevenness inspection for detecting the shading of the solder resist are performed. Defects detected in the SR peeling inspection (for example, exposure of wiring due to peeling of the solder resist) have an adverse effect on continuity, etc., as compared with defects detected in the SR unevenness inspection (for example, bright or dark unevenness of the solder resist). large. In other words, the importance of the type of inspection increases in the order of SR unevenness inspection and SR peeling inspection.

第１データでは、各仮欠陥画像の基板９上における領域の種類、および、欠陥が検出された検査の種類が、各仮欠陥画像と組み合わされている。第１データにおいて各仮欠陥画像に関連づけられる上述の「検査領域種類」および「検査種類」は、例えば、テキストデータで表現される。 In the first data, the type of region of each temporary defect image on the substrate 9 and the type of inspection in which the defect is detected are combined with each temporary defect image. The above-mentioned "inspection area type" and "inspection type" associated with each temporary defect image in the first data are represented by, for example, text data.

続いて、ステップＳ１２において記憶部４０４に記憶された第１データのうち、全ての仮欠陥画像（以下、「仮欠陥画像群」とも呼ぶ。）が抽出され、ディスプレイ４５に表示される。そして、作業者の目視により、図７に示すように、仮欠陥画像群を真欠陥の有無により再分類する作業（いわゆる、ベリファイ）が実施される。真欠陥とは、基板９の性能に実質的な悪影響を及ぼすため、基板９が製品として出荷不能であると判断される欠陥を意味する。上述のベリファイでは、例えば、作業者が仮欠陥画像を目視して真欠陥が存在すると判断した場合、当該仮欠陥画像を右クリックし、プルダウンメニューから「真欠陥」を選択することにより、当該仮欠陥画像が真欠陥フォルダに格納される。また、作業者が仮欠陥画像を目視して真欠陥が存在しないと判断した場合、当該仮欠陥画像を右クリックし、プルダウンメニューから「虚報」を選択することにより、当該仮欠陥画像が虚報フォルダに格納される。 Subsequently, from the first data stored in the storage unit 404 in step S12, all the temporary defect images (hereinafter, also referred to as “temporary defect image group”) are extracted and displayed on the display 45. Then, as shown in FIG. 7, the work of reclassifying the temporary defect image group according to the presence or absence of the true defect (so-called verify) is carried out by the operator's visual inspection. The true defect means a defect in which the substrate 9 is judged to be undeliverable as a product because it substantially adversely affects the performance of the substrate 9. In the above verification, for example, when the operator visually observes the temporary defect image and determines that the true defect exists, the temporary defect image is right-clicked and "true defect" is selected from the pull-down menu. The defective image is stored in the true defect folder. In addition, when the operator visually checks the temporary defect image and determines that the true defect does not exist, the temporary defect image can be stored in the false report folder by right-clicking the temporary defect image and selecting "Fake News" from the pull-down menu. Stored in.

上述のベリファイにより再分類された仮欠陥画像群は、第２コンピュータ４において、第２入力部４０２により第２データとして記憶部４０４に入力される（ステップＳ１３）。第２データでは、各仮欠陥画像と、上述の検査領域種類および検査種類と、ベリファイ結果（すなわち、真欠陥の有無を示す情報）とが関連づけられている。 The temporary defect image group reclassified by the above verification is input to the storage unit 404 as the second data by the second input unit 402 in the second computer 4 (step S13). In the second data, each temporary defect image is associated with the above-mentioned inspection area type and inspection type, and the verification result (that is, information indicating the presence or absence of a true defect).

次に、学習部４０３により、第２データに基づいて学習用データセットが生成される（ステップＳ１４）。ステップＳ１４では、第２データにおいて仮欠陥画像に対する重み付けが行われる。具体的には、ステップＳ１３において仮欠陥画像が真欠陥を有すると再分類された場合、ステップＳ１４では、予め準備されている複数の重み係数から、当該真欠陥の重要度に応じて一の重み係数が選択され、仮欠陥画像に乗算される。そして、重み係数が乗算された仮欠陥画像が、「欠陥有り」に分類される。一方、ステップＳ１３において仮欠陥画像が真欠陥を有しないと再分類された場合、ステップＳ１４では、当該仮欠陥画像に重み係数は乗算されず、「欠陥無し」に分類される。 Next, the learning unit 403 generates a learning data set based on the second data (step S14). In step S14, the temporary defect image is weighted in the second data. Specifically, when the temporary defect image is reclassified as having a true defect in step S13, in step S14, one weight is obtained from a plurality of weight coefficients prepared in advance according to the importance of the true defect. A coefficient is selected and multiplied by the temporary defect image. Then, the temporary defect image multiplied by the weighting coefficient is classified as "defective". On the other hand, when the temporary defect image is reclassified as having no true defect in step S13, the weight coefficient is not multiplied by the temporary defect image in step S14, and the temporary defect image is classified as "no defect".

上述の複数の重み係数は、仮欠陥画像に関連づけられる検査領域種類および検査種類等に応じて予め設定され、記憶部４０４に記憶されている。本実施の形態では、重み係数は、検査領域種類（すなわち、基板９上において真欠陥が位置する領域）の重要度が高くなるに従って大きくなる。また、重み係数は、検査種類（すなわち、真欠陥が検出された検査の種類）の重要度が高くなるに従って大きくなる。上述の複数の重み係数は、例えば、０〜１の間で設定される。 The plurality of weighting coefficients described above are preset according to the inspection area type, inspection type, and the like associated with the temporary defect image, and are stored in the storage unit 404. In the present embodiment, the weighting coefficient increases as the importance of the inspection region type (that is, the region where the true defect is located on the substrate 9) increases. In addition, the weighting factor increases as the importance of the inspection type (that is, the type of inspection in which a true defect is detected) increases. The plurality of weighting coefficients described above are set between 0 and 1, for example.

具体的には、例えば、検査領域種類が小面積メッキ領域９３ａ、かつ、検査種類がメッキ異物検査の場合の重み係数は、検査領域種類が中面積メッキ領域９３ｂ、かつ、検査種類がメッキ異物検査の場合の重み係数よりも大きい。また、検査領域種類が小面積メッキ領域９３ａ、かつ、検査種類がメッキ異物検査の場合の重み係数は、検査領域種類が小面積メッキ領域９３ａ、かつ、検査種類がメッキ多値検査の場合の重み係数よりも大きい。検査領域種類が小面積メッキ領域９３ａ、かつ、検査種類がメッキ異物検査の場合の重み係数は、検査領域種類が大面積メッキ領域９３ｃ、かつ、検査種類がメッキ多値検査の場合の重み係数よりも大きい。 Specifically, for example, when the inspection area type is the small area plating area 93a and the inspection type is the plated foreign matter inspection, the weighting coefficient is such that the inspection area type is the medium area plating area 93b and the inspection type is the plated foreign matter inspection. It is larger than the weighting coefficient in the case of. Further, the weighting coefficient when the inspection area type is the small area plating area 93a and the inspection type is the plating foreign matter inspection is the weight when the inspection area type is the small area plating area 93a and the inspection type is the plating multi-value inspection. Greater than the coefficient. The weighting coefficient when the inspection area type is the small area plating area 93a and the inspection type is the plating foreign matter inspection is larger than the weighting coefficient when the inspection area type is the large area plating area 93c and the inspection type is the plating multi-value inspection. Is also big.

例えば、検査領域種類が細線ＳＲ領域９４ａ、かつ、検査種類がＳＲ剥離検査の場合の重み係数は、検査領域種類が標準配線ＳＲ領域９４ｂ、かつ、検査種類がＳＲ剥離検査の場合の重み係数よりも大きい。また、検査領域種類が細線ＳＲ領域９４ａ、かつ、検査種類がＳＲ剥離検査の場合の重み係数は、検査領域種類が細線ＳＲ領域９４ａ、かつ、検査種類がＳＲムラ検査の場合の重み係数よりも大きい。検査領域種類が細線ＳＲ領域９４ａ、かつ、検査種類がＳＲ剥離検査の場合の重み係数は、検査領域種類が基材ＳＲ領域９４ｃ、かつ、検査種類がＳＲムラ検査の場合の重み係数よりも大きい。 For example, the weighting coefficient when the inspection area type is the thin line SR area 94a and the inspection type is the SR peeling inspection is higher than the weighting coefficient when the inspection area type is the standard wiring SR area 94b and the inspection type is the SR peeling inspection. Is also big. Further, the weighting coefficient when the inspection area type is the thin line SR area 94a and the inspection type is the SR peeling inspection is larger than the weighting coefficient when the inspection area type is the thin line SR area 94a and the inspection type is the SR unevenness inspection. large. The weighting coefficient when the inspection area type is the thin line SR area 94a and the inspection type is the SR peeling inspection is larger than the weighting coefficient when the inspection area type is the base material SR area 94c and the inspection type is the SR unevenness inspection. ..

なお、上述の重み係数は、上述の検査領域種類および検査種類のうち、一方のみに応じて予め設定されていてもよい。また、重み係数は、仮欠陥画像に関連づけられる他の情報（すなわち、上記検査領域種類および検査種類以外の情報）に基づいて予め設定されていてもよい。重み係数は、必ずしも０〜１の間で設定される必要はなく、適宜変更されてよい。 The above-mentioned weighting coefficient may be preset according to only one of the above-mentioned inspection area type and inspection type. Further, the weighting coefficient may be preset based on other information associated with the temporary defect image (that is, information other than the inspection area type and the inspection type). The weighting factor does not necessarily have to be set between 0 and 1, and may be changed as appropriate.

学習用データセットが生成されると、学習部４０３は、当該学習用データセットを用いて、基板画像と欠陥の有無との関係を検査用の初期モデルに機械学習させる。これにより、基板９を検査する際に利用される学習済みモデルが作成される（ステップＳ１５）。 When the learning data set is generated, the learning unit 403 uses the learning data set to machine-learn the relationship between the substrate image and the presence or absence of defects in the initial model for inspection. As a result, a trained model used when inspecting the substrate 9 is created (step S15).

図１０は、上述の学習済みモデルを利用した基板９の検査の流れを示す図である。図１に示す検査装置１では、まず、上述のように、学習装置である第２コンピュータ４により学習済みモデルが作成される（ステップＳ２１）。学習済みモデルは、第２コンピュータ４から第１コンピュータ３へと送られ、第１コンピュータ３の記憶部３０１（図３参照）に記憶される。 FIG. 10 is a diagram showing a flow of inspection of the substrate 9 using the above-mentioned trained model. In the inspection device 1 shown in FIG. 1, first, as described above, a trained model is created by the second computer 4 which is a learning device (step S21). The trained model is sent from the second computer 4 to the first computer 3 and stored in the storage unit 301 (see FIG. 3) of the first computer 3.

続いて、制御部３０３により撮像部２１およびステージ移動機構２３等が制御されることにより、撮像部２１により基板９が撮像され、検査対象である基板９の画像（以下、「被検査画像」とも呼ぶ。）が取得される（ステップＳ２２）。 Subsequently, the control unit 303 controls the imaging unit 21, the stage moving mechanism 23, and the like, so that the imaging unit 21 images the substrate 9, and the image of the substrate 9 to be inspected (hereinafter, also referred to as “image to be inspected”). To be called) is acquired (step S22).

次に、検査部３０２により、記憶部３０１に記憶されている学習済みモデルを利用して、上記被検査画像の検査が行われる（ステップＳ２３）。ステップＳ２３では、例えば、上述のメッキ異物検査、メッキ多値検査、ＳＲ剥離検査およびＳＲムラ検査等が行われる。そして、被検査画像から抽出された各領域の基板画像のうち、学習済みモデルにおいて「欠陥有り」に分類されている基板画像（すなわち、真欠陥を有する基板画像）に類似すると判断された基板画像が、欠陥画像に分類される。また、欠陥画像に分類されなかった基板画像は、良品画像に分類される。 Next, the inspection unit 302 inspects the image to be inspected by using the learned model stored in the storage unit 301 (step S23). In step S23, for example, the above-mentioned plating foreign matter inspection, plating multi-value inspection, SR peeling inspection, SR unevenness inspection, and the like are performed. Then, among the substrate images of each region extracted from the image to be inspected, the substrate image determined to be similar to the substrate image classified as "defective" in the trained model (that is, the substrate image having a true defect). Is classified as a defective image. Further, the substrate image that is not classified as a defect image is classified as a non-defective image.

その後、検査部３０２により欠陥画像に分類された基板画像に対して、上述のステップＳ１３と略同様に、作業者によるベリファイが行われ、基板９における真欠陥の有無（すなわち、基板９の出荷可否）が判定される（ステップＳ２４）。ステップＳ２４では、検査部３０２により欠陥画像に分類された基板画像が、真欠陥を有する基板画像と、真欠陥を有しない基板画像（すなわち、虚報）とに再分類される。 After that, the substrate image classified into the defect image by the inspection unit 302 is verified by the operator in substantially the same manner as in step S13 described above, and the presence or absence of a true defect in the substrate 9 (that is, whether or not the substrate 9 can be shipped). ) Is determined (step S24). In step S24, the substrate image classified as a defect image by the inspection unit 302 is reclassified into a substrate image having a true defect and a substrate image having no true defect (that is, false news).

検査装置１では、検査装置１による基板９の検査（ステップＳ２１〜Ｓ２４）の結果を利用して、学習済みモデルの再学習が行われてもよい。図１１は、検査装置１における学習済みモデルの再学習の流れを示す図である。学習済みモデルの再学習では、まず、上述のステップＳ２４において再分類された欠陥画像（すなわち、ステップＳ２３にて得られた欠陥画像を仮欠陥画像として真欠陥の有無により再分類したもの）が、第２コンピュータ４の第２入力部４０２（図５参照）により、新たな第２データとして記憶部４０４に入力される（ステップＳ３１）。 In the inspection device 1, the trained model may be retrained by using the result of the inspection (steps S21 to S24) of the substrate 9 by the inspection device 1. FIG. 11 is a diagram showing a flow of re-learning of the trained model in the inspection device 1. In the retraining of the trained model, first, the defect image reclassified in step S24 described above (that is, the defect image obtained in step S23 is reclassified as a temporary defect image according to the presence or absence of a true defect). The second input unit 402 (see FIG. 5) of the second computer 4 inputs new second data to the storage unit 404 (step S31).

次に、学習部４０３により、当該新たな第２データに基づいて新たな学習用データセットが生成される（ステップＳ３２）。ステップＳ３２では、上述のステップＳ１４と略同様に、新たな第２データにおいて仮欠陥画像に対する重み付けが行われる。具体的には、ステップＳ３１において仮欠陥画像が真欠陥を有すると再分類されている場合、ステップＳ３２では、予め準備されている上述の複数の重み係数から、当該真欠陥の重要度に応じて一の重み係数が選択され、仮欠陥画像に乗算される。そして、重み係数が乗算された仮欠陥画像が、「欠陥有り」に分類される。一方、ステップＳ３１において仮欠陥画像が真欠陥を有しないと再分類されている場合、ステップＳ３２では、当該仮欠陥画像に重み係数は乗算されず、「欠陥無し」に分類される。 Next, the learning unit 403 generates a new learning data set based on the new second data (step S32). In step S32, weighting is performed on the temporary defect image in the new second data in substantially the same manner as in step S14 described above. Specifically, when the temporary defect image is reclassified as having a true defect in step S31, in step S32, the above-mentioned plurality of weighting coefficients prepared in advance are used according to the importance of the true defect. One weighting factor is selected and multiplied by the temporary defect image. Then, the temporary defect image multiplied by the weighting coefficient is classified as "defective". On the other hand, when the temporary defect image is reclassified as having no true defect in step S31, the weight coefficient is not multiplied by the temporary defect image in step S32, and the temporary defect image is classified as "no defect".

上述の新たな学習用データセットが生成されると、学習部４０３は、当該新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習済みモデルに対して再学習させる（ステップＳ３３）。 When the above-mentioned new learning data set is generated, the learning unit 403 re-establishes the relationship between the board image and the presence or absence of defects with respect to the trained model by machine learning using the new learning data set. Learn (step S33).

以上に説明したように、第２コンピュータ４は、表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習装置である。当該学習装置は、第１入力部４０１と、第２入力部４０２と、学習部４０３とを備える。第１入力部４０１は、基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する。第２入力部４０２は、当該第１データ中の仮欠陥画像を真欠陥の有無により再分類した第２データを入力する。学習部４０３は、第２データにおいて、仮欠陥画像に対する重み付けを行って学習用データセットを生成する。学習部４０３は、当該学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを生成する。 As described above, the second computer 4 is a learning device that creates a trained model used when inspecting a substrate having a pattern on the surface. The learning device includes a first input unit 401, a second input unit 402, and a learning unit 403. The first input unit 401 inputs the first data classified into a temporary defect image in which the substrate image has a defect and a temporary defect image having no defect. The second input unit 402 inputs the second data in which the temporary defect image in the first data is reclassified according to the presence or absence of a true defect. The learning unit 403 weights the temporary defect image in the second data to generate a learning data set. The learning unit 403 learns the relationship between the substrate image and the presence or absence of defects by machine learning using the learning data set, and generates a trained model.

学習部４０３による学習用データセットの生成では、仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち真欠陥の重要度に応じて選択された重み係数を当該仮欠陥画像に乗算した上で「欠陥有り」に分類する。また、仮欠陥画像が真欠陥を有しないと再分類された場合、当該仮欠陥画像を「欠陥無し」に分類する。 In the generation of the learning data set by the learning unit 403, when the temporary defect image is reclassified as having a true defect, the weighting coefficient selected according to the importance of the true defect among a plurality of weighting coefficients is selected as the temporary defect. After multiplying the image, it is classified as "defective". Further, when the temporary defect image is reclassified as having no true defect, the temporary defect image is classified as "no defect".

当該学習用データセットを用いて作成された学習済みモデルによって基板９の検査を行うことにより、重要度が高い真欠陥を有する基板画像に類似する画像が、重要度が低い真欠陥を有する基板画像に類似する画像に比べて、欠陥画像として検出されやすくなる。その結果、重要度が低い真欠陥を有する基板画像に類似するが、実際には真欠陥を有していない画像（すなわち、ベリファイにおいて虚報と判断される基板画像）が、基板９の検査において欠陥画像として検出される可能性を低減することができる。換言すれば、基板９の欠陥検査における虚報率を低減し、高精度な検査を実現することができる。 By inspecting the substrate 9 with the trained model created using the training data set, an image similar to the substrate image having a true defect of high importance becomes a substrate image having a true defect of low importance. It is more likely to be detected as a defective image than an image similar to. As a result, an image similar to a substrate image having a less important true defect but not actually having a true defect (that is, a substrate image judged to be false information in verification) is defective in the inspection of the substrate 9. The possibility of being detected as an image can be reduced. In other words, it is possible to reduce the false news rate in the defect inspection of the substrate 9 and realize a highly accurate inspection.

また、上述のように、学習部４０３による学習用データセットの生成において、真欠陥を有する仮欠陥画像に真欠陥の重要度に応じた重み係数を乗算することにより、仮欠陥画像の数（すなわち、仮欠陥画像群の容量）を低減しつつ、上述の高精度な検査を実現可能な学習済みモデル作成用の学習用データセットを生成することができる。すなわち、上述の学習装置では、学習用データセットの容量を低減しつつ、高精度な基板９の検査を実現することができる。 Further, as described above, in the generation of the learning data set by the learning unit 403, the number of temporary defect images (that is, by multiplying the temporary defect images having true defects by a weighting coefficient according to the importance of the true defects). , The capacity of the temporary defect image group) can be reduced, and a training data set for creating a trained model capable of realizing the above-mentioned high-precision inspection can be generated. That is, in the above-mentioned learning device, it is possible to realize highly accurate inspection of the substrate 9 while reducing the capacity of the learning data set.

上述のように、複数の重み係数は、基板９上において真欠陥が位置する領域の重要度が高くなるに従って大きくなることが好ましい。これにより、基板９上の重要度が高い領域（すなわち、高感度領域）における欠陥を、重要度が低い領域における欠陥に比べて、優先的に検出することができる。その結果、基板９の欠陥検査における虚報率をさらに低減し、より高精度な検査を実現することができる。 As described above, it is preferable that the plurality of weighting coefficients increase as the importance of the region where the true defect is located on the substrate 9 increases. As a result, defects in the high-importance region (that is, the high-sensitivity region) on the substrate 9 can be detected preferentially over the defects in the low-importance region. As a result, the false news rate in the defect inspection of the substrate 9 can be further reduced, and a more accurate inspection can be realized.

上述のように、複数の重み係数は、複数種類の検査のうち真欠陥が検出される検査の種類の重要度が高くなるに従って大きくなることが好ましい。これにより、重要度が高い種類の検査（すなわち、高致命度の検査）における欠陥を、重要度が低い種類の検査における欠陥に比べて、優先的に検出することができる。その結果、基板９の欠陥検査における虚報率をさらに低減し、より高精度な検査を実現することができる。 As described above, it is preferable that the plurality of weighting factors increase as the importance of the type of inspection in which the true defect is detected increases among the plurality of types of inspections. As a result, defects in the high-importance type of inspection (that is, high-fatality inspection) can be detected preferentially over the defects in the low-importance type of inspection. As a result, the false news rate in the defect inspection of the substrate 9 can be further reduced, and a more accurate inspection can be realized.

上述のように、検査装置１は、表面上にパターンを有する基板９を検査する装置である。検査装置１は、上述の学習装置と、検査部３０２とを備える。検査部３０２は、基板９を撮像して得られた被検査画像を、当該学習装置により作成された学習済みモデルを利用して検査する。これにより、上述のように、高精度な基板９の検査を実現することができる。 As described above, the inspection device 1 is a device that inspects the substrate 9 having a pattern on the surface. The inspection device 1 includes the above-mentioned learning device and the inspection unit 302. The inspection unit 302 inspects the image to be inspected obtained by imaging the substrate 9 by using the trained model created by the learning device. As a result, as described above, highly accurate inspection of the substrate 9 can be realized.

上述のように、好ましくは、第２入力部４０２は、検査部３０２により得られた欠陥画像を仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力する。また、学習部４０３は、当該新たな第２データにおいて仮欠陥画像に対する重み付けを行って、新たな学習用データセットを生成する。そして、学習部４０３は、当該新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習済みモデルに再学習させる。これにより、再学習に使用される学習用データセットの容量を低減しつつ、基板９の検査精度を向上することができる。 As described above, preferably, the second input unit 402 inputs new second data in which the defect image obtained by the inspection unit 302 is reclassified as a temporary defect image according to the presence or absence of a true defect. In addition, the learning unit 403 weights the temporary defect image in the new second data to generate a new learning data set. Then, the learning unit 403 causes the trained model to relearn the relationship between the substrate image and the presence / absence of defects by machine learning using the new learning data set. As a result, the inspection accuracy of the substrate 9 can be improved while reducing the capacity of the learning data set used for re-learning.

なお、検査装置１では、検査部３０２が上述の学習済みモデルを利用して被検査画像を検査するのであれば、必ずしも学習装置が設けられる必要はない。この場合、検査部３０２は、基板９を撮像して得られた被検査画像を、検査装置１から独立して設置された学習装置により作成された学習済みモデルを利用して検査する。この場合も、上記と同様に、高精度な基板９の検査を実現することができる。 In the inspection device 1, if the inspection unit 302 inspects the image to be inspected by using the above-mentioned trained model, it is not always necessary to provide the learning device. In this case, the inspection unit 302 inspects the image to be inspected obtained by imaging the substrate 9 by using the learned model created by the learning device installed independently of the inspection device 1. In this case as well, high-precision inspection of the substrate 9 can be realized in the same manner as described above.

上述のように、検査装置１は、基板９を撮像して上記被検査画像を取得する撮像部２１をさらに備えることが好ましい。これにより、被検査画像の取得から検査まで、１つの装置で一貫して行うことができる。その結果、基板９の検査効率を向上することができる。 As described above, it is preferable that the inspection device 1 further includes an imaging unit 21 that images the substrate 9 and acquires the image to be inspected. As a result, it is possible to consistently perform from the acquisition of the image to be inspected to the inspection with one device. As a result, the inspection efficiency of the substrate 9 can be improved.

上述のように、学習済みモデルを作成する学習方法は、基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する工程（ステップＳ１２）と、第１データ中の仮欠陥画像を真欠陥の有無により再分類した第２データを入力する工程（ステップＳ１３）と、当該第２データにおいて仮欠陥画像に対する重み付けを行って学習用データセットを生成し、当該学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する工程（ステップＳ１４〜Ｓ１５）と、を備える。 As described above, the learning method for creating the trained model includes a step of inputting first data (step S12) in which the substrate image is classified into a temporary defect image having a defect and a temporary non-defective image having no defect. A step of inputting the second data in which the temporary defect image in the first data is reclassified according to the presence or absence of a true defect (step S13) and the weighting of the temporary defect image in the second data are performed to generate a learning data set. A step (steps S14 to S15) of learning the relationship between the substrate image and the presence or absence of defects by machine learning using the learning data set to create a trained model is provided.

ステップＳ１４〜Ｓ１５における学習用データセットの生成では、仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち当該真欠陥の重要度に応じて選択された重み係数を仮欠陥画像に乗算した上で欠陥有りに分類し、仮欠陥画像が真欠陥を有しないと再分類された場合、仮欠陥画像を欠陥無しに分類する。これにより、上記と同様に、学習用データセットの容量を低減しつつ、高精度な基板９の検査を実現することができる。 In the generation of the training data set in steps S14 to S15, when the temporary defect image is reclassified as having a true defect, the weighting coefficient selected according to the importance of the true defect among the plurality of weighting coefficients is provisionally selected. When the defect image is multiplied and classified as having a defect, and the temporary defect image is reclassified as having no true defect, the temporary defect image is classified as having no defect. Thereby, similarly to the above, it is possible to realize a highly accurate inspection of the substrate 9 while reducing the capacity of the learning data set.

上述の学習装置、検査装置１、学習方法および検査方法では、様々な変更が可能である。 Various changes can be made in the above-mentioned learning device, inspection device 1, learning method and inspection method.

例えば、ステップＳ１１において準備される基板画像群は、検査装置１の外部において取得され、記録ディスクやネットワークを介して検査装置１に入力されてもよい。また、ステップＳ２２においても同様に、被検査画像は、検査装置１の外部において取得され、検査装置１に入力されてもよい。この場合、検査装置１から撮像部２１が省略されてもよい。 For example, the substrate image group prepared in step S11 may be acquired outside the inspection device 1 and input to the inspection device 1 via a recording disk or a network. Similarly, in step S22, the image to be inspected may be acquired outside the inspection device 1 and input to the inspection device 1. In this case, the imaging unit 21 may be omitted from the inspection device 1.

上述のステップＳ１２，Ｓ２３にて基板９に対して行われる検査は、上述のメッキ異物検査やＳＲ剥離検査等には限定されず、様々な種類の検査が基板９に対して行われてよい。また、基板９上の検査領域は、上述の小面積メッキ領域や細線ＳＲ領域等には限定されず、様々な領域が基板９上に設定されてよい。 The inspection performed on the substrate 9 in steps S12 and S23 described above is not limited to the plating foreign matter inspection and SR peeling inspection described above, and various types of inspections may be performed on the substrate 9. Further, the inspection region on the substrate 9 is not limited to the above-mentioned small area plating region, thin wire SR region, and the like, and various regions may be set on the substrate 9.

上述のステップＳ１４の学習用データセットの生成において、仮欠陥画像に対して乗算される重み係数は、必ずしも予め設定されている必要はなく、ステップＳ１３のベリファイの際等に、作業者が仮欠陥画像を目視して経験に基づいて設定してもよい。検査部３０２による検査結果を利用した学習済みモデルの再学習（ステップＳ３１〜Ｓ３３）においても同様である。 In the generation of the training data set in step S14 described above, the weighting coefficient to be multiplied on the temporary defect image does not necessarily have to be set in advance, and the operator may perform the temporary defect when verifying in step S13. The image may be visually observed and set based on experience. The same applies to the re-learning of the trained model (steps S31 to S33) using the inspection result by the inspection unit 302.

当該学習済みモデルの再学習（ステップＳ３１〜Ｓ３３）では、ステップＳ３２の新たな学習用データセットの生成において、仮欠陥画像に対する重み付け（すなわち、欠陥の重要度に応じた重み係数の乗算）は、行われなくてもよい。この場合であっても、学習済みモデルの再学習により、基板９の検査精度を向上することができる。また、当該学習済みモデルの再学習（ステップＳ３１〜Ｓ３３）は、必ずしも行われる必要はない。 In the retraining of the trained model (steps S31 to S33), in the generation of the new training data set in step S32, the weighting on the temporary defect image (that is, the multiplication of the weighting coefficient according to the importance of the defect) is performed. It does not have to be done. Even in this case, the inspection accuracy of the substrate 9 can be improved by re-learning the trained model. Further, the re-learning of the trained model (steps S31 to S33) does not necessarily have to be performed.

上述の第１コンピュータ３および第２コンピュータ４は、装置本体２の筐体の中に収納されてもよい。逆に、第２コンピュータ４は、検査装置１の他の構成から独立した単体の学習装置として使用されてもよい。 The first computer 3 and the second computer 4 described above may be housed in the housing of the apparatus main body 2. On the contrary, the second computer 4 may be used as a stand-alone learning device independent of other configurations of the inspection device 1.

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。 The above-described embodiment and the configurations in each modification may be appropriately combined as long as they do not conflict with each other.

１ 検査装置
４ 第２コンピュータ
９ 基板
２１ 撮像部
３０１ 記憶部
４０１ 第１入力部
４０２ 第２入力部
４０３ 学習部
Ｓ１１〜Ｓ１５，Ｓ２１〜Ｓ２４，Ｓ３１〜Ｓ３３ ステップ 1 Inspection device 4 Second computer 9 Board 21 Imaging unit 301 Storage unit 401 First input unit 402 Second input unit 403 Learning unit S11 to S15, S21 to S24, S31 to S33 Steps

Claims (14)

表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習装置であって、
基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する第１入力部と、
前記第１データ中の前記仮欠陥画像を真欠陥の有無により再分類した第２データを入力する第２入力部と、
前記第２データにおいて前記仮欠陥画像に対する重み付けを行って学習用データセットを生成し、前記学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する学習部と、
を備え、
前記学習部による前記学習用データセットの生成では、
前記仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち前記真欠陥の重要度に応じて選択された重み係数を前記仮欠陥画像に乗算した上で欠陥有りに分類し、
前記仮欠陥画像が真欠陥を有しないと再分類された場合、前記仮欠陥画像を欠陥無しに分類することを特徴とする学習装置。 A learning device that creates a trained model used when inspecting a substrate with a pattern on its surface.
A first input unit for inputting first data classified into a temporary defect image in which the substrate image has a defect and a temporary defect image having no defect, and
A second input unit for inputting second data in which the temporary defect image in the first data is reclassified according to the presence or absence of a true defect, and
A training data set is generated by weighting the temporary defect image in the second data, and a trained model is trained by machine learning using the learning data set to learn the relationship between the substrate image and the presence or absence of defects. With the learning department to create
With
In the generation of the learning data set by the learning unit,
When the temporary defect image is reclassified as having a true defect, the weight coefficient selected according to the importance of the true defect among a plurality of weighting coefficients is multiplied by the temporary defect image and classified as having a defect. And
A learning device characterized in that when the temporary defect image is reclassified as having no true defect, the temporary defect image is classified without defects. 請求項１に記載の学習装置であって、
前記複数の重み係数は、前記基板上において真欠陥が位置する領域の重要度が高くなるに従って大きくなることを特徴とする学習装置。 The learning device according to claim 1.
The learning apparatus, wherein the plurality of weighting coefficients increase as the importance of the region where the true defect is located on the substrate increases. 請求項１または２に記載の学習装置であって、
前記複数の重み係数は、複数種類の検査のうち真欠陥が検出された検査の種類の重要度が高くなるに従って大きくなることを特徴とする学習装置。 The learning device according to claim 1 or 2.
The learning apparatus, wherein the plurality of weighting factors increase as the importance of the type of inspection in which a true defect is detected increases among the plurality of types of inspections. 表面上にパターンを有する基板を検査する検査装置であって、
基板を撮像して得られた被検査画像を、請求項１ないし３のいずれか１つに記載の学習装置により作成された学習済みモデルを利用して検査する検査部を備えることを特徴とする検査装置。 An inspection device that inspects a substrate having a pattern on its surface.
It is characterized by comprising an inspection unit which inspects an image to be inspected obtained by imaging a substrate by using a learned model created by the learning apparatus according to any one of claims 1 to 3. Inspection equipment. 表面上にパターンを有する基板を検査する検査装置であって、
請求項１ないし３のいずれか１つに記載の学習装置と、
基板を撮像して得られた被検査画像を、前記学習装置により作成された学習済みモデルを利用して検査する検査部と、
を備えることを特徴とする検査装置。 An inspection device that inspects a substrate having a pattern on its surface.
The learning device according to any one of claims 1 to 3.
An inspection unit that inspects the image to be inspected obtained by imaging the substrate using the trained model created by the learning device.
An inspection device comprising. 請求項５に記載の検査装置であって、
前記学習装置の前記第２入力部は、前記検査部により得られた欠陥画像を前記仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力し、
前記学習部は、前記新たな第２データにおいて前記仮欠陥画像に対する重み付けを行って新たな学習用データセットを生成し、前記新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を前記学習済みモデルに再学習させることを特徴とする検査装置。 The inspection device according to claim 5.
The second input unit of the learning device inputs new second data obtained by reclassifying the defect image obtained by the inspection unit as the temporary defect image according to the presence or absence of a true defect.
The learning unit generates a new learning data set by weighting the temporary defect image in the new second data, and performs machine learning using the new learning data set to obtain a substrate image and defects. An inspection device characterized in that the trained model is retrained in relation to the presence or absence. 請求項４ないし６のいずれか１つに記載の検査装置であって、
基板を撮像して前記被検査画像を取得する撮像部をさらに備えることを特徴とする検査装置。 The inspection device according to any one of claims 4 to 6.
An inspection apparatus further comprising an imaging unit that images a substrate and acquires the image to be inspected. 表面上にパターンを有する基板を検査する際に利用される学習済みモデルを作成する学習方法であって、
ａ）基板画像が欠陥を有する仮欠陥画像と欠陥を有しない仮良品画像とに分類された第１データを入力する工程と、
ｂ）前記第１データ中の前記仮欠陥画像を真欠陥の有無により再分類した第２データを入力する工程と、
ｃ）前記第２データにおいて前記仮欠陥画像に対する重み付けを行って学習用データセットを生成し、前記学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を学習させて学習済みモデルを作成する工程と、
を備え、
前記ｃ）工程における前記学習用データセットの生成では、
前記仮欠陥画像が真欠陥を有すると再分類された場合、複数の重み係数のうち前記真欠陥の重要度に応じて選択された重み係数を前記仮欠陥画像に乗算した上で欠陥有りに分類し、
前記仮欠陥画像が真欠陥を有しないと再分類された場合、前記仮欠陥画像を欠陥無しに分類することを特徴とする学習方法。 A learning method that creates a trained model that is used when inspecting a substrate that has a pattern on its surface.
a) A step of inputting first data classified into a temporary defect image in which the substrate image has a defect and a temporary defect image having no defect, and
b) A step of inputting second data in which the temporary defect image in the first data is reclassified according to the presence or absence of a true defect.
c) In the second data, the temporary defect image is weighted to generate a learning data set, and machine learning using the learning data set is used to learn the relationship between the substrate image and the presence or absence of defects for learning. The process of creating a finished model and
With
In the generation of the learning data set in the step c),
When the temporary defect image is reclassified as having a true defect, the weight coefficient selected according to the importance of the true defect among a plurality of weighting coefficients is multiplied by the temporary defect image and classified as having a defect. And
A learning method characterized in that when the temporary defect image is reclassified as having no true defect, the temporary defect image is classified without defects. 請求項８に記載の学習方法であって、
前記複数の重み係数は、前記基板上において真欠陥が位置する領域の重要度が高くなるに従って大きくなることを特徴とする学習方法。 The learning method according to claim 8.
The learning method, wherein the plurality of weighting coefficients increase as the importance of the region where the true defect is located on the substrate increases. 請求項８または９に記載の学習方法であって、
前記複数の重み係数は、複数種類の検査のうち真欠陥が検出された検査の種類の重要度が高くなるに従って大きくなることを特徴とする学習方法。 The learning method according to claim 8 or 9.
A learning method characterized in that the plurality of weighting factors increase as the importance of the type of inspection in which a true defect is detected increases among the plurality of types of inspections. 表面上にパターンを有する基板を検査する検査方法であって、
基板を撮像して得られた被検査画像を、請求項８ないし１０のいずれか１つに記載の学習方法により作成された学習済みモデルを利用して検査する工程を備えることを特徴とする検査方法。 An inspection method for inspecting a substrate having a pattern on the surface.
An inspection comprising a step of inspecting an image to be inspected obtained by imaging a substrate by using a learned model created by the learning method according to any one of claims 8 to 10. Method. 表面上にパターンを有する基板を検査する検査方法であって、
ｄ）請求項８ないし１０のいずれか１つに記載の学習方法により学習済みモデルを作成する工程と、
ｅ）基板を撮像して得られた被検査画像を、前記ｄ）工程において作成された前記学習済みモデルを利用して検査する工程と、
を備えることを特徴とする検査方法。 An inspection method for inspecting a substrate having a pattern on the surface.
d) A step of creating a trained model by the learning method according to any one of claims 8 to 10.
e) The step of inspecting the image to be inspected obtained by imaging the substrate by using the trained model created in the step d).
An inspection method characterized by comprising. 請求項１２に記載の検査方法であって、
ｆ）前記ｅ）工程において得られた欠陥画像を前記仮欠陥画像として真欠陥の有無により再分類した新たな第２データを入力する工程と、
ｇ）前記新たな第２データにおいて前記仮欠陥画像に対する重み付けを行って新たな学習用データセットを生成し、前記新たな学習用データセットを用いた機械学習により、基板画像と欠陥の有無との関係を前記学習済みモデルに再学習させる工程と、
をさらに備えることを特徴とする検査方法。 The inspection method according to claim 12.
f) A step of inputting new second data in which the defect image obtained in the step e) is reclassified as the temporary defect image according to the presence or absence of a true defect.
g) In the new second data, the temporary defect image is weighted to generate a new learning data set, and machine learning using the new learning data set is performed to determine the substrate image and the presence or absence of defects. The process of retraining the relationship to the trained model,
An inspection method characterized by further providing. 請求項１１ないし１３のいずれか１つに記載の検査方法であって、
基板を撮像して前記被検査画像を取得する工程をさらに備えることを特徴とする検査方法。 The inspection method according to any one of claims 11 to 13.
An inspection method further comprising a step of taking an image of a substrate and acquiring the image to be inspected.
JP2019170273A 2019-09-19 2019-09-19 LEARNING DEVICE, INSPECTION DEVICE, LEARNING METHOD AND INSPECTION METHOD Active JP7317647B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019170273A JP7317647B2 (en) 2019-09-19 2019-09-19 LEARNING DEVICE, INSPECTION DEVICE, LEARNING METHOD AND INSPECTION METHOD
KR1020200113813A KR102529354B1 (en) 2019-09-19 2020-09-07 Learning apparatus, inspection apparatus, learning method and inspection method
TW109130836A TWI775140B (en) 2019-09-19 2020-09-09 Learning apparatus, inspection apparatus, learning method and inspection method
CN202010947201.8A CN112614086A (en) 2019-09-19 2020-09-10 Learning device, inspection device, learning method, and inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019170273A JP7317647B2 (en) 2019-09-19 2019-09-19 LEARNING DEVICE, INSPECTION DEVICE, LEARNING METHOD AND INSPECTION METHOD

Publications (2)

Publication Number Publication Date
JP2021047104A true JP2021047104A (en) 2021-03-25
JP7317647B2 JP7317647B2 (en) 2023-07-31

Family

ID=74876234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019170273A Active JP7317647B2 (en) 2019-09-19 2019-09-19 LEARNING DEVICE, INSPECTION DEVICE, LEARNING METHOD AND INSPECTION METHOD

Country Status (4)

Country Link
JP (1) JP7317647B2 (en)
KR (1) KR102529354B1 (en)
CN (1) CN112614086A (en)
TW (1) TWI775140B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147807A (en) * 2021-04-28 2022-11-04 주식회사 크레셈 Method for inspection of board
KR20220149381A (en) * 2021-04-30 2022-11-08 이상고 주식회사 Artificial intelligence-based tampon outer high-speed quality inspection system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149177A (en) * 2013-01-31 2014-08-21 Hitachi High-Technologies Corp Defect inspection device and defect inspection method
JP2018159600A (en) * 2017-03-22 2018-10-11 日本電気株式会社 Printed image inspection device, printed image inspection method, and program
JP2019039727A (en) * 2017-08-23 2019-03-14 富士通株式会社 Image inspection device, method for inspecting image, and image inspection program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3566470B2 (en) * 1996-09-17 2004-09-15 株式会社日立製作所 Pattern inspection method and apparatus
JPH10318937A (en) * 1997-05-22 1998-12-04 Dainippon Screen Mfg Co Ltd Optical irregularity inspection device and method
JP2006293820A (en) * 2005-04-13 2006-10-26 Sharp Corp Appearance inspection device, appearance inspection method, and program for causing computer to function as appearance inspection device
JP4950806B2 (en) * 2006-08-22 2012-06-13 株式会社東芝 Defect inspection apparatus, defect inspection method, semiconductor device manufacturing system, and semiconductor device manufacturing method
JP2011158373A (en) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd Method for creation of teacher data for use in automatic defect classification, and method and apparatus for automatic defect classification
JP5546317B2 (en) 2010-03-31 2014-07-09 株式会社デンソーアイティーラボラトリ Visual inspection device, visual inspection discriminator generation device, visual inspection discriminator generation method, and visual inspection discriminator generation computer program
JP6113024B2 (en) * 2013-08-19 2017-04-12 株式会社Ｓｃｒｅｅｎホールディングス Classifier acquisition method, defect classification method, defect classification device, and program
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
WO2018211350A1 (en) * 2017-05-19 2018-11-22 Semiconductor Energy Laboratory Co., Ltd. Machine learning method, machine learning system, and display system
KR102106349B1 (en) * 2017-12-21 2020-05-04 주식회사 고영테크놀러지 Printed circuit board inspecting apparatus, method for detecting anomalry of solder paste and computer readable recording medium
CN109142371A (en) * 2018-07-31 2019-01-04 华南理工大学 High density flexible exterior substrate defect detecting system and method based on deep learning
CN110223269A (en) * 2019-04-24 2019-09-10 深圳市派科斯科技有限公司 A kind of FPC defect inspection method and device
CN110070536B (en) * 2019-04-24 2022-08-30 南京邮电大学 Deep learning-based PCB component detection method
CN110186938A (en) * 2019-06-28 2019-08-30 笪萨科技(上海)有限公司 Two-sided defect analysis equipment and defects detection and analysis system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149177A (en) * 2013-01-31 2014-08-21 Hitachi High-Technologies Corp Defect inspection device and defect inspection method
JP2018159600A (en) * 2017-03-22 2018-10-11 日本電気株式会社 Printed image inspection device, printed image inspection method, and program
JP2019039727A (en) * 2017-08-23 2019-03-14 富士通株式会社 Image inspection device, method for inspecting image, and image inspection program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147807A (en) * 2021-04-28 2022-11-04 주식회사 크레셈 Method for inspection of board
KR102668045B1 (en) * 2021-04-28 2024-05-22 주식회사 크레셈 Method for inspection of board
KR20220149381A (en) * 2021-04-30 2022-11-08 이상고 주식회사 Artificial intelligence-based tampon outer high-speed quality inspection system
KR102632508B1 (en) * 2021-04-30 2024-02-06 텔스타 주식회사 Artificial intelligence-based tampon outer high-speed quality inspection system

Also Published As

Publication number Publication date
KR102529354B1 (en) 2023-05-04
JP7317647B2 (en) 2023-07-31
TW202113650A (en) 2021-04-01
TWI775140B (en) 2022-08-21
KR20210033900A (en) 2021-03-29
CN112614086A (en) 2021-04-06

Similar Documents

Publication Publication Date Title
CN110658198B (en) Optical detection method, optical detection device and optical detection system
US11947890B2 (en) Implementation of deep neural networks for testing and quality control in the production of memory devices
JP6348289B2 (en) Inspection apparatus and inspection method
TWI238366B (en) Image processing method for appearance inspection
KR102252592B1 (en) Apparatus and method for inspecting substrate defect
JP6549396B2 (en) Region detection apparatus and region detection method
JP6401648B2 (en) Defect classification apparatus and defect classification method
JP2011158373A (en) Method for creation of teacher data for use in automatic defect classification, and method and apparatus for automatic defect classification
KR102529354B1 (en) Learning apparatus, inspection apparatus, learning method and inspection method
JP2014137284A (en) Teacher data creation support device, teacher data creation device, image classification device, teacher data creation support method, teacher data creation method and image classification method
CN112669272A (en) AOI rapid detection method and rapid detection system
JP2010071826A (en) Teacher data preparation method, and image sorting method and image sorter
JP2004258034A (en) System and method for detecting and reporting manufacturing defects using multi-variant image analysis
CN112561852A (en) Image determination device and image determination method
JP4015436B2 (en) Gold plating defect inspection system
JP7423368B2 (en) Defect detection device and method
CN111665264B (en) Representative color determining method, inspection device, inspection method, and recording medium
Kumar et al. Automated quality inspection of PCB assembly using image processing
JP2021067508A (en) Visual inspection system and method
JP2021047677A (en) Reference image generation device, inspection device, alignment device, and reference image generation method
Vaidya Automatic Optical Inspection-Based PCB Fault Detection Using Image Processing
JP2023177926A (en) Method and device for detecting surface scratches of metal-ceramic composite substrate
JP2024509685A (en) Automated optical inspection using a hybrid imaging system
WO2024112440A1 (en) Defect detection in manufactured articles using multi-channel images
JP2002296016A (en) Method for recognizing shape of protective layer of printed circuit board and method of inspection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230719

R150 Certificate of patent or registration of utility model

Ref document number: 7317647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150