KR20190143192A - Automated defect classification method based on machine learning - Google Patents

Automated defect classification method based on machine learning Download PDF

Info

Publication number
KR20190143192A
KR20190143192A KR1020180070845A KR20180070845A KR20190143192A KR 20190143192 A KR20190143192 A KR 20190143192A KR 1020180070845 A KR1020180070845 A KR 1020180070845A KR 20180070845 A KR20180070845 A KR 20180070845A KR 20190143192 A KR20190143192 A KR 20190143192A
Authority
KR
South Korea
Prior art keywords
image
defect
defect classification
blob
sample
Prior art date
Application number
KR1020180070845A
Other languages
Korean (ko)
Other versions
KR102154393B1 (en
Inventor
안민정
이홍철
이민영
김명소
변성준
염진섭
박남재
박초롱
Original Assignee
에임시스템 주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에임시스템 주식회사, 고려대학교 산학협력단 filed Critical 에임시스템 주식회사
Priority to KR1020180070845A priority Critical patent/KR102154393B1/en
Priority to CN201910537298.2A priority patent/CN110619343B/en
Publication of KR20190143192A publication Critical patent/KR20190143192A/en
Application granted granted Critical
Publication of KR102154393B1 publication Critical patent/KR102154393B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

An objective of the present invention is to provide an automatic defect classification method based on machine learning which can improve learning efficiency and classification performance. According to the present invention, the automatic defect classification method based on machine learning comprises: a step of preparing sample images with known defect types; a step of acquiring a first to an N^th (N is a natural number higher than or equal to 2) image different from each other by a prescribed preprocessing process from the sample images for each sample image, and acquiring a first to an N^th image set by data augmentation from the first to the N^th image; a step of using an n^th (n=1, ..., N) image set as a learning data input and using a defect type of a corresponding sample image as a learning data output for the first to the N^th image set acquired for the sample images to perform machine learning to generate an n^th defect classification model to generate a first to an N^th defect classification model; and a step of receiving a target image to use the first to the N^th defect classification model to classify a defect type of the target image.

Description

기계 학습 기반의 자동 결함 분류 방법{Automated defect classification method based on machine learning}Automated defect classification method based on machine learning

본 발명은 기계 학습 기반의 자동 결함 분류 방법에 관한 것으로, 보다 상세하게는 결함 유형이 알려진 샘플 이미지들을 가지고 기계 학습을 수행하여 결함 분류 모델을 생성하고, 결함 분류 모델을 이용하여 대상 이미지로부터 결함 유형을 분류하는 자동 결함 분류 방법에 관한 것이다.The present invention relates to an automatic defect classification method based on machine learning, and more particularly, to generate a defect classification model by performing machine learning with sample images of a known defect type, and using a defect classification model to form a defect type from a target image. It relates to an automatic defect classification method for classifying.

디스플레이 패널, PCB 등과 같은 제품의 이미지로부터 기계 학습을 이용하여 결함을 분류하는 기술은 Smart Factory에 필수적인 기술이다. 제품의 결함을 실시간으로 분석한 후 분석된 결함 종류에 따라서 생산 시스템에 피드백 함으로써 불량 원인을 제거할 수 있어서 결과적으로 연속 공정에서의 대량 불량을 획기적으로 감소시킬 수 있다. 또한 조업조건에 따른 불량 패턴을 분석함으로써 공정 최적화를 할 수 있다.The technique of classifying defects using machine learning from the images of products such as display panels and PCBs is essential for smart factories. By analyzing the defects of the product in real time and feeding back to the production system according to the analyzed defect type, the cause of the defect can be eliminated, and as a result, the mass defect in the continuous process can be drastically reduced. In addition, process optimization can be performed by analyzing failure patterns according to operating conditions.

최근에, CNN(Convolutional Neural Network)과 같은 딥러닝 기법을 이용하여 제품 결함을 분류하기 위한 방법들이 연구되고 있다. 딥러닝 기법에서는 충분한 양의 학습 데이터가 있는 경우 학습 효율 및 분류의 정확도가 증가하지만, 학습 데이터의 양이 적을 경우 학습 효율 및 분류 성능이 떨어지는 문제점이 있다. Recently, methods for classifying product defects using deep learning techniques such as a convolutional neural network (CNN) have been studied. Deep learning techniques increase the learning efficiency and the accuracy of classification when there is a sufficient amount of training data. However, when the amount of the training data is small, the learning efficiency and the classification performance deteriorate.

본 발명이 이루고자 하는 기술적 과제는 적은 양의 학습 데이터로도 학습 효율 및 분류 성능을 향상시킬 수 있는 기계 학습 기반의 자동 결함 분류 방법을 제공하는 데 있다.An object of the present invention is to provide an automatic defect classification method based on machine learning that can improve learning efficiency and classification performance even with a small amount of learning data.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 기계 학습 기반의 자동 결함 분류 방법은, 결함 유형이 알려진 샘플 이미지들을 준비하는 단계; 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 소정의 전처리 과정을 통해 서로 다른 제1 내지 제N(여기서 N은 2 이상의 자연수) 이미지를 획득하고, 상기 제1 내지 제N 이미지 각각으로부터 데이터 증강(data augmentation)을 통해 제1 내지 제N 이미지 세트를 획득하는 단계; 상기 샘플 이미지들에 대하여 획득된 제1 내지 제N 이미지 세트 각각에 대하여, 제n(n=1, ..., N) 이미지 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제n 결함 분류 모델을 생성함으로써, 제1 내지 제N 결함 분류 모델을 생성하는 단계; 및 대상 이미지를 입력받아, 상기 제1 내지 제N 결함 분류 모델을 이용하여 상기 대상 이미지의 결함 유형을 분류하는 단계를 포함한다.According to an aspect of the present invention, there is provided a machine learning-based automatic defect classification method comprising preparing sample images of a known defect type; For each of the sample images, different first to Nth images (where N is a natural number of two or more) images are obtained from a sample image through a predetermined preprocessing process, and data is enhanced from each of the first to Nth images. acquiring the first through N th image sets through augmentation; For each of the first to Nth image sets acquired for the sample images, the nth (n = 1, ..., N) image set is the training data input, and the defect type of the sample image is the training data output. Generating first to nth defect classification models by performing machine learning to generate an nth defect classification model; And classifying a defect type of the target image by receiving the target image and using the first to Nth defect classification models.

상기 제1 내지 제N 이미지는, 상기 샘플 이미지, 상기 샘플 이미지를 그레이 스케일 처리하여 획득된 그레이 스케일 이미지, 상기 그레이 스케일 이미지로부터 반복 패턴을 제거하는 과정을 통해 블롭(blob) 영역과 블롭 이외의 영역이 구분된 블롭 이미지, 상기 샘플 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 원본 크롭 이미지, 상기 그레이 스케일 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 그레이 스케일 크롭 이미지, 상기 블롭 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 블롭 크롭 이미지 중 적어도 둘 이상을 포함할 수 있다.The first to Nth images may include a blob area and a non-blob area by removing the repeating pattern from the sample image, the gray scale image obtained by gray scale processing the sample image, and the gray scale image. The separated blob image, the original crop image obtained by cropping a predetermined region to include at least a portion of the blob region in the sample image, and the cropped region to be cropped to include at least a portion of the blob region in the gray scale image. And a blob crop image obtained by cropping a predetermined area so that at least a portion of the blob area is included in the blob scaled grayscale crop image and the blob image.

상기 블롭 이미지는, 블롭 영역과 블롭 이외의 영역이 이진(binary)으로 구분된 이진 이미지, 블롭 이외의 영역에 반복 패턴의 윤곽이 남아 있는 MAP 이미지, 블롭 영역을 둘 이상의 픽셀값으로 표현한 MAP2 이미지 중 적어도 하나를 포함할 수 있다.The blob image is a binary image in which the blob area and the area other than the blob are divided into binaries, a MAP image in which the outline of the repeating pattern remains in the area other than the blob, and a MAP2 image representing the blob area as two or more pixel values. It may include at least one.

상기 데이터 증강은, 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 그 조합 중 적어도 둘 이상을 포함할 수 있다.The data augmentation may include at least two of rotation, enlargement, left and right inversion, vertical inversion, horizontal movement, vertical movement, and a combination thereof.

상기 기계 학습 기반의 자동 결함 분류 방법은, 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 획득된 제1 내지 제N 이미지를 각각 상기 제1 내지 제N 결함 분류 모델에 입력하여, 상기 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및 상기 샘플 이미지들에 대하여 획득된 상기 제1 내지 제N 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성하는 단계를 더 포함하고, 상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 앙상블 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류할 수 있다.The machine learning-based automatic defect classification method may include inputting the first to Nth images acquired from the sample images to the first to Nth defect classification models, respectively, for each of the sample images. Obtaining a probability value of each defect type for each N defect classification model; And an ensemble model by performing machine learning using a probability value of each defect type for each of the first to Nth defect classification models acquired for the sample images as training data input, and performing a machine learning using the defect type of the corresponding sample image as training data output. The method may further include generating an error, and classifying the defect type of the target image may further classify the defect type of the target image by further using the ensemble model.

상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 대상 이미지로부터 소정의 전처리 과정을 통해 제1 내지 제N 이미지를 획득하는 단계; 상기 대상 이미지로부터 획득된 상기 제1 내지 제N 이미지를 각각 상기 제1 내지 제N 결함 분류 모델에 입력하여, 상기 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및 상기 제1 내지 제N 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 상기 앙상블 모델에 입력하여, 상기 앙상블 모델을 통해 상기 대상 이미지의 결함 유형을 결정하는 단계를 포함할 수 있다.The classifying the defect type of the target image may include obtaining first to Nth images from the target image through a predetermined preprocessing process; Inputting the first through N-th images acquired from the target image into the first through N-th defect classification models, respectively, to obtain probability values of respective defect types for each of the first through N-th defect classification models; And determining a defect type of the target image through the ensemble model by inputting a probability value of each defect type obtained for each of the first to Nth defect classification models into the ensemble model.

상기 기계 학습 기반의 자동 결함 분류 방법은, 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 적어도 둘 이상의 특징값들을 포함하는 특징값 세트를 획득하는 단계; 및 상기 샘플 이미지들에 대하여 획득된 특징값 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제(N+1) 결함 분류 모델을 생성하는 단계를 더 포함하고, 상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 제(N+1) 결함 분류 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류할 수 있다.The machine learning based automatic defect classification method may further comprise obtaining, for each of the sample images, a feature value set comprising at least two feature values from a sample image; And generating a (N + 1) defect classification model by performing machine learning using the acquired feature value set for the sample images as the training data input and performing the machine learning using the defect type of the sample image as the training data output. And classifying the defect type of the target image may further classify the defect type of the target image by further using the (N + 1) th defect classification model.

상기 특징값들은, 상기 샘플 이미지로부터 추출된 블롭(blob)의 개수, 형상, 크기 또는 픽셀값에 관련된 값 및 그 조합 중 적어도 둘 이상을 포함할 수 있다.The feature values may include at least two or more of a number, shape, size, or pixel value of the blobs extracted from the sample image, and a combination thereof.

상기 기계 학습 기반의 자동 결함 분류 방법은, 상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 획득된 제1 내지 제N 이미지 및 특징값 세트를 각각 상기 제1 내지 제N 결함 분류 모델 및 상기 제(N+1) 결함 분류 모델에 입력하여, 상기 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및 상기 샘플 이미지들에 대하여 획득된 상기 제1 내지 제(N+1) 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성하는 단계를 더 포함하고, 상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 앙상블 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류할 수 있다.The automatic defect classification method based on the machine learning may include, for each of the sample images, a first to Nth image and a set of feature values obtained from a sample image, respectively, for the first to Nth defect classification models and the (N). +1) inputting a defect classification model to obtain a probability value of each defect type for each of the first to (N + 1) th defect classification models; And machine learning by inputting the probability value of each defect type for each of the first through the (N + 1) th defect classification models obtained for the sample images as the training data input and the defect type of the corresponding sample image as the training data output. The method may further include generating an ensemble model, and classifying the defect type of the target image may further classify the defect type of the target image by further using the ensemble model.

상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 대상 이미지로부터 소정의 전처리 과정을 통해 제1 내지 제N 이미지 및 특징값 세트를 획득하는 단계; 상기 대상 이미지로부터 획득된 상기 제1 내지 제N 이미지 및 특징값 세트를 각각 상기 제1 내지 제N 결함 분류 모델 및 상기 제(N+1) 결함 분류 모델에 입력하여, 상기 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및 상기 제1 내지 제(N+1) 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 상기 앙상블 모델에 입력하여, 상기 앙상블 모델을 통해 상기 대상 이미지의 결함 유형을 결정하는 단계를 포함할 수 있다.The classifying the defect type of the target image may include obtaining first to N-th images and a feature value set through a predetermined preprocessing process from the target image; The first through N-th image and the feature value set obtained from the target image are input to the first through Nth defect classification model and the (N + 1) th defect classification model, respectively, and the first through Nth +1) obtaining probability values of each defect type for each defect classification model; And determining a defect type of the target image through the ensemble model by inputting a probability value of each defect type obtained for each of the first to (N + 1) th defect classification models to the ensemble model. .

상기 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 기계 학습 기반 자동 결함 분류 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In order to solve the above technical problem, there is provided a computer-readable recording medium having recorded thereon a program for executing the machine learning-based automatic defect classification method according to the present invention.

본 발명에 의하면, 샘플 이미지로부터 소정의 전처리 과정을 통해 다양한 이미지를 획득하여 각 이미지마다 개별 결함 분류 모델을 생성함으로써, 적은 양의 샘플 이미지로도 학습 효율 및 분류 성능을 향상시킬 수 있는 효과가 있다.According to the present invention, by obtaining a variety of images from the sample image through a predetermined pre-processing process to generate a separate defect classification model for each image, there is an effect that can improve the learning efficiency and classification performance even with a small amount of sample image .

도 1은 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 결함 유형이 알려진 샘플 이미지들을 가지고 기계 학습을 통해 개별 결함 분류 모델을 생성하는 과정을 나타내는 흐름도이다.
도 2a는 결함이 포함된 샘플 이미지의 일 예를 보여준다.
도 2b는 도 2a의 샘플 이미지로부터 획득된 이진 이미지의 일 예를 보여준다.
도 2c는 도 2a의 샘플 이미지로부터 획득된 MAP 이미지의 일 예를 보여준다.
도 2d는 도 2a의 샘플 이미지로부터 획득된 MAP2 이미지의 일 예를 보여준다.
도 2e는 도 2a의 샘플 이미지로부터 획득된 그레이 스케일 크롭 이미지의 일 예를 보여준다.
도 3은 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 도 1의 과정을 통해 생성된 개별 결함 분류 모델을 통해 획득되는 각 결함 유형의 확률값을 가지고 기계 학습을 통해 앙상블 모델을 생성하는 과정을 나타내는 흐름도이다.
도 4는 도 1의 과정을 통해 생성된 개별 결함 분류 모델과 도 3의 과정을 통해 생성된 앙상블 모델의 구조의 예를 보여준다.1 is a flowchart illustrating a process of generating an individual defect classification model through machine learning with sample images of a known defect type in a machine learning based automatic defect classification method according to an embodiment of the present invention.
2A shows an example of a sample image including a defect.
FIG. 2B shows an example of a binary image obtained from the sample image of FIG. 2A.
FIG. 2C shows an example of a MAP image obtained from the sample image of FIG. 2A.
FIG. 2D shows an example of a MAP2 image obtained from the sample image of FIG. 2A.
FIG. 2E shows an example of a gray scale crop image obtained from the sample image of FIG. 2A.
3 is an ensemble model through machine learning with a probability value of each defect type acquired through the individual defect classification model generated through the process of FIG. 1 in the machine learning based automatic defect classification method according to an embodiment of the present invention. Is a flow chart showing the process of generating.
4 illustrates an example of a structure of an individual defect classification model generated through the process of FIG. 1 and an ensemble model generated through the process of FIG. 3.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, the substantially identical components are represented by the same reference numerals, and thus redundant description will be omitted. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 결함 유형이 알려진 샘플 이미지들을 가지고 기계 학습을 통해 개별 결함 분류 모델을 생성하는 과정을 나타내는 흐름도이다. 본 발명의 실시예에서 개별 결함 분류 모델을 위한 기계 학습 알고리즘으로는 예컨대 CNN(Convolutional Neural Network)이 사용될 수 있다.1 is a flowchart illustrating a process of generating an individual defect classification model through machine learning with sample images of a known defect type in a machine learning based automatic defect classification method according to an embodiment of the present invention. In an embodiment of the present invention, for example, a convolutional neural network (CNN) may be used as a machine learning algorithm for an individual defect classification model.

110단계에서, 결함 유형이 알려진 샘플 이미지들을 준비한다. 샘플 이미지는 예컨대 디스플레이 패널, PCB 등과 같은 제품을 촬영한 이미지로서, 결함 부분이 포함되어 있고 해당 결함의 결함 유형이 분류되어 있는 이미지이다. 도 2a는 결함이 포함된 원본 이미지의 일 예를 보여준다. 일반적으로 딥러닝 기법에서는 이러한 샘플 이미지가 충분한 양이 확보되어야 학습 효율 및 분류의 정확도가 증가하나, 본 발명의 실시예에서는 적은 양의 샘플 이미지로도 학습 효율 및 분류 성능을 향상시키고자 한다.In step 110, sample images having a known defect type are prepared. The sample image is an image of a product such as a display panel, a PCB, and the like, and includes an image of a defect and classifies a defect type of the defect. 2A shows an example of an original image including a defect. In general, the deep learning technique increases the learning efficiency and the accuracy of classification only when a sufficient amount of such sample images is secured. However, in the exemplary embodiment of the present invention, the learning efficiency and classification performance are improved even with a small amount of sample images.

샘플 이미지들이 준비되면, 샘플 이미지들 각각에 대하여 다음과 같은 120단계 내지 140단계를 수행한다. 실시예에 따라서는 개별 결함 분류 모델이 생성된 뒤 샘플 이미지가 추가될 수도 있는데, 이 경우 추가된 샘플 이미지에 대하여 다음과 같은 120단계 내지 140단계를 수행한다.When the sample images are prepared, the following steps 120 to 140 are performed on each of the sample images. In some embodiments, a sample image may be added after the individual defect classification model is generated. In this case, steps 120 to 140 are performed on the added sample image.

120단계에서, 샘플 이미지로부터, 소정의 전처리 과정들을 통해 서로 다른 제1 내지 제N(여기서 N은 2 이상의 자연수) 이미지를 획득한다. 이하에서는 샘플 이미지를 편의상 '원본 이미지'라 칭하기로 한다. 제1 내지 제N 이미지에는 원본 이미지와 원본 이미지를 전처리하여 얻어진 복수 개의 전처리 이미지들이 포함될 수 있다. In operation 120, different first to Nth images, where N is a natural number of two or more, are obtained from the sample image through predetermined preprocessing steps. Hereinafter, the sample image will be referred to as an "original image" for convenience. The first to Nth images may include the original image and a plurality of preprocessed images obtained by preprocessing the original image.

상기 전처리 이미지들에는 예컨대, 원본 이미지를 그레이 스케일 처리하여 획득된 그레이 스케일 이미지, 그레이 스케일 이미지로부터 반복 패턴을 제거하는 과정을 통해 결함 부분에 해당하는 블롭(blob) 영역과 블롭 이외의 영역이 구분된 블롭 이미지, 원본 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 원본 크롭 이미지, 그레이 스케일 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 그레이 스케일 크롭 이미지, 블롭 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 블롭 크롭 이미지 등이 포함될 수 있다.The preprocessed images may include, for example, a gray scale image obtained by gray scale processing an original image, and a blob area corresponding to a defective portion and an area other than the blob are divided through a process of removing a repeating pattern from a gray scale image. Blob image, original crop image obtained by cropping a certain area to include at least part of the blob area in the original image, gray scale crop image obtained by cropping a certain area to include at least part of the blob area in the gray scale image, blob The image may include a blob crop image obtained by cropping a predetermined area so that at least part of the blob area is included in the image.

또한 상기 블롭 이미지에는 예컨대, 블롭 영역과 블롭 이외의 영역이 이진(binary)으로 구분된 이진 이미지, 블롭 이외의 영역에 반복 패턴의 윤곽이 남아 있는 MAP 이미지, 블롭 영역을 소정의 임계값을 기준으로 둘 이상의 픽셀값으로 표현한 MAP2 이미지 등이 포함될 수 있다.In addition, the blob image includes, for example, a binary image in which the blob area and the non-blob area are divided into binaries, a MAP image in which a repeating pattern remains in the non-blob area, and the blob area based on a predetermined threshold value. MAP2 images represented by two or more pixel values may be included.

이진 이미지, MAP 이미지, MAP2 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 이미지는 각각 이진 크롭 이미지, MAP 크롭 이미지, MAP2 크롭 이미지라 칭하기로 한다.Images obtained by cropping a predetermined area so that at least a portion of the blob area is included in the binary image, the MAP image, and the MAP2 image will be referred to as a binary crop image, a MAP crop image, and a MAP2 crop image, respectively.

위에 열거된 그레이 스케일 이미지, 이진 이미지, MAP 이미지, MAP2 이미지, 이진 크롭 이미지, 원본 크롭 이미지, 그레이 스케일 크롭 이미지, MAP 크롭 이미지, MAP2 크롭 이미지의 구체적인 생성 방법의 예를 설명하면 다음과 같다. Examples of specific methods of generating the gray scale image, binary image, MAP image, MAP2 image, binary crop image, original crop image, gray scale crop image, MAP crop image, and MAP2 crop image listed above are as follows.

그레이 스케일 이미지 : 원본 이미지의 픽셀 정보는 R, G, B 채널의 픽셀값을 포함한다. 그레이 스케일 이미지의 픽셀값은 원본 이미지의 R, G, B 채널의 픽셀값의 가중치 합으로 나타낼 수 있다. 필요에 따라서, 이미지의 픽셀값들이 편향된 경우 히스토그램 평탄화를 통해 픽셀값들을 0~255 사이로 고르게 분포시켜 명암 대비를 개선할 수도 있다. Gray scale image: The pixel information of the original image includes pixel values of the R, G, and B channels. The pixel value of the gray scale image may be represented as a weighted sum of the pixel values of the R, G, and B channels of the original image. If necessary, when the pixel values of the image are deflected, the contrast may be improved by evenly distributing the pixel values between 0 and 255 through histogram flattening.

그레이 스케일 이미지로부터 블롭(blob) 영역과 블롭 이외의 영역이 구분되는 이진 이미지, MAP 이미지, MAP2 이미지를 생성하기 위해 다음과 같이 반복 패턴을 제거하는 과정을 수행한다. 본 발명의 실시예에서는 이미지 내에서 블롭 이외의 부분에 반복 패턴이 나타나는 것으로 가정한다. 예컨대 도 2a를 참조하면, 가운데 근처에 있는 블롭 부분을 제외하면 반복 패턴이 존재함을 확인할 수 있다. To generate a binary image, a MAP image, and a MAP2 image in which a blob area and a non-blob area are separated from a gray scale image, a repeating pattern is removed as follows. In an embodiment of the present invention, it is assumed that a repeating pattern appears in a portion other than a blob in an image. For example, referring to FIG. 2A, it can be seen that a repeating pattern exists except for a blob near the center.

먼저, 이미지(그레이 스케일 이미지)에서 반복 패턴의 주기를 찾는다. 이를 위하여, 패턴의 전체가 충분히 포함될 수 있는 영역을 잘라내고(예컨대 이미지의 좌상 끝단으로부터 가로 1/10, 세로 1/4), 잘라낸 영역을 이미지에서 가로, 세로로 이동시켜 가면서 잘라낸 영영과 가장 유사한 부분이 나타난 경우의 해당 가로, 세로 좌표를 반복 패턴의 주기로 결정한다. First, find the period of the repeating pattern in the image (gray scale image). To do this, cut out an area where the entirety of the pattern can be fully contained (e.g., 1/10 horizontal and 1/4 vertical from the upper left end of the image), and move the cropped area horizontally and vertically in the image, making it most similar to cropping. When the part appears, the corresponding horizontal and vertical coordinates are determined by the period of the repeating pattern.

그 다음, 이미지의 임의의 픽셀에서 한 주기만큼 이동한 픽셀을 M 픽셀로 정의하고, 이미지와 동일한 크기로 모든 픽셀값이 128인 그레이 이미지를 생성한다. 그리고 이미지의 각 픽셀(pixel)마다 abs(pixel-M(pixel)) 값을 계산하고, 그레이 이미지의 대응 픽셀마다 픽셀값 128에서 abs(pixel-M(pixel)) 값을 뺀 이미지를 생성하여, 이것을 기준 이미지로 활용한다. abs(pixel-M(pixel)) 값은 반복 패턴일 경우 0 또는 비교적 작은 값을 가지고(픽셀과 M 픽셀의 픽셀값은 동일하거나 유사하므로), 반복 패턴이 아닐 경우(즉, 블롭 부분인 경우) 비교적 큰 값을 가지게 된다. 따라서 상기 기준 이미지에서 블롭 부분의 픽셀값은 비교적 작은 값을, 블롭 이외의 부분의 픽셀값은 128에 가까운 비교적 큰 값을 가지게 된다. Then, a pixel shifted by one period from any pixel of the image is defined as M pixels, and a gray image having all pixel values of 128 with the same size as the image is generated. In addition, the abs (pixel-M (pixel)) value is calculated for each pixel of the image, and the corresponding pixel of the gray image is generated by subtracting the abs (pixel-M (pixel)) value from the pixel value 128. Use this as a reference image. The abs (pixel-M (pixel)) value is 0 or a relatively small value for the repeating pattern (since the pixel values of pixels and M pixels are the same or similar), and for non-repeating patterns (ie, the blob portion). It will have a relatively large value. Accordingly, the pixel value of the blob portion in the reference image has a relatively small value, and the pixel value of the portion other than the blob has a relatively large value of close to 128.

이러한 기준 이미지를 가지고 이진 이미지, MAP 이미지, MAP2 이미지를 생성할 수 있다.With these reference images, binary images, MAP images, and MAP2 images can be created.

이진 이미지 : 기준 이미지의 각 픽셀을 소정의 임계값(예컨대 70)을 기준으로 임계값보다 작을 경우(즉, 블롭 부분에 해당하는 경우) 흰색(픽셀값 0)으로, 임계값보다 클 경우 검정색(픽셀값 255)으로 변환한다. 이 과정을 통해 블롭 영역은 흰색으로, 블롭 이외의 영역은 검정색으로 나타나는 이진 이미지가 얻어진다. 도 2b는 도 2a의 샘플 이미지로부터 획득된 이진 이미지의 일 예를 보여준다. Binary Image: Each pixel of the reference image is less than the threshold (i.e., corresponds to the blob portion) based on a predetermined threshold (e.g. 70), white (pixel value 0), and black if greater than the threshold Pixel value 255). This yields a binary image in which the blobs are white and the areas other than the blobs are black. FIG. 2B shows an example of a binary image obtained from the sample image of FIG. 2A.

MAP 이미지 : 기준 이미지의 각 픽셀을 소정의 임계값(예컨대 70)을 기준으로 임계값보다 작을 경우(즉, 블롭 부분에 해당하는 경우) 검정색(픽셀값 255)으로, 임계값보다 클 경우 (128-'기준 이미지의 픽셀값')으로 변환한다. (128-'기준 이미지의 픽셀값')은 반복 패턴의 윤곽을 표현하게 된다. 따라서 이 과정을 통해 블롭 영역은 검정색으로, 블롭 이외의 영역에는 반복 패턴의 윤곽이 남아 있는 MAP 이미지가 얻어진다. 도 2c는 도 2a의 샘플 이미지로부터 획득된 MAP 이미지의 일 예를 보여준다.MAP image: Each pixel of the reference image is less than the threshold (i.e. corresponding to the blob portion) based on a predetermined threshold (e.g. 70), black (pixel value 255), greater than the threshold (128 -'Pixel value of reference image '). (128-'pixel value of the reference image ') represents the outline of the repeating pattern. Therefore, the MAP image is obtained in which the blob area is black and the outline of the repeating pattern remains in the non-blob area. FIG. 2C shows an example of a MAP image obtained from the sample image of FIG. 2A.

MAP2 이미지 : 기준 이미지의 각 픽셀을 몇 개의 임계값(예컨대, 10, 30, 50, 70)을 기준으로 구간마다 서로 다른 픽셀값으로 변환한다. 예컨대 픽셀값이 10 이하일 경우 255(검정색)로, 10~30일 경우 230으로, 30~50일 경우 210으로, 50~70일 경우 190으로, 70보다 클 경우 128(회색)으로 변환한다. 이 과정을 통해, 블롭 이외의 영역은 회색으로, 블롭 영역은 검정색 또는 진한 회색으로 나타나는 MAP2 이미지가 얻어진다. 도 2d는 도 2a의 샘플 이미지로부터 획득된 MAP2 이미지의 일 예를 보여준다.MAP2 image: Each pixel of the reference image is converted into a different pixel value for each section based on several threshold values (eg, 10, 30, 50, 70). For example, if the pixel value is 10 or less, it is converted to 255 (black), 10 to 30 to 230, 30 to 50 to 210, 50 to 70 to 190, and larger than 70 to 128 (gray). This process yields a MAP2 image in which areas other than blobs are gray and blobs are black or dark gray. FIG. 2D shows an example of a MAP2 image obtained from the sample image of FIG. 2A.

이진 크롭 이미지, 원본 크롭 이미지, 그레이 스케일 크롭 이미지, MAP 크롭 이미지, MAP2 크롭 이미지는 각각 이진 이미지, 원본 이미지, 그레이 스케일 이미지, MAP 이미지, MAP2 이미지에서 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 이미지이다. 본 발명의 실시예에서는, 이진 이미지로부터 크롭 영역을 결정하고, 동일한 크롭 영역을 원본 이미지, 그레이 스케일 이미지, MAP 이미지, MAP2 이미지에 적용하여 각각의 크롭 이미지를 획득할 수 있다. Binary Crop Image, Original Crop Image, Grayscale Crop Image, MAP Crop Image, MAP2 Crop Image each crops a certain area so that it contains at least a part of the blob area in binary image, original image, gray scale image, MAP image, MAP2 image The image obtained by In an embodiment of the present invention, a crop region may be determined from a binary image, and each crop image may be obtained by applying the same crop region to an original image, a gray scale image, a MAP image, and a MAP2 image.

크롭 영역은 이진 이미지에서 블롭들을 추출하고, 추출된 블롭들 중 크기가 가장 큰 블롭의 중심 좌표를 추출하여, 이 중심 좌표를 기준으로 상하좌우의 일정 영역을 크롭 영역으로 결정할 수 있다. 예컨대 중심 좌표를 기준으로 상하좌우 256픽셀을 크롭 영역으로 하면 512*512 크기의 크롭 이미지가 생성된다. 도 2e는 그레이 스케일 이미지에서 블롭 영역의 일부가 포함되도록 일정 영역을 크롭하여 획득한 그레이 스케일 크롭 이미지의 일 예를 보여준다.The crop region extracts the blobs from the binary image, extracts the center coordinates of the blob having the largest size among the extracted blobs, and determines a predetermined region of the top, bottom, left, and right as the crop region based on the center coordinates. For example, if the top, bottom, left, and right 256 pixels are the crop area based on the center coordinate, a crop image of 512 * 512 size is generated. FIG. 2E shows an example of a gray scale crop image obtained by cropping a predetermined region so that a part of the blob region is included in the gray scale image.

이진 이미지에서 블롭들은 다음과 같이 추출할 수 있다. 1) 이진 이미지에서 블롭 영역의 한 픽셀, 즉 픽셀값이 0인 임의의 한 픽셀을 지정한다. 2) 지정된 픽셀을 블롭 시드(seed)로 삼고, 주변 픽셀의 픽셀값이 0이면 주변 픽셀은 새로운 블롭 시드로, 픽셀값이 255이면 블롭 컨투어(contour)로 할당한다. 3) 2)의 과정을 모든 블롭 시드가 블롭 컨투어 또는 이미지 경계면 내에 존재할 때까지 반복한다. 4) 할당된 블롭 시드들을 하나의 블롭으로 추출하고, 이진 이미지 내에 아직 블롭 시드로 할당되지 않은 새로운 픽셀에 대해 1)~4)의 과정을 반복한다. 5) 추출된 블롭들 중 크기가 비교적 작은(예컨대 5 픽셀 미만의) 블롭들은 노이즈로 간주하고 제외할 수 있다.The blobs in the binary image can be extracted as follows. 1) Specify one pixel of the blob area in the binary image, that is, any pixel with a pixel value of zero. 2) The designated pixel is a blob seed, and if the pixel value of the neighboring pixel is 0, the neighboring pixel is assigned a new blob seed, and if the pixel value is 255, the blob contour is assigned. 3) Repeat the process of 2) until all blob seeds are within the blob contour or image boundary. 4) Extract the assigned blob seeds into one blob and repeat the steps 1) to 4) for the new pixels not yet assigned to the blob seed in the binary image. 5) Blobs of relatively small size (e.g., less than 5 pixels) among the extracted blobs may be considered noise and excluded.

한편, 이진 이미지에서 위와 같이 추출된 블롭들을 가지고 샘플 이미지의 특징값들을 획득하여 학습 데이터로 활용할 수 있다. 따라서 다시 도 1을 참조하면, 130단계에서, 이진 이미지에서 추출된 블롭들을 이용하여 적어도 둘 이상의 특징값들을 포함하는 특징값 세트를 획득한다.Meanwhile, feature values of a sample image may be acquired using the blobs extracted from the binary image and used as training data. Therefore, referring back to FIG. 1, in step 130, a feature value set including at least two feature values is obtained using blobs extracted from the binary image.

상기 특징값들에는, 블롭의 개수, 형상, 크기, 또는 픽셀값에 관련된 값 및 그 조합 등이 포함될 수 있다. 특징값들의 구체적인 예는 다음과 같다. The feature values may include a number, a shape, a size of blobs, a value related to pixel values, a combination thereof, or the like. Specific examples of feature values are as follows.

Blob_Area : 추출된 블롭들의 넓이Blob_Area: Area of extracted blobs

Blob_Brightness : 블롭 영역의 평균 픽셀값(그레이 이미지의 픽셀값)Blob_Brightness: Average pixel value of blob area (pixel value of gray image)

Blobs_count : 추출된 블롭의 개수Blobs_count: Number of blobs extracted

Convex_hull : 블롭을 둘러싸는 최소 넓이의 볼록다각형Convex_hull: Minimum convex polygon surrounding the blob

Maxblob_Angle : 가장 큰 블롭을 둘러싸는 가장 작은 직사각형의 기울어진 정도Maxblob_Angle: The angle of inclination of the smallest rectangle surrounding the largest blob

Maxblob_Perimeter : 가장 큰 블롭의 둘레Maxblob_Perimeter: circumference of the largest blob

Maxblob_Diameter : 가장 큰 블롭의 직경Maxblob_Diameter: diameter of the largest blob

Maxblob_Length_1st: 가장 큰 블롭을 둘러싸는 가장 작은 직사각형의 긴 변의 길이Maxblob_Length_1st: Length of longest side of smallest rectangle that encloses largest blob

Maxblob_Length_2nd: 가장 큰 블롭을 둘러싸는 가장 작은 직사각형의 짧은 변의 길이Maxblob_Length_2nd: The length of the shortest side of the smallest rectangle surrounding the largest blob

Maxblob_Roughness : 가장 큰 블롭의 둘레가 거친 정도 (blob 둘레/hull 둘레)Maxblob_Roughness: Roughness of the largest blob (blob circumference / hull circumference)

Maxblob_Solidity : 가장 큰 블롭이 볼록한 정도 (blob 넓이/hull 넓이)Maxblob_Solidity: How big the blob is convex (blob width / hull width)

위 특징값들의 평균, 표준편차, 최소값, 최대값, hull feature 등Average, standard deviation, minimum, maximum, hull feature

다음으로 140단계에서, 상기 120단계를 통해 얻어진 제1 내지 제N 이미지 각각으로부터, 데이터 증강(data augmentation)을 통해, 제1 내지 제N 이미지 세트를 획득한다. 여기서 데이터 증강은, 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 이들의 조합 등을 포함할 수 있다. 샘플 이미지로부터 얻어진 제n(n=1, ..., N) 이미지에 대하여, 데이터 증강을 통해 제n 이미지를 포함하여 수개 내지 수십개의 이미지들로 이루어지는 제n 이미지 세트가 생성될 수 있다.Next, in step 140, the first to Nth image sets are obtained from the first to Nth images obtained through the 120 through data augmentation. Here, the data augmentation may include rotation, enlargement, left and right inversion, vertical inversion, horizontal movement, vertical movement, a combination thereof, and the like, of the image. For an nth (n = 1, ..., N) image obtained from the sample image, an nth image set consisting of several to several tens of images including the nth image may be generated through data enhancement.

예컨대, 원본 이미지, 원본 크롭 이미지, 이진 이미지, 이진 크롭 이미지, 그레이 스케일 이미지, 그레이 스케일 크롭 이미지, MAP 이미지, MAP 크롭 이미지, MAP2 이미지, MAP2 크롭 이미지 각각에 대하여, 데이터 증강을 통해, 원본 이미지 세트, 원본 크롭 이미지 세트, 이진 이미지 세트, 이진 크롭 이미지 세트, 그레이 스케일 이미지 세트, 그레이 스케일 크롭 이미지 세트, MAP 이미지 세트, MAP 크롭 이미지 세트, MAP2 이미지 세트, MAP2 크롭 이미지 세트가 생성될 수 있다.For example, for each of the original image, original crop image, binary image, binary crop image, gray scale image, gray scale crop image, MAP image, MAP crop image, MAP2 image, MAP2 crop image, through data enhancement, original image set The original crop image set, binary image set, binary crop image set, gray scale image set, gray scale crop image set, MAP image set, MAP crop image set, MAP2 image set, MAP2 crop image set can be generated.

모든 샘플 이미지들에 대하여 상기 120단계 내지 140단계가 완료되면, 150단계에서, 샘플 이미지들에 대하여 획득된 제1 내지 제N 이미지 세트 각각에 대하여, 제n(n=1, ..., N) 이미지 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제n 결함 분류 모델을 생성함으로써, 제1 내지 제N 결함 분류 모델을 생성한다.When the steps 120 to 140 are completed for all the sample images, in step 150, for each of the first to Nth image sets acquired for the sample images, n (n = 1, ..., N The first to Nth defect classification models are generated by performing the n-th defect classification model by performing machine learning using the image set as the training data input and the defect type of the corresponding sample image as the training data output.

예컨대, 원본 이미지 세트로 기계 학습을 수행하여 제1 결함 분류 모델을 생성하고, 원본 크롭 이미지 세트로 기계 학습을 수행하여 제2 결함 분류 모델을 생성하고, 이진 이미지 세트로 기계 학습을 수행하여 제3 결함 분류 모델을 생성하고, 이진 크롭 이미지 세트로 기계 학습을 수행하여 제4 결함 분류 모델을 생성하고, 그레이 스케일 이미지 세트로 기계 학습을 수행하여 제5 결함 분류 모델을 생성하고, 그레이 스케일 크롭 이미지 세트로 기계 학습을 수행하여 제6 결함 분류 모델을 생성하고, MAP 이미지 세트로 기계 학습을 수행하여 제7 결함 분류 모델을 생성하고, MAP 크롭 이미지 세트로 기계 학습을 수행하여 제8 결함 분류 모델을 생성하고, MAP2 이미지 세트로 기계 학습을 수행하여 제9 결함 분류 모델을 생성하고, MAP2 크롭 이미지 세트로 기계 학습을 수행하여 제10 결함 분류 모델을 생성할 수 있다.For example, machine learning is performed on the original image set to generate a first defect classification model, machine learning is performed on the original crop image set to generate a second defect classification model, and machine learning is performed on a binary image set to generate a third defect classification model. Generate a defect classification model, perform a machine learning with a set of binary crop images to generate a fourth defect classification model, perform a machine learning with a gray scale image set to generate a fifth defect classification model, and set a gray scale crop image Machine learning is performed to generate a sixth defect classification model, machine learning is performed on the MAP image set to generate the seventh defect classification model, and machine learning is performed on the MAP crop image set to generate the eighth defect classification model. Machine learning with the MAP2 image set to generate a ninth defect classification model, and the mechanics with the MAP2 crop image set. To a can generate the model 10 defect classification performed.

160단계에서, 상기 130단계를 통해 샘플 이미지들에 대하여 획득된 특징값 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제(N+1) 결함 분류 모델을 생성한다.In step 160, the N (n + 1) defect classification is performed by performing machine learning using the feature value set obtained for the sample images as the training data input in step 130 and the defect type of the corresponding sample image as the training data output. Create a model.

예컨대, 특징값 세트로 기계 학습을 수행하여 제11 결함 분류 모델을 생성할 수 있다.For example, the eleventh defect classification model may be generated by performing machine learning with a feature value set.

결함 유형을 분류하고자 하는 대상 이미지가 주어지면, 도 1의 과정을 통해 생성된 제1 내지 제(N+1) 결함 분류 모델을 이용하여 대상 이미지의 결함 유형을 분류할 수 있다. Given a target image to classify a defect type, the defect type of the target image may be classified using the first through (N + 1) th defect classification models generated through the process of FIG. 1.

도 3은 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 도 1의 과정을 통해 생성된 개별 결함 분류 모델을 통해 획득되는 각 결함 유형의 확률값을 가지고 기계 학습을 통해 앙상블(ensemble) 모델을 생성하는 과정을 나타내는 흐름도이다. 본 발명의 실시예에서 앙상블 모델을 위한 기계 학습 알고리즘으로는 예컨대 인공신경망(Artificial Neural Network) 분류기 중 하나인 MLP(Multi Layer Perceptron)가 사용될 수 있다.3 is a machine learning-based automatic defect classification method according to an embodiment of the present invention, the ensemble through the machine learning with the probability value of each defect type obtained through the individual defect classification model generated through the process of FIG. ensemble) A flow chart showing the process of creating a model. In the embodiment of the present invention, for example, MLP (Multi Layer Perceptron), which is one of artificial neural network classifiers, may be used as the machine learning algorithm for the ensemble model.

도 3을 참조하면, 샘플 이미지들 각각에 대하여 다음과 같은 310단계 및 320단계를 수행한다. Referring to FIG. 3, steps 310 and 320 are performed on each of the sample images.

310단계에서, 샘플 이미지로부터 전처리 과정을 통해 획득된 제1 내지 제N 이미지를 각각 제1 내지 제N 결함 분류 모델에 입력하여, 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득한다. 가령 결함 유형이 4가지라면, 제1 내지 제N 결함 분류 모델마다 각각 4개의 확률값이 얻어진다. In operation 310, the first to Nth images acquired through the preprocessing process from the sample images are input to the first to Nth defect classification models, respectively, to obtain probability values of respective defect types for each of the first to Nth defect classification models. . For example, if there are four defect types, four probability values are obtained for each of the first to Nth defect classification models.

그리고 320단계에서, 샘플 이미지로부터 획득된 특징값 세트를 제(N+1) 결함 분류 모델에 입력하여, 제(N+1) 결함 분류 모델에 대한 각 결함 유형의 확률값을 획득한다. 이때도 마찬가지로 가령 결함 유형이 4가지라면, 제(N+1) 결함 분류 모델에 대하여 4개의 확률값이 얻어진다.In operation 320, the set of feature values obtained from the sample image is input to the (N + 1) th defect classification model to obtain a probability value of each defect type for the (N + 1) th defect classification model. In this case, for example, if there are four types of defects, four probability values are obtained for the (N + 1) th defect classification model.

모든 샘플 이미지들에 대하여 상기 310단계 및 320단계가 완료되면, 330단계에서, 샘플 이미지들에 대하여 획득된 제1 내지 제(N+1) 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성한다.When the steps 310 and 320 are completed for all the sample images, in step 330, the probability data of each defect type for each of the first to the (N + 1) th defect classification models obtained for the sample images is inputted into the training data. We generate the ensemble model by performing machine learning with the defect type of the sample image as the training data output.

도 4는 도 1의 과정을 통해 생성된 개별 결함 분류 모델과 도 3의 과정을 통해 생성된 앙상블 모델의 구조의 예를 보여준다. 4 illustrates an example of a structure of an individual defect classification model generated through the process of FIG. 1 and an ensemble model generated through the process of FIG. 3.

도 4를 참조하면, 샘플 이미지에 대하여 11개의 결함 분류 모델마다 각각 4개의 확률값이 얻어져 총 44개의 확률값이 얻어진다. 전체 샘플 이미지들에 대하여 얻어진 11개의 결함 분류 모델마다의 결함 유형 별 확률값을 학습 데이터로 하여 앙상블 모델이 생성된다. Referring to FIG. 4, four probability values are obtained for each of the eleven defect classification models, thereby obtaining a total of 44 probability values. An ensemble model is generated using the probability data for each defect type for each of the eleven defect classification models obtained for all the sample images as training data.

결함 유형을 분류하고자 하는 대상 이미지가 주어지면, 도 1의 과정을 통해 생성된 제1 내지 제(N+1) 결함 분류 모델과 도 3의 과정을 통해 생성된 앙상블 모델을 이용하여 대상 이미지의 결함 유형을 분류할 수 있다. Given a target image to classify the defect type, defects of the target image using the first to (N + 1) defect classification model generated through the process of Figure 1 and the ensemble model generated through the process of Figure 3 You can classify types.

도 5는 본 발명의 일 실시예에 따른 기계 학습 기반의 자동 결함 분류 방법에서, 대상 이미지로부터 개별 결함 분류 모델과 앙상블 모델을 이용하여 결함 유형을 분류하는 과정을 나타내는 흐름도이다.FIG. 5 is a flowchart illustrating a process of classifying a defect type using an individual defect classification model and an ensemble model from a target image in a machine learning based automatic defect classification method according to an embodiment of the present invention.

510단계에서, 대상 이미지로부터 샘플 이미지에 대하여 수행했던 것과 동일한 전처리 과정을 통해 서로 다른 제1 내지 제N 이미지를 획득한다. In operation 510, different first through N-th images are obtained through the same preprocessing process as that performed on the sample image from the target image.

구체적으로, 대상 이미지로부터 획득되는 제1 내지 제N 이미지는, 원본 이미지, 원본 크롭 이미지, 이진 이미지, 이진 크롭 이미지, 그레이 스케일 이미지, 그레이 스케일 크롭 이미지, MAP 이미지, MAP 크롭 이미지, MAP2 이미지, MAP2 크롭 이미지를 포함할 수 있다.Specifically, the first to N-th image obtained from the target image, the original image, original crop image, binary image, binary crop image, gray scale image, gray scale crop image, MAP image, MAP crop image, MAP2 image, MAP2 May contain cropped images.

520단계에서, 대상 이미지로부터 샘플 이미지에 대하여 수행했던 것과 동일한 특징값 추출 과정을 통해 특징값 세트를 획득한다. In operation 520, a feature value set is obtained through the same feature value extraction process as that performed on the sample image from the target image.

530단계에서, 대상 이미지로부터 획득된 제1 내지 제N 이미지 및 특징값 세트를 각각 제1 내지 제N 결함 분류 모델 및 제(N+1) 결함 분류 모델에 입력하여, 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득한다. In operation 530, the first through N-th images and the feature value sets acquired from the target image are input to the first through Nth defect classification models and the (N + 1) th defect classification model, respectively, and the first through N + 1) A probability value of each defect type is obtained for each defect classification model.

540단계에서, 제1 내지 제(N+1) 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 앙상블 모델에 입력함으로써, 앙상블 모델을 통해 대상 이미지의 결함 유형을 결정한다. In operation 540, the defect type of the target image is determined through the ensemble model by inputting a probability value of each defect type obtained for each of the first to (N + 1) th defect classification models into the ensemble model.

도 4를 참조하여 대상 이미지의 결함 유형을 분류하는 과정을 설명하면, 대상 이미지에 대하여 11개의 결함 분류 모델마다 각각 4개의 확률값이 얻어져 총 44개의 확률값이 얻어지고, 이 확률값들을 앙상블 모델에 입력하면 대상 이미지의 결함 유형이 결정된다. Referring to FIG. 4, a process of classifying a defect type of a target image is performed. For each 11 defect classification models, four probability values are obtained for each target image, and a total of 44 probability values are obtained, and the probability values are input to the ensemble model. The defect type of the target image is then determined.

본 발명의 실시예에 의하면, 샘플 이미지로부터 소정의 전처리 과정을 통해 다양한 이미지를 획득하여 각 이미지마다 개별 결함 분류 모델을 생성함으로써, 비교적 적은 양의 샘플 이미지로도 학습 효율 및 분류 성능을 향상시킬 수 있다.According to an embodiment of the present invention, by acquiring various images from a sample image through a predetermined preprocessing process and generating individual defect classification models for each image, it is possible to improve learning efficiency and classification performance even with a relatively small amount of sample images. have.

또한, 개별 결함 분류 모델마다 획득되는 각 결함 유형의 확률값을 학습 데이터로 하여 앙상블 모델을 생성함으로써, 개별 결함 분류 모델 중 가장 성능이 뛰어난 모델의 성능으로 최소한의 분류 성능을 보장할 수 있다.In addition, by generating the ensemble model using the probability value of each defect type acquired for each defect classification model as the training data, it is possible to ensure the minimum classification performance with the performance of the most excellent model among the individual defect classification models.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 집적 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.Embodiments of the present invention can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions. For example, an embodiment may comprise an integrated circuit configuration such as memory, processing, logic, look-up table, etc., which may execute various functions by the control of one or more microprocessors or other control devices. You can employ them. Similar to the components in the present invention may be implemented in software programming or software elements, embodiments include C, C ++, including various algorithms implemented in combinations of data structures, processes, routines or other programming constructs. It may be implemented in a programming or scripting language such as Java, an assembler, or the like. The functional aspects may be implemented with an algorithm running on one or more processors. In addition, embodiments may employ prior art for electronic configuration, signal processing, and / or data processing. Terms such as "mechanism", "element", "means", "configuration" can be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.

실시예에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Specific implementations described in the embodiments are examples, and do not limit the scope of the embodiments in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections. In addition, unless otherwise specified, such as "essential", "important" may not be a necessary component for the application of the present invention.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (11)

기계 학습 기반의 자동 결함 분류 방법으로서,
결함 유형이 알려진 샘플 이미지들을 준비하는 단계;
상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 소정의 전처리 과정을 통해 서로 다른 제1 내지 제N(여기서 N은 2 이상의 자연수) 이미지를 획득하고, 상기 제1 내지 제N 이미지 각각으로부터 데이터 증강(data augmentation)을 통해 제1 내지 제N 이미지 세트를 획득하는 단계;
상기 샘플 이미지들에 대하여 획득된 제1 내지 제N 이미지 세트 각각에 대하여, 제n(n=1, ..., N) 이미지 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제n 결함 분류 모델을 생성함으로써, 제1 내지 제N 결함 분류 모델을 생성하는 단계; 및
대상 이미지를 입력받아, 상기 제1 내지 제N 결함 분류 모델을 이용하여 상기 대상 이미지의 결함 유형을 분류하는 단계를 포함하는 자동 결함 분류 방법.As a machine learning based automatic defect classification method,
Preparing sample images of which defect type is known;
For each of the sample images, different first to Nth images (where N is a natural number of two or more) images are obtained from a sample image through a predetermined preprocessing process, and data is enhanced from each of the first to Nth images. acquiring the first through N th image sets through augmentation;
For each of the first to Nth image sets acquired for the sample images, the nth (n = 1, ..., N) image set is the training data input, and the defect type of the sample image is the training data output. Generating first to nth defect classification models by performing machine learning to generate an nth defect classification model; And
And receiving a target image and classifying a defect type of the target image by using the first to N-th defect classification models. 제1항에 있어서,
상기 제1 내지 제N 이미지는, 상기 샘플 이미지, 상기 샘플 이미지를 그레이 스케일 처리하여 획득된 그레이 스케일 이미지, 상기 그레이 스케일 이미지로부터 반복 패턴을 제거하는 과정을 통해 블롭(blob) 영역과 블롭 이외의 영역이 구분된 블롭 이미지, 상기 샘플 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 원본 크롭 이미지, 상기 그레이 스케일 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 그레이 스케일 크롭 이미지, 상기 블롭 이미지에서 상기 블롭 영역의 적어도 일부가 포함되도록 일정 영역을 크롭하여 획득된 블롭 크롭 이미지 중 적어도 둘 이상을 포함하는 자동 결함 분류 방법.The method of claim 1,
The first to Nth images may include a blob area and a non-blob area by removing the sample image, a gray scale image obtained by gray scale processing the sample image, and a repetitive pattern from the gray scale image. The separated blob image, the original crop image obtained by cropping a predetermined region to include at least a portion of the blob region in the sample image, and the cropped region to be cropped to include at least a portion of the blob region in the gray scale image. And a blob crop image obtained by cropping a predetermined area such that at least a part of the blob area is included in the blob image. 제2항에 있어서,
상기 블롭 이미지는, 블롭 영역과 블롭 이외의 영역이 이진(binary)으로 구분된 이진 이미지, 블롭 이외의 영역에 반복 패턴의 윤곽이 남아 있는 MAP 이미지, 블롭 영역을 둘 이상의 픽셀값으로 표현한 MAP2 이미지 중 적어도 하나를 포함하는 자동 결함 분류 방법.The method of claim 2,
The blob image is a binary image in which the blob area and the area other than the blob are divided into binaries, a MAP image in which the outline of the repeating pattern remains in the area other than the blob, and a MAP2 image in which the blob area is expressed by two or more pixel values. An automatic defect classification method comprising at least one. 제1항에 있어서,
상기 데이터 증강은, 이미지의 회전, 확대, 좌우반전, 상하반전, 가로이동, 세로이동 및 그 조합 중 적어도 둘 이상을 포함하는 자동 결함 분류 방법.The method of claim 1,
The data augmentation, automatic defect classification method comprising at least two of the image rotation, enlargement, left and right reverse, up and down reverse, horizontal movement, vertical movement and combinations thereof. 제1항에 있어서,
상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 획득된 제1 내지 제N 이미지를 각각 상기 제1 내지 제N 결함 분류 모델에 입력하여, 상기 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및
상기 샘플 이미지들에 대하여 획득된 상기 제1 내지 제N 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성하는 단계를 더 포함하고,
상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 앙상블 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류하는 자동 결함 분류 방법.The method of claim 1,
For each of the sample images, first to Nth images obtained from the sample images are input to the first to Nth defect classification models, respectively, and probability values of respective defect types are determined for each of the first to Nth defect classification models. Obtaining; And
The ensemble model is generated by performing machine learning using the probability value of each defect type for each of the first to N-th defect classification models obtained for the sample images as the training data input, and the defect type of the corresponding sample image as the training data output. Further comprising generating,
The classifying the defect type of the target image may further include classifying the defect type of the target image using the ensemble model. 제5항에 있어서,
상기 대상 이미지의 결함 유형을 분류하는 단계는,
상기 대상 이미지로부터 소정의 전처리 과정을 통해 제1 내지 제N 이미지를 획득하는 단계;
상기 대상 이미지로부터 획득된 상기 제1 내지 제N 이미지를 각각 상기 제1 내지 제N 결함 분류 모델에 입력하여, 상기 제1 내지 제N 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및
상기 제1 내지 제N 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 상기 앙상블 모델에 입력하여, 상기 앙상블 모델을 통해 상기 대상 이미지의 결함 유형을 결정하는 단계를 포함하는 자동 결함 분류 방법.The method of claim 5,
Categorizing the defect type of the target image,
Acquiring first to Nth images from the target image through a predetermined preprocessing process;
Inputting the first through N-th images acquired from the target image into the first through N-th defect classification models, respectively, to obtain probability values of respective defect types for each of the first through N-th defect classification models; And
And determining a defect type of the target image through the ensemble model by inputting a probability value of each defect type obtained for each of the first to Nth defect classification models into the ensemble model. 제1항에 있어서,
상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 적어도 둘 이상의 특징값들을 포함하는 특징값 세트를 획득하는 단계; 및
상기 샘플 이미지들에 대하여 획득된 특징값 세트를 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 제(N+1) 결함 분류 모델을 생성하는 단계를 더 포함하고,
상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 제(N+1) 결함 분류 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류하는 자동 결함 분류 방법.The method of claim 1,
For each of the sample images, obtaining a feature value set comprising at least two feature values from a sample image; And
And generating a (N + 1) defect classification model by performing machine learning using the acquired feature value set for the sample images as the training data input and using the defect type of the sample image as the training data output. and,
The classifying the defect type of the target image may include classifying the defect type of the target image by further using the (N + 1) th defect classification model. 제7항에 있어서,
상기 특징값들은, 상기 샘플 이미지로부터 추출된 블롭(blob)의 개수, 형상, 크기 또는 픽셀값에 관련된 값 및 그 조합 중 적어도 둘 이상을 포함하는 자동 결함 분류 방법.The method of claim 7, wherein
Wherein said feature values comprise at least two or more of a number, shape, size, or pixel value of blobs extracted from said sample image, and combinations thereof. 제7항에 있어서,
상기 샘플 이미지들 각각에 대하여, 샘플 이미지로부터 획득된 제1 내지 제N 이미지 및 특징값 세트를 각각 상기 제1 내지 제N 결함 분류 모델 및 상기 제(N+1) 결함 분류 모델에 입력하여, 상기 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및
상기 샘플 이미지들에 대하여 획득된 상기 제1 내지 제(N+1) 결함 분류 모델마다의 각 결함 유형의 확률값을 학습 데이터 입력으로 하고 해당 샘플 이미지의 결함 유형을 학습 데이터 출력으로 하여 기계 학습을 수행하여 앙상블 모델을 생성하는 단계를 더 포함하고,
상기 대상 이미지의 결함 유형을 분류하는 단계는, 상기 앙상블 모델을 더 이용하여 상기 대상 이미지의 결함 유형을 분류하는 자동 결함 분류 방법.The method of claim 7, wherein
For each of the sample images, the first through N-th image and the feature value set obtained from the sample image are input to the first through Nth defect classification model and the (N + 1) th defect classification model, respectively, Obtaining a probability value of each defect type for each of the first to (N + 1) th defect classification models; And
Machine learning is performed by inputting the probability value of each defect type for each of the first to the (N + 1) th defect classification models obtained for the sample images as the training data input and the defect type of the corresponding sample image as the training data output. Generating an ensemble model further;
The classifying the defect type of the target image may further include classifying the defect type of the target image using the ensemble model. 제9항에 있어서,
상기 대상 이미지의 결함 유형을 분류하는 단계는,
상기 대상 이미지로부터 소정의 전처리 과정을 통해 제1 내지 제N 이미지 및 특징값 세트를 획득하는 단계;
상기 대상 이미지로부터 획득된 상기 제1 내지 제N 이미지 및 특징값 세트를 각각 상기 제1 내지 제N 결함 분류 모델 및 상기 제(N+1) 결함 분류 모델에 입력하여, 상기 제1 내지 제(N+1) 결함 분류 모델마다 각 결함 유형의 확률값을 획득하는 단계; 및
상기 제1 내지 제(N+1) 결함 분류 모델마다 획득된 각 결함 유형의 확률값을 상기 앙상블 모델에 입력하여, 상기 앙상블 모델을 통해 상기 대상 이미지의 결함 유형을 결정하는 단계를 포함하는 자동 결함 분류 방법.The method of claim 9,
Categorizing the defect type of the target image,
Acquiring a first to N-th image and a set of feature values from the target image through a predetermined preprocessing process;
The first through N-th image and the feature value set obtained from the target image are input to the first through Nth defect classification model and the (N + 1) th defect classification model, respectively, and the first through Nth +1) obtaining probability values of each defect type for each defect classification model; And
And determining a defect type of the target image through the ensemble model by inputting a probability value of each defect type obtained for each of the first through (N + 1) defect classification models into the ensemble model. Way. 제1항 내지 제10항 중 어느 한 항의 기계 학습 기반 자동 결함 분류 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the machine learning-based automatic defect classification method according to any one of claims 1 to 10.
KR1020180070845A 2018-06-20 2018-06-20 Automated defect classification method based on machine learning KR102154393B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180070845A KR102154393B1 (en) 2018-06-20 2018-06-20 Automated defect classification method based on machine learning
CN201910537298.2A CN110619343B (en) 2018-06-20 2019-06-20 Automatic defect classification method based on machine learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180070845A KR102154393B1 (en) 2018-06-20 2018-06-20 Automated defect classification method based on machine learning

Publications (2)

Publication Number Publication Date
KR20190143192A true KR20190143192A (en) 2019-12-30
KR102154393B1 KR102154393B1 (en) 2020-09-09

Family

ID=68921528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180070845A KR102154393B1 (en) 2018-06-20 2018-06-20 Automated defect classification method based on machine learning

Country Status (2)

Country Link
KR (1) KR102154393B1 (en)
CN (1) CN110619343B (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085722A (en) * 2020-09-07 2020-12-15 凌云光技术股份有限公司 Training sample image acquisition method and device
KR102284155B1 (en) * 2020-01-22 2021-07-29 에스케이 주식회사 Method and system using deep learning of multi-view image
CN113268914A (en) * 2020-02-14 2021-08-17 聚积科技股份有限公司 Method for establishing LED screen adjustment standard judgment model
WO2021221372A1 (en) * 2020-04-28 2021-11-04 삼성전자 주식회사 Electronic device for providing information associated with defect of product, and operating method thereof
KR102335013B1 (en) * 2020-12-21 2021-12-03 (주)위세아이텍 Apparatus and method for failure mode classification of rotating equipment based on deep learning denoising model
WO2022158628A1 (en) * 2021-01-20 2022-07-28 주식회사 솔루션에이 System for determining defect in display panel on basis of machine learning model
WO2022239977A1 (en) * 2021-05-10 2022-11-17 현대자동차주식회사 Method and device for augmenting data in m2m system
KR102469219B1 (en) * 2022-05-27 2022-11-23 국방과학연구소 Abnormal data detection method and electronic device therefor
WO2022250190A1 (en) * 2021-05-27 2022-12-01 주식회사 솔루션에이 Defect determination system for image inspection object by using deep learning model
KR20230010500A (en) * 2021-07-12 2023-01-19 울산과학기술원 Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784670B (en) * 2020-06-30 2022-05-20 深圳赛安特技术服务有限公司 Hot rolled steel plate surface defect identification method and device based on computer vision
KR102296511B1 (en) * 2020-11-17 2021-09-02 주식회사 트윔 Training data generating apparatus, method for product inspection and product inspection appratus using the training data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022346A (en) * 2015-08-20 2017-03-02 충북대학교 산학협력단 System and Method for Classification of PCB fault and Type of Fault
KR20170091716A (en) * 2014-12-03 2017-08-09 케이엘에이-텐코 코포레이션 Automatic defect classification without sampling and feature selection
KR20180005737A (en) * 2015-06-05 2018-01-16 케이엘에이-텐코 코포레이션 Repetitive defect classification method and system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162071B2 (en) * 2002-12-20 2007-01-09 Taiwan Semiconductor Manufacturing Co., Ltd. Progressive self-learning defect review and classification method
US9311531B2 (en) * 2013-03-13 2016-04-12 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
CN104778684B (en) * 2015-03-06 2019-01-08 江苏大学 Automatic measurement, characterization classification method and its system of steel surface heterogeneous type defect
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
CN106384074A (en) * 2015-07-31 2017-02-08 富士通株式会社 Detection apparatus of pavement defects and method thereof, and image processing equipment
CN106650823A (en) * 2016-12-30 2017-05-10 湖南文理学院 Probability extreme learning machine integration-based foam nickel surface defect classification method
CN107561738B (en) * 2017-08-30 2020-06-12 湖南理工学院 Fast TFT-LCD surface defect detection method based on FCN
CN107831173A (en) * 2017-10-17 2018-03-23 哈尔滨工业大学（威海） Photovoltaic component defect detection method and system
CN108038843A (en) * 2017-11-29 2018-05-15 英特尔产品（成都）有限公司 A kind of method, apparatus and equipment for defects detection
CN108154498A (en) * 2017-12-06 2018-06-12 深圳市智能机器人研究院 A kind of rift defect detecting system and its implementation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091716A (en) * 2014-12-03 2017-08-09 케이엘에이-텐코 코포레이션 Automatic defect classification without sampling and feature selection
JP2018506168A (en) * 2014-12-03 2018-03-01 ケーエルエー−テンカー コーポレイション Automatic defect classification without sampling and feature selection
KR20180005737A (en) * 2015-06-05 2018-01-16 케이엘에이-텐코 코포레이션 Repetitive defect classification method and system
KR20170022346A (en) * 2015-08-20 2017-03-02 충북대학교 산학협력단 System and Method for Classification of PCB fault and Type of Fault

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102284155B1 (en) * 2020-01-22 2021-07-29 에스케이 주식회사 Method and system using deep learning of multi-view image
CN113268914A (en) * 2020-02-14 2021-08-17 聚积科技股份有限公司 Method for establishing LED screen adjustment standard judgment model
WO2021221372A1 (en) * 2020-04-28 2021-11-04 삼성전자 주식회사 Electronic device for providing information associated with defect of product, and operating method thereof
CN112085722A (en) * 2020-09-07 2020-12-15 凌云光技术股份有限公司 Training sample image acquisition method and device
CN112085722B (en) * 2020-09-07 2024-04-09 凌云光技术股份有限公司 Training sample image acquisition method and device
KR102335013B1 (en) * 2020-12-21 2021-12-03 (주)위세아이텍 Apparatus and method for failure mode classification of rotating equipment based on deep learning denoising model
WO2022158628A1 (en) * 2021-01-20 2022-07-28 주식회사 솔루션에이 System for determining defect in display panel on basis of machine learning model
WO2022239977A1 (en) * 2021-05-10 2022-11-17 현대자동차주식회사 Method and device for augmenting data in m2m system
WO2022250190A1 (en) * 2021-05-27 2022-12-01 주식회사 솔루션에이 Defect determination system for image inspection object by using deep learning model
KR20230010500A (en) * 2021-07-12 2023-01-19 울산과학기술원 Apparatus and method for predicting and providing surface roughness of product to be moulded, and apparatus and method for predicting and providing process condition, using artificial intelligence
KR102469219B1 (en) * 2022-05-27 2022-11-23 국방과학연구소 Abnormal data detection method and electronic device therefor

Also Published As

Publication number Publication date
KR102154393B1 (en) 2020-09-09
CN110619343B (en) 2023-06-06
CN110619343A (en) 2019-12-27

Similar Documents

Publication Publication Date Title
KR102154393B1 (en) Automated defect classification method based on machine learning
Tabernik et al. Segmentation-based deep-learning approach for surface-defect detection
JP5174040B2 (en) Computer-implemented method for distinguishing between image components and background and system for distinguishing between image components and background
CN110930390B (en) Chip pin missing detection method based on semi-supervised deep learning
WO2019026104A1 (en) Information processing device, information processing program, and information processing method
US20070065003A1 (en) Real-time recognition of mixed source text
Boiangiu et al. Voting-based OCR system
CN110349167A (en) A kind of image instance dividing method and device
CN111145188A (en) Image segmentation method based on ResNet and UNet models
CN113807378B (en) Training data increment method, electronic device and computer readable recording medium
CN112819840B (en) High-precision image instance segmentation method integrating deep learning and traditional processing
US20210272295A1 (en) Analysing Objects in a Set of Frames
CN111986126A (en) Multi-target detection method based on improved VGG16 network
CN113159045A (en) Verification code identification method combining image preprocessing and convolutional neural network
CN112686104A (en) Deep learning-based multi-vocal music score identification method
KR20210044080A (en) Apparatus and method of defect classification based on machine-learning
JP2007200246A (en) Method for evaluating image processing algorithm, method, device, and program for generating same algorithm, and recording medium
CN114821554A (en) Image recognition method, electronic device, and storage medium
CN113450355A (en) Method for extracting image features based on multi-membrane CT image and 3DCNN network
KR102283452B1 (en) Method and apparatus for disease classification of plant leafs
CN112926694A (en) Method for automatically identifying pigs in image based on improved neural network
Qin et al. Robust and accurate text stroke segmentation
KR102026280B1 (en) Method and system for scene text detection using deep learning
CN116452845A (en) Bird fine granularity image classification method based on data enhancement
CN116012284A (en) Defect detection using synthetic data and machine learning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant