KR102239133B1 - Apparatus and method of defect classification using image transformation based on machine-learning - Google Patents

Apparatus and method of defect classification using image transformation based on machine-learning Download PDF

Info

Publication number
KR102239133B1
KR102239133B1 KR1020190061418A KR20190061418A KR102239133B1 KR 102239133 B1 KR102239133 B1 KR 102239133B1 KR 1020190061418 A KR1020190061418 A KR 1020190061418A KR 20190061418 A KR20190061418 A KR 20190061418A KR 102239133 B1 KR102239133 B1 KR 102239133B1
Authority
KR
South Korea
Prior art keywords
image
defect classification
size
feature map
machine learning
Prior art date
Application number
KR1020190061418A
Other languages
Korean (ko)
Other versions
KR20200135044A (en
Inventor
윤종필
신우상
구교권
김민수
정대웅
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190061418A priority Critical patent/KR102239133B1/en
Publication of KR20200135044A publication Critical patent/KR20200135044A/en
Application granted granted Critical
Publication of KR102239133B1 publication Critical patent/KR102239133B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 제품의 원본 영상의 크기를 변화시켜 크기가 다른 영상 입력을 병렬로 구성한 머신러닝 기반의 분류기를 사용하여 제품 결함의 분류 성능을 향상시킨 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치는 제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환부와, 상기 영상 변환부에서 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하고 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류부를 포함한다. The present invention relates to a defect classification technology, and in detail, image conversion that improves product defect classification performance using a machine learning-based classifier in which image inputs of different sizes are configured in parallel by changing the size of an original image of a product. It relates to an apparatus and method for classifying defects based on machine learning using. To this end, the machine learning-based defect classification apparatus using image conversion according to the present invention provides an image conversion unit that sequentially reduces the size of an original image of a product, and a feature map for each image sequentially reduced by the image conversion unit. It includes a defect classification unit that extracts and combines each feature map and then analyzes the combined feature map to classify defects in the product.

Description

영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법{Apparatus and method of defect classification using image transformation based on machine-learning}Apparatus and method of defect classification using image transformation based on machine-learning}

본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 제품의 원본 영상의 크기를 변화시켜 크기가 다른 영상 입력을 병렬로 구성한 머신러닝 기반의 분류기를 사용하여 제품 결함의 분류 성능을 향상시킨 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다. The present invention relates to a defect classification technology, and in detail, image conversion that improves product defect classification performance using a machine learning-based classifier in which image inputs of different sizes are configured in parallel by changing the size of an original image of a product. It relates to an apparatus and method for classifying defects based on machine learning using.

최근 알파고와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝에 대한 학계와 산업계의 연구가 폭발적으로 증가하였다. The recent confrontation between AlphaGo and Sedol Lee 9dan has greatly increased interest in artificial intelligence. In particular, research by academics and industries on deep learning, known as AlphaGo's core technology, has exploded.

딥러닝은 기존에 알려진 인공 신경망(Artificial Neural Network)의 여러 문제점(즉, vanishing problem, overfitting 등)을 활성함수(ReLU)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 그 성능을 향상시켰고 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전과 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다. Deep learning improves the performance of known problems of artificial neural networks (i.e., vanishing problems, overfitting, etc.) by developing an activation function (ReLU) and improving algorithms such as drop-out. Also, thanks to the advancement of hardware such as GPU (Graphic Processing Units) and the power of big data to learn complex structures, it is showing excellent performance in various fields recently.

이러한 딥러닝 기술은 해외 많은 기업(구글, 페이스북, 애플, 마이크로소프트, 알리바바, 바이두)에 의해 빠르게 발전되고 있으며 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다. 이렇게 빠르게 발전하는 딥러닝의 최신 기술을 확보하고 더 나아가 응용 분야를 선점하고 빠르게 상용화 하는 것이 시급하다.These deep learning technologies are rapidly developing by many overseas companies (Google, Facebook, Apple, Microsoft, Alibaba, Baidu) and are applied to fields such as face recognition, voice recognition, natural language processing, search services, and medical care. It is urgent to secure the latest technology of deep learning, which is rapidly developing, and to preempt the application field and commercialize it quickly.

종래의 결함 검사 장비에서 사용되는 결함 분류 방법은 도 1과 같다. A defect classification method used in a conventional defect inspection equipment is shown in FIG. 1.

알고리즘 개발자가 영상에서 분류가 잘 될 것 같은 특징을 영상처리 알고리즘으로 추출한 후 이러한 특징들을 분류기(SVM, Decision tree)로 학습한다. After the algorithm developer extracts features that are likely to be well-classified from an image with an image processing algorithm, these features are learned with a classifier (SVM, Decision Tree).

조명과 카메라를 이용하여 광학 장치를 구성하고, 결함 부분에서 빛의 경로가 변함에 따라 카메라에 들어오는 빛의 양의 변화를 영상화하여 결함 부위의 S/N ratio를 높인다. 이러한 영상에서 결함 검출 알고리즘이 결함 후보를 검출하고, 결함 후보 영상에 대해 특징 추출 알고리즘과 분류 알고리즘을 이용해 결함을 검출 및 분류하게 된다. An optical device is constructed using lighting and a camera, and the S/N ratio of the defective area is increased by imaging the change in the amount of light entering the camera as the path of light changes in the defective area. In such an image, a defect detection algorithm detects a defect candidate, and detects and classifies a defect using a feature extraction algorithm and a classification algorithm for the defect candidate image.

이러한 방법은 사람이 얼마나 특징 추출 알고리즘을 잘 디자인하여 특징을 추출하는지가 성능의 한계이다. 또한 선택된 특징에 따라 분류 성능이 제한적이고, 영상의 회전, 밝기 변화, 크기 변화 등에 따라 분류 성능이 달라지는 문제점이 있다. 제품별로 영상의 특징이 달라서 이를 분석하여 개발하는데, 시간이 많이 소요되는 단점도 존재한다.In this method, the limitation of performance is how well humans design feature extraction algorithms to extract features. In addition, there is a problem in that the classification performance is limited according to the selected feature, and the classification performance is changed according to the rotation of the image, change in brightness, change in size, and the like. Since the characteristics of the video are different for each product, there is a disadvantage that it takes a lot of time to analyze and develop it.

최신 기술인 딥러닝 중 CNN 방법을 응용한 분류 알고리즘은 영상에서 인공지능이 스스로 특징을 추출하고 학습하는 방법이다. 딥러닝 기술을 응용하여 결함 분류 알고리즘을 구성하면 위의 문제를 해결할 수 있다. 다양한 딥러닝 구조 중 영상 분야에서의 딥러닝은 CNN(Convolutional Neural Network)이라는 구조가 사용된다. Among the latest technology, deep learning, the classification algorithm applying the CNN method is a method in which artificial intelligence extracts and learns features by itself from images. The above problem can be solved by constructing a defect classification algorithm by applying deep learning technology. Among various deep learning structures, a structure called CNN (Convolutional Neural Network) is used for deep learning in the image field.

CNN을 이용한 영상 분류는 CNN 스스로가 분류 성능을 높일 수 있는 특징을 추출하고 학습한다는 특징이 있다. 이러한 특징을 이용하여 영상을 기반으로 하는 결함 검출 분야에 적용한다면 획기적인 성능 향상을 기대할 수 있다. Image classification using CNN has a feature that CNN itself extracts and learns features that can improve classification performance. If these features are applied to the field of image-based defect detection, a remarkable performance improvement can be expected.

일반적인 딥러닝을 이용한 분류기의 구성은 도 2와 같다. The configuration of a classifier using a general deep learning is shown in FIG. 2.

입력 영상에 대해 컨벌루션 층(Convolution layer)과 활성함수(Activation function)를 적용시킨 후 나온 특징 맵(feature map)을 풀링 층(Pooling layer)을 통해 크기를 줄인 후 다음 컨벌루션 층(convolution layer)으로 전달한다. After applying the convolution layer and the activation function to the input image, the feature map is reduced in size through the pooling layer, and then transferred to the next convolution layer. do.

이러한 기본 구조를 반복적으로 깊게 쌓아서 영상에서 결함 분류를 위한 특징을 효과적으로 추출하게 한다. 풀링(Pooling)은 특징 맵의 크기를 작게하여 연산량이 줄어드는 장점과 수용 영역(receptive field)을 늘려 분류에 사용되는 특징을 넓게 포함시킬 수 있는 장점이 있다. These basic structures are repeatedly deeply stacked to effectively extract features for defect classification from images. Pooling has the advantage of reducing the amount of computation by reducing the size of the feature map, and has the advantage of being able to widely include features used for classification by increasing the receptive field.

하지만 종래의 방법은 입력 영상 그레이(gray) 정보를 처음 컨벌루션 층(convolution layer)에서만 사용하는 단점이 있다. 즉, 원본 영상의 그레이 정보를 수용 영역이 좁은 영역에서만 사용하여 그레이 정보를 다양하게 사용하지 못하는 단점이 있다. However, the conventional method has a disadvantage of using only the input image gray information in the first convolution layer. That is, since gray information of the original image is used only in a narrow area, there is a disadvantage in that gray information cannot be used in various ways.

따라서 딥러닝의 입력을 단순히 결함 영상으로만 했을 경우의 단점을 극복하고 결함 분류 성능을 최대화하는 새로운 방법을 개발할 필요가 있다. Therefore, there is a need to develop a new method for overcoming the shortcomings in the case of simply inputting deep learning as a defect image and maximizing the defect classification performance.

미국공개특허 제2019-0045168호US Patent Publication No. 2019-0045168

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 딥러닝 기반 결함 분류 성능을 최대화하는 것이다. The present invention was devised to solve the above problems, and an object of the present invention is to maximize the deep learning-based defect classification performance.

이를 위해, 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치는 제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환부와, 상기 영상 변환부에서 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하고 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류부를 포함한다. To this end, the machine learning-based defect classification apparatus using image conversion according to the present invention provides an image conversion unit that sequentially reduces the size of an original image of a product, and a feature map for each image sequentially reduced by the image conversion unit. It includes a defect classification unit that extracts and combines each feature map and then analyzes the combined feature map to classify defects in the product.

또한, 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 방법은 제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환 단계와, 상기 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계와, 상기 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류 단계를 포함한다.In addition, the machine learning-based defect classification method using image conversion according to the present invention includes an image conversion step of sequentially reducing the size of an original image of a product, and feature map extraction for extracting a feature map for each of the sequentially reduced images. And a defect classification step of classifying defects of a product by combining each of the feature maps and analyzing the combined feature maps.

또한, 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 방법은 제품의 원본 영상(제1 영상)의 크기(제1 크기)를 순차적으로 축소하여 제2 크기로 축소된 제2 영상부터 제N 크기로 축소된 제N 영상을 생성하는 단계와, 원본 영상에 대해 N번의 컨벌루션 및 풀링을 수행하고, 제2 영상에 대해 N-1번의 컨벌루션 및 풀링을 수행하는 방식으로, 마지막 제N 영상에 대해 1번의 컨벌루션 및 풀링을 수행하여 제1 영상부터 제N 영상까지 각각 동일한 크기의 특징 맵을 추출하는 단계와, 상기 각각 동일한 크기의 특징 맵을 결합한 후 결합한 특징 맵을 신경망을 통해 분석하여 제품의 결함을 분류하는 단계를 포함한다. In addition, the machine learning-based defect classification method using image transformation according to the present invention sequentially reduces the size (first size) of the original image (first image) of the product, and from the second image reduced to the second size, In a method of generating an N-th image reduced to the size, performing N convolution and pooling on the original image, and N-1 convolution and pooling on the second image, the last N-th image is The step of extracting feature maps of the same size from the first image to the Nth image by performing one convolution and pooling, and by combining the feature maps of the same size and analyzing the combined feature maps through a neural network. It includes the step of classifying.

상술한 바와 같이, 본 발명은 결함 분류를 위한 특징 추출 시 원본 영상의 명암 정보를 다양하게 이용할 수 있어서 결함 분류의 성능을 획기적으로 개선할 수 있는 효과가 있다. As described above, the present invention has an effect of remarkably improving the performance of defect classification because it is possible to use various information about the brightness and darkness of an original image when extracting features for defect classification.

또한, 본 발명은 각 영상 간에 특징 맵을 연결하여 다양한 특징 맵을 추출함으로써 결함 분류의 성능을 더욱 향상시킬 수 있는 효과가 있다. In addition, the present invention has the effect of further improving the performance of defect classification by extracting various feature maps by connecting feature maps between images.

도 1은 종래 결함 분류 방법을 설명하기 위한 도면.
도 2는 일반적인 딥러닝 기반 분류 방법을 설명하기 위한 도면.
도 3은 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 개략적 구성을 나타낸 도면.
도 4는 본 발명의 제1 실시예에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 상세 구성도.
도 5는 본 발명의 제2 실시예에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 상세 구성도.
도 6은 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 과정을 나타낸 순서도.1 is a view for explaining a conventional defect classification method.
2 is a diagram for explaining a general deep learning-based classification method.
3 is a diagram showing a schematic configuration of a machine learning-based defect classification apparatus using image transformation according to the present invention.
4 is a detailed configuration diagram of a machine learning-based defect classification apparatus using image transformation according to the first embodiment of the present invention.
5 is a detailed configuration diagram of a machine learning-based defect classification apparatus using image transformation according to a second embodiment of the present invention.
6 is a flow chart showing a machine learning-based defect classification process using image transformation according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and its effect will be clearly understood through the detailed description below.

도 3은 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 개략적인 구성을 나타낸 것이다. 3 shows a schematic configuration of a machine learning-based defect classification apparatus using image transformation according to the present invention.

도 3을 참조하면, 영상 변환을 이용한 머신러닝 기반 결함 분류 장치(이하, 결함 분류 장치)는 영상 변환부(10)와 결함 분류부(20)를 주요 구성요소로 한다. Referring to FIG. 3, a machine learning-based defect classification apparatus using image conversion (hereinafter, a defect classification apparatus) has an image conversion unit 10 and a defect classification unit 20 as main components.

결함 분류 장치를 구성하는 영상 변환부(10)와 결함 분류부(20)는 소프트웨어 또는 하드웨어로 구현될 수 있다. 결함 분류부(20)는 제품의 결함 검출 및 분류기능을 수행하는 모델이 적용되어 있으며 이 모델은 머신러닝 기반으로 학습된 모델이다. The image conversion unit 10 and the defect classification unit 20 constituting the defect classification apparatus may be implemented in software or hardware. The defect classification unit 20 applies a model that performs a defect detection and classification function of a product, and this model is a model learned based on machine learning.

본 발명에 따른 결함 분류 장치는 제품의 표면 결함 검사뿐만 아니라 비파괴 검사와 같은 진단 분야에도 사용될 수 있다. 또한, 스마트 팩토리(smart factory) 구현의 필수 기술로서 생산 조업 조건에 따른 제품의 품질을 판정하는데도 사용될 수 있다. The defect classification apparatus according to the present invention can be used not only in inspection of surface defects of products, but also in diagnostic fields such as non-destructive inspection. In addition, as an essential technology for implementing a smart factory, it can be used to determine the quality of a product according to production operating conditions.

영상 변환부(10)는 제품의 원본 영상을 변환시키는 부분이다. 영상 변환부(10)는 제품의 원본 영상의 크기를 순차적으로 축소시킨다. 영상 변환부(10)는 원본 영상의 그레이 값은 유지한채로 영상의 크기만을 조정한다. The image conversion unit 10 is a part that converts an original image of a product. The image conversion unit 10 sequentially reduces the size of the original image of the product. The image conversion unit 10 adjusts only the size of the image while maintaining the gray value of the original image.

결함 분류부(20)는 원본 영상과 영상 변환부(10)로부터 축소된 영상을 입력받아 각 영상으로부터 특징 맵을 추출하고 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 검출 및 분류한다. The defect classification unit 20 receives the original image and the reduced image from the image conversion unit 10, extracts a feature map from each image, combines each feature map, and analyzes the combined feature map to detect and classify defects in the product. do.

도 4는 본 발명의 제1 실시예에 따른 결함 분류 장치의 구성을 구체적으로 나타낸 것이다. 4 shows a detailed configuration of a defect classification apparatus according to a first embodiment of the present invention.

도 4를 참조하면, 영상 변환부(10)는 원본 영상을 입력받아 제1 크기의 원본 영상(제1 영상)을 제2 크기로 축소한 제2 영상, 제3 크기로 축소한 제3 영상, 그리고 마지막으로 제N 크기로 축소한 제N 영상을 출력한다. Referring to FIG. 4, the image conversion unit 10 receives an original image and reduces the original image (first image) of a first size to a second size, a second image, a third image, which is reduced to a third size, And finally, the Nth image reduced to the Nth size is output.

영상 변환부(10)를 통해 영상의 크기가 순차적으로 축소된 제2 영상 내지 제N 영상까지의 N-1개의 영상이 출력되면, 원본 영상(제1 영상)과 각 축소된 영상들이 병렬로 결함 분류부(20)에 입력된다. When N-1 images from the second image to the Nth image in which the size of the image is sequentially reduced through the image conversion unit 10 are output, the original image (first image) and each of the reduced images are defective in parallel. It is input to the classification unit 20.

결함 분류부(20)는 제1 영상에 대해 제1 특징 맵을 추출하고, 제2 영상에 대해 제2 특징 맵을 추출하는 방식으로 나머지 제3 영상부터 제N 영상까지 각각의 특징 맵(제3 특징 맵 내지 제N 특징 맵)을 추출한다. The defect classification unit 20 extracts a first feature map for the first image and a second feature map for the second image. A feature map to an Nth feature map) is extracted.

제1 영상(원본 영상)에 대한 특징 맵을 추출하기 위한 레이어(22)의 개수가 N개라면 제2 영상을 처리하기 위한 레이어의 개수는 N-1개가 되며, 마지막 제N 영상을 처리하기 위한 레이어의 개수는 1개가 된다. If the number of layers 22 for extracting the feature map for the first image (original image) is N, the number of layers for processing the second image is N-1, and for processing the last N-th image The number of layers is one.

레이어(22)는 컨벌루션(convolution) 및 풀링(pooling)을 수행하는 부분으로 특징 맵의 크기를 작게 한다. The layer 22 is a part that performs convolution and pooling, and reduces the size of the feature map.

제1 영상은 제1 레이어(22.1)부터 제N 레이어(22.N)까지 N개의 레이어를 통과하면서 제1 특징 맵으로 출력된다. The first image is output as a first feature map while passing through N layers from the first layer 22.1 to the Nth layer 22.N.

제2 영상은 제2 레이어(22.2)부터 제N 레이어(22.N)까지 N-1개의 레이어를 통과하면서 제2 특징 맵으로 출력된다. 제2 영상의 크기는 제1 영상이 제1 레이어(22.1)를 통과했을 때 출력되는 특징 맵의 크기와 동일하다. The second image is output as a second feature map while passing through N-1 layers from the second layer 22.2 to the Nth layer 22.N. The size of the second image is the same as the size of the feature map output when the first image passes through the first layer 22.1.

마찬가지로 제3 영상은 제3 레이어(22.3)부터 제N 레이어(22.N)까지 N-2개의 레이어를 통과하면서 제3 특징 맵으로 출력된다. 제3 영상의 크기는 제2 영상이 제2 레이어(22.2)를 통과했을 때 출력되는 특징 맵의 크기와 동일하다. Similarly, the third image is output as a third feature map while passing through N-2 layers from the third layer 22.3 to the Nth layer 22.N. The size of the third image is the same as the size of the feature map output when the second image passes through the second layer 22.2.

따라서 일정한 크기로 축소된 각 영상에 대한 레이어의 수는 순차적으로 하나씩 감소되어 각 영상마다 레이어를 통과해 마지막으로 출력되는 특징 맵의 크기는 모두 동일하게 된다.Accordingly, the number of layers for each image reduced to a certain size is sequentially decreased by one, so that the size of the feature map finally outputted through the layer for each image is the same.

즉, 원본 영상으로부터 추출된 제1 특징 맵부터 마지막 제N 영상으로부터 추출된 제N 특징 맵까지 특징 맵의 크기는 모두 동일하게 되어 각각의 특징 맵은 결합 층(concatenate layer)(24)으로 입력된다. That is, the size of the feature maps from the first feature map extracted from the original image to the Nth feature map extracted from the last Nth image is the same, and each feature map is input as a concatenate layer 24. .

결합 층(24)은 제1 특징 맵부터 제N 특징 맵까지 N개의 특징 맵을 깊이(depthe) 방향으로 결합(concatenate)하여 하나의 특징 맵을 생성한다. The combining layer 24 generates one feature map by concatenating N feature maps from the first feature map to the Nth feature map in a depth direction.

결합 층(24)에서 결합된 특징 맵은 전역 평균 풀링층(Global Average Pooling layer)(26)에서 전역 평균 풀링이 수행되어 특징 맵의 크기와 상관 없이 일정 크기의 특징 벡터를 생성한다. The feature maps combined in the combining layer 24 are global average pooling performed in the global average pooling layer 26 to generate feature vectors of a certain size regardless of the size of the feature map.

전역 평균 풀링은 특징 맵에 1 x 1 컨벌루션을 수행해서 출력 벡터의 원소 개수가 분류 클래스의 개수와 맞게 한다. Global average pooling performs 1 x 1 convolution on the feature map so that the number of elements in the output vector matches the number of classification classes.

전역 평균 풀링층(26)을 통해 생성된 특징 벡터는 최종 분류하고자 하는 결함의 종류의 수와 동일한 크기의 완전 연결층(fully connected layer)(28)과 연결되어 최종 결함 분류 결과가 출력된다. 즉, 특징 벡터의 원소 값이 완전 연결층의 신경망을 거쳐 제품의 결함 분류가 수행된다. The feature vector generated through the global average pooling layer 26 is connected to a fully connected layer 28 having a size equal to the number of defect types to be finally classified, and a final defect classification result is output. In other words, defect classification of the product is performed through the neural network of the fully connected layer in which the element value of the feature vector is performed.

도 5는 본 발명의 제2 실시예에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 장치의 구성을 나타낸 것이다. 5 shows the configuration of a machine learning-based defect classification apparatus using image transformation according to a second embodiment of the present invention.

도 5에 도시된 결함 분류 장치의 구성은 도 4에 도시된 구성과 동일하나 레이어(22) 사이에 특징 맵을 결합하기 위한 결합부(21)가 포함되어 있는 것이 다르다. The configuration of the defect classification apparatus shown in FIG. 5 is the same as the configuration shown in FIG. 4, except that a coupling unit 21 for combining feature maps between layers 22 is included.

각 영상에 속하는 레이어와 레이어 사이에 결합부(21)가 위치하여 각 결합부(21)는 해당 영상의 레이어에서 출력된 특징 맵과 하위 영상의 레이어에서 출력된 특징 맵을 결합하여 해당 영상의 다음 레이어로 전달한다. The combining unit 21 is located between the layer belonging to each image and the layer, so that each combining unit 21 combines the feature map output from the layer of the corresponding image and the feature map output from the layer of the lower image, Pass it to the layer.

도 5를 참조하면, 제1 영상의 두 번째 레이어인 제2 레이어(22.2)에서 출력된 특징 맵의 크기와 제2 영상의 첫 번째 레이어인 제2 레이어(22.2)에서 출력된 특징 맵의 크기는 같기 때문에, 제1 영상의 제2 레이어의 출력단에 위치한 결합부(21)에서 제1 영상의 제2 레이어에서 출력된 특징 맵과 제2 영상의 제2 레이어에서 출력된 특징 맵이 결합될 수 있다. Referring to FIG. 5, the size of the feature map output from the second layer 22.2 that is the second layer of the first image and the feature map output from the second layer 22.2 that is the first layer of the second image are Therefore, the feature map output from the second layer of the first image and the feature map output from the second layer of the second image may be combined by the combiner 21 located at the output terminal of the second layer of the first image. .

결합부(21)는 두 특징 맵을 픽셀별(pixel-wise)로 더하거나 두 특징 맵을 깊이 방향으로 결합(concatenate)하여 하나의 특징 맵을 생성할 수 있다. The combiner 21 may generate one feature map by adding two feature maps pixel-wise or concatenating two feature maps in a depth direction.

이렇게 윗층의 특징 맵과 아랫층의 특징 맵을 상호 연결하여 다양한 특징 맵을 추출할 수 있다. In this way, various feature maps can be extracted by interconnecting the feature map of the upper layer and the feature map of the lower layer.

도 6은 본 발명에 따른 영상 변환을 이용한 머신러닝 기반 결함 분류 과정을 나타낸 것이다. 6 shows a machine learning-based defect classification process using image transformation according to the present invention.

도 6을 참조하면, 먼저 제품의 원본 영상의 크기를 순차적으로 축소하는 영상 변환 단계(S10)를 수행한다. 예를 들어, 224 x 224 원본 영상의 크기를 112 x 112, 56 x 56, 28 x 28 등의 크기로 축소할 수 있다. Referring to FIG. 6, first, an image conversion step (S10) of sequentially reducing the size of an original image of a product is performed. For example, the size of a 224 x 224 original image can be reduced to a size such as 112 x 112, 56 x 56, 28 x 28, etc.

다음, 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계(S20)를 수행한다. Next, a feature map extraction step S20 of extracting a feature map for each sequentially reduced image is performed.

특징 맵 추출 단계(S20)는 원본 영상과 각각의 축소된 영상에 대해 컨벌루션 및 풀링 과정을 통해 각 영상마다 동일한 크기의 특징 맵을 추출한다. In the feature map extraction step (S20), a feature map having the same size is extracted for each image through a convolution and pooling process for the original image and each reduced image.

이어서 각 영상마다 추출한 동일한 크기의 특징 맵을 모두 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 분류 단계(S30)를 수행한다. Subsequently, after combining all of the feature maps of the same size extracted for each image, the combined feature map is analyzed to perform a classification step (S30) of classifying defects in the product.

분류 단계(S30)는 결합한 특징 맵에 대해 전역 평균 풀링을 수행한 후 완전 연결층의 신경망을 통해 제품의 결함을 분류하게 된다. In the classification step (S30), after performing global average pooling on the combined feature map, defects of the product are classified through a neural network of a fully connected layer.

이와 같이 본 발명에 따른 결함 분류 방법은 결함 분류를 위한 특징 맵 추출 시 원본 영상의 크기를 변화시켜 다양한 크기의 영상을 병렬적으로 결함 분류부(20)에 입력함으로써 입력 영상에 대한 수용 영역(receptive field)을 확장시킬 수 있게 된다. 즉, 원본 영상의 그레이 정보를 수용 영역이 넓은 영역에서 사용하여 그레이 정보를 다양하게 사용할 수 있다. As described above, the defect classification method according to the present invention changes the size of the original image when extracting a feature map for defect classification, and inputs images of various sizes in parallel to the defect classification unit 20 to provide a receptive area for the input image. field) can be expanded. That is, gray information of the original image can be used in a wide area to use gray information in various ways.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. The above description is merely illustrative of the present invention, and various modifications may be made without departing from the technical spirit of the present invention by those of ordinary skill in the technical field to which the present invention pertains.

따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다. Therefore, the embodiments disclosed in the specification of the present invention do not limit the present invention. The scope of the present invention should be construed by the following claims, and all technologies within the scope equivalent thereto should be construed as being included in the scope of the present invention.

10: 영상 변환부 20: 결함 분류부
21: 결합부 22: 레이어
24: 결합층 26: 전역 평균 풀링층
28: 완전연결층 10: image conversion unit 20: defect classification unit
21: joint 22: layer
24: bonding layer 26: global average pooling layer
28: fully connected layer

Claims (14)

제품의 원본 영상의 크기를 순차적으로 축소하여 제1 크기의 원본 영상(제1 영상)을 제2 크기로 축소한 제2 영상부터 제N-1 영상을 제N 크기로 축소한 제N 영상까지 출력하는 영상 변환부와,
상기 영상 변환부에서 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하되 원본 영상에 대해 N번의 컨벌루션 및 풀링을 수행하고, 제2 영상에 대해 N-1번의 컨벌루션 및 풀링을 수행하는 방식으로, 마지막 제N 영상에 대해 1번의 컨벌루션 및 풀링을 수행하여 제1 영상부터 제N 영상까지 각각 동일한 크기의 특징 맵을 추출하여 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류부를 포함하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.The size of the original image of the product is sequentially reduced, and the second image (the first image) of the first size is reduced to the second size, and the N-1th image is output to the Nth image, which is reduced to the Nth size. An image conversion unit to perform,
The image conversion unit extracts a feature map for each image sequentially reduced, performs N convolution and pooling on the original image, and N-1 convolution and pooling on the second image. Defect classification to classify defects in the product by extracting feature maps of the same size from the first image to the Nth image by performing one convolution and pooling on the Nth image, combining each feature map, and analyzing the combined feature map Machine learning-based defect classification apparatus using image transformation including parts. 삭제delete 삭제delete 제1항에 있어서,
상기 결함 분류부는 상기 결합한 특징 맵에 대해 전역 평균 풀링을 수행한 후 완전 연결층의 신경망을 통해 제품의 결함을 분류하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.The method of claim 1,
The defect classification unit classifies defects of a product through a neural network of a fully connected layer after performing global average pooling on the combined feature map. 제1항에 있어서,
상기 결함 분류부는 각 특징 맵을 추출하기 위한 컨벌루션 및 풀링을 수행하는 레이어가 복수 개 연결되어 있는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.The method of claim 1,
The defect classification unit is a machine learning-based defect classification apparatus using image transformation, characterized in that a plurality of layers performing convolution and pooling for extracting each feature map are connected. 제5항에 있어서,
상기 레이어 간에 특징 맵을 결합하기 위한 결합부가 포함되어 있는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 장치.The method of claim 5,
A machine learning-based defect classification apparatus using image transformation, characterized in that it includes a combiner for combining feature maps between the layers. 컴퓨터로 구현되는 머신러닝 기반 결함 분류 장치에 의해 각 단계가 수행되는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법에 있어서,
제품의 원본 영상의 크기를 순차적으로 축소해 나가면서 제1 크기의 원본 영상(제1 영상)을 제2 크기로 축소한 제2 영상부터 제N-1 영상을 제N 크기로 축소한 제N 영상까지 출력하는 영상 변환 단계와,
상기 순차적으로 축소된 각 영상에 대해 특징 맵을 추출하되 상기 원본 영상에 대해 N개의 컨벌루션 및 풀링 레이어를 통해 제1 특징 맵을 추출하고, 상기 제2 영상부터 제N 영상까지 N개를 기준으로 그 개수가 순차적으로 하나씩 감소한 컨벌루션 및 풀링 레이어를 통해 제2 특징 맵부터 제N 특징 맵을 추출하는 특징 맵 추출 단계와,
상기 각 특징 맵을 결합한 후 결합한 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류 단계를 포함하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법In the machine learning-based defect classification method using image transformation in which each step is performed by a computer-implemented machine learning-based defect classification apparatus,
From the second image in which the original image of the first size (the first image) is reduced to the second size while sequentially reducing the size of the original image of the product, the N-1th image is reduced to the N-th size. A video conversion step that outputs up to and,
A feature map is extracted for each of the sequentially reduced images, but a first feature map is extracted through N convolutional and pooling layers for the original image, and N from the second image to the Nth image as a reference. A feature map extraction step of extracting the Nth feature map from the second feature map through convolutional and pooling layers in which the number is sequentially decreased by one; and
Machine learning-based defect classification method using image transformation including a defect classification step of classifying defects of a product by combining each of the feature maps and analyzing the combined feature maps 삭제delete 삭제delete 제7항에 있어서,
상기 결함 분류 단계는 상기 결합한 특징 맵에 대해 전역 평균 풀링을 수행한 후 완전 연결층의 신경망을 통해 제품의 결함을 분류하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법The method of claim 7,
The defect classification step is a machine learning-based defect classification method using image transformation, characterized in that after performing global average pooling on the combined feature map, defects of a product are classified through a neural network of a fully connected layer. 삭제delete 삭제delete 제7항에 있어서,
각 영상마다 각 컨벌루션 및 풀링 레이어에서 출력된 특징 맵과 하위 영상에 속하는 컨벌루션 및 풀링 레이어에서 출력된 특징 맵을 결합하는 단계를 더 포함하는 것을 특징으로 하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.The method of claim 7,
A machine learning-based defect classification method using image transformation, further comprising combining a feature map output from each convolution and pooling layer for each image and a feature map output from a convolution and pooling layer belonging to a lower image. 컴퓨터로 구현되는 머신러닝 기반 결함 분류 장치에 의해 각 단계가 수행되는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법에 있어서,
제품의 원본 영상(제1 영상)의 크기(제1 크기)를 순차적으로 축소하여 제2 크기로 축소된 제2 영상부터 제N 크기로 축소된 제N 영상을 생성하는 단계와,
원본 영상에 대해 N번의 컨벌루션 및 풀링을 수행하고, 제2 영상에 대해 N-1번의 컨벌루션 및 풀링을 수행하는 방식으로, 마지막 제N 영상에 대해 1번의 컨벌루션 및 풀링을 수행하여 제1 영상부터 제N 영상까지 각각 동일한 크기의 특징 맵을 추출하는 단계와,
상기 각각 동일한 크기의 특징 맵을 결합한 후 결합한 특징 맵을 신경망을 통해 분석하여 제품의 결함을 분류하는 단계를 포함하는 영상 변환을 이용한 머신러닝 기반 결함 분류 방법.In the machine learning-based defect classification method using image transformation in which each step is performed by a computer-implemented machine learning-based defect classification apparatus,
Generating an Nth image reduced to an Nth size from a second image reduced to a second size by sequentially reducing the size (first size) of an original image (first image) of the product; and
N-times convolution and pooling are performed on the original image, and N-1 convolutions and pooling are performed on the second image. Extracting feature maps of the same size up to N images,
A machine learning-based defect classification method using image transformation comprising the step of combining the feature maps of the same size and then analyzing the combined feature maps through a neural network to classify defects in a product.
KR1020190061418A 2019-05-24 2019-05-24 Apparatus and method of defect classification using image transformation based on machine-learning KR102239133B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190061418A KR102239133B1 (en) 2019-05-24 2019-05-24 Apparatus and method of defect classification using image transformation based on machine-learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190061418A KR102239133B1 (en) 2019-05-24 2019-05-24 Apparatus and method of defect classification using image transformation based on machine-learning

Publications (2)

Publication Number Publication Date
KR20200135044A KR20200135044A (en) 2020-12-02
KR102239133B1 true KR102239133B1 (en) 2021-04-12

Family

ID=73792018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190061418A KR102239133B1 (en) 2019-05-24 2019-05-24 Apparatus and method of defect classification using image transformation based on machine-learning

Country Status (1)

Country Link
KR (1) KR102239133B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102465045B1 (en) * 2021-09-14 2022-11-09 주식회사 파워인스 Non-destructive inspection system and method based on artificial intelligence mdoel for turbine blades
KR102670085B1 (en) * 2023-07-31 2024-05-28 (주)바질컴퍼니 Method for predicting product defects using neural network model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183034A1 (en) 2016-04-21 2017-10-26 Ramot At Tel Aviv University Ltd. Cascaded convolutional neural network
JP2018005520A (en) * 2016-06-30 2018-01-11 クラリオン株式会社 Object detection device and object detection method
KR101863196B1 (en) * 2017-07-24 2018-06-01 한국생산기술연구원 An Apparatus and A Method For Detecting A Defect On Surfaces Based On Deep Learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3509910B1 (en) 2016-09-08 2020-12-09 Gentex Corporation Low profile mirror pivot
KR102036963B1 (en) * 2017-01-03 2019-11-29 한국과학기술원 Method and system for robust face dectection in wild environment based on cnn

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183034A1 (en) 2016-04-21 2017-10-26 Ramot At Tel Aviv University Ltd. Cascaded convolutional neural network
JP2018005520A (en) * 2016-06-30 2018-01-11 クラリオン株式会社 Object detection device and object detection method
KR101863196B1 (en) * 2017-07-24 2018-06-01 한국생산기술연구원 An Apparatus and A Method For Detecting A Defect On Surfaces Based On Deep Learning

Also Published As

Publication number Publication date
KR20200135044A (en) 2020-12-02

Similar Documents

Publication Publication Date Title
Liu et al. Multi-objective convolutional learning for face labeling
KR101803471B1 (en) Deep learning system and learning method using of convolutional neural network based image patterning
Vaidya et al. Handwritten character recognition using deep-learning
CN112561910B (en) Industrial surface defect detection method based on multi-scale feature fusion
US20200242451A1 (en) Method, system and apparatus for pattern recognition
KR102325347B1 (en) Apparatus and method of defect classification based on machine-learning
Liu et al. Visual attention in deep learning: a review
Dandıl et al. Real-time facial emotion classification using deep learning
KR102179949B1 (en) Deep learning based classification system using image data augmentation, and cotrol method thereof
KR102313215B1 (en) Apparatus and method for defect classification using feature generation based on machine-learning
KR102239133B1 (en) Apparatus and method of defect classification using image transformation based on machine-learning
CN111985525A (en) Text recognition method based on multi-mode information fusion processing
Soumya et al. Emotion recognition from partially occluded facial images using prototypical networks
Unkule et al. CNN based Approach for Sign Recognition in the Indian Sign language
Wu et al. STR transformer: a cross-domain transformer for scene text recognition
KR102178238B1 (en) Apparatus and method of defect classification using rotating kernel based on machine-learning
Nareshkumar et al. A Light-Weight Deep Learning-Based Architecture for Sign Language Classification.
Rakesh et al. Sign language recognition using convolutional neural network
Srinivas et al. Facial Expression Detection Model of Seven Expression Types Using Hybrid Feature Selection and Deep CNN
Dayananda Kumar et al. Depth based static hand gesture segmentation and recognition
CN114187440A (en) Small sample target detection system and method based on dynamic classifier
Jewel et al. Bengali ethnicity recognition and gender classification using CNN & transfer learning
Milyaev et al. Improving the processing of machine vision images of robotic systems in the Arctic
Karim et al. Bangla Sign Language Recognition using YOLOv5
US12026474B2 (en) Techniques for generating natural language descriptions of neural networks

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant