KR20190063839A

KR20190063839A - 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템

Info

Publication number: KR20190063839A
Application number: KR1020170162907A
Authority: KR
Inventors: 이승우; 권영민
Original assignee: 전자부품연구원
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2019-06-10
Also published as: WO2019107614A1

Abstract

제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 품질 검사 방법은, 학습용 제품 영상을 생성하고, 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키며, 학습된 분류기를 이용하여 제품을 양품 또는 불량품으로 판정한다. 이에 의해, 학습에 의해 판별 대상의 데이터의 특징값을 스스로 찾을 수 있어, 결함의 정형화가 어려워 수동 검사에 의존하는 검사 영역에 대해서도 머신 비전 기반 검사가 가능해진다.

Description

제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템{Method and System for Machine Vision based Quality Inspection using Deep Learning in Manufacturing Process}

본 발명은 제조 관리 기술에 관한 것으로, 더욱 상세하게는 제조 공정에서 자동화된 머신 비전 기반의 품질검사 방법 및 시스템에 관한 것이다.

기존 제조 공정에서 발생하는 결함 검출은 대부분 작업자가 직접 관찰 수행하는 수동적 방법이다. 이에 따라, 작업자의 상태 및 판단 능력에 따라 정확도가 일관되지 못하고, 많은 시간이 소요되는바, 자동으로 결함을 검출할 수 있는 방법이 필요하다.

수동 검사의 문제점을 보완하려 자동 광학 검사(Automated Optical Inspection, AOI) 또는 머신 비전이라 불리는 자동화된 비전 기반 검사 시스템이 도입 되었다. 머신 비전 시스템은 결함 검사, 제품 분류 등의 여러 분야에서 수동 검사자를 대치하게 되었다.

하지만, 머신 비전 검사 방법은 공정 특성 및 대상 품목에 맞춰 엔지니어가 규칙을 하나씩 설정하면서 설계하는 방법이다. 따라서, 머신 비전의 정확도는 엔지니어가 규칙을 얼마나 잘 만들었는지에 따라 성능이 좌우되는 한계와 함께, 분석 대상이 복잡한 경우 미세한 불량에 대한 검출 정확도가 떨어지게 되는 문제를 보이게 ehlsek

특히, 이미지가 불규칙하고 비정형인 경우엔 불량의 특징 벡터(Feature)를 엔지니어가 정의하기 어려운 경우, 머신 비전에 의한 장비 정확도가 낮기 때문에 여전히 사람의 육안검사에 의존하는 경우도 존재한다.

일반적으로, 머신 비전에 사용되는 영상 처리 기법들은, 대상 품목의 변화가 없고 외부요인이 완전하게 동일하고 통제된 상황에서는 매우 높은 정확도와 불량률을 탐지가 가능하지만, 이렇게 엄격한 조건의 설정은 외부 환경의 변화 시에 엔지니어가 재학습을 하기 위해 새로운 특징점을 추출을 시도하거나 판별 알고리즘의 재설계가 필요하다는 한계를 가지고 있는 것이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 품질 검사 방법은, 학습용 제품 영상을 생성하는 단계; 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키는 단계; 및 학습된 분류기를 이용하여, 제품을 양품 또는 불량품으로 판정하는 단계;를 포함한다.

그리고, 학습용 제품 영상 생성단계는, 학습용 제품 영상을 조각화하는 단계; 및 조각화된 학습용 제품 영상을 확장하는 단계;를 포함할 수 있다.

또한, 확장 단계는, 학습용 제품 영상에 얼라인먼트, 조명 효과 변환, 노이즈 효과 적용 중 적어로 하나를 이용하여 학습용 제품 영상을 확장할 수 있다.

그리고, 본 발명의 실시예에 따른 품질 검사 방법은, 제품을 촬영하는 단계; 촬영된 제품 영상에서 관심 영역을 추출하는 단계;를 더 포함하고, 판정 단계는, 추출된 관심 영역에서의 결함을 확인하여, 제품을 양품 또는 불량품으로 판정할 수 있다.

또한, 판정 단계는, 학습용 제품 영상들 중 추출된 관심 영역과 가장 근접한 학습용 제품 영상의 분류 번호 및 확률 값을 판정 결과로 출력할 수 있다.

그리고, 본 발명의 실시예에 따른 품질 검사 방법은, 잘못된 판정이 이루어진 제품 영상들을 수집하여, 분류기를 재학습시키는 단계;를 더 포함할 수 있다.

또한, 재학습 단계는, 원격의 서버에 의해 수행될 수 있다.

한편, 본 발명의 다른 실시예에 따른, 품질 검사 시스템은, 학습용 제품 영상을 생성하는 카메라; 및 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키고, 학습된 분류기를 이용하여 제품을 양품 또는 불량품으로 판정하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 기존의 머신 비전 검사 기법과 달리, 학습에 의해 판별 대상의 데이터의 특징값(Feature)을 스스로 찾을 수 있어, 결함의 정형화가 어려워 수동 검사에 의존하는 검사 영역에 대해서도 머신 비전 기반 검사가 가능해진다.

또한, 본 발명의 실시예들에 따르면, 온라인 기반의 학습모델 업데이트 및 최적화를 지원하여, 새로운 불량 패턴이 들어오거나 학습의 정확도를 개선시키기 위해, 사용자 피드백을 통해 수집된 학습 데이터를 온라인을 통해 수집하고, 재학습 모델을 생성하여 교체가 가능한 서비스 제공이 가능하다.

뿐만 아니라, 본 발명의 실시예들에 따르면, 잦은 상품 변경이 필요한 경우에도 자동화된 학습 및 최적화 방안을 제공할 수 있어, 도입 비용을 줄이는 것이 가능해진다.

도 1에 학습 데이터 생성 과정의 설명에 제공되는 도면,
도 2는 딥러닝 기반 분류기 생성 과정의 설명에 제공되는 흐름도,
도 3은 머신 비전 기반 품질 검사 과정의 설명에 제공되는 흐름도,
도 4는 온라인 재학습 기반으로 최적화 모델을 생성하는 개념을 나타내었다.
도 5는 전술한 머신 비전 기반 품질검사 방법을 수행하기 위한 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

1. 머신 비전 기반 품질검사 방법

딥러닝은 인간의 신경망을 모방하여 심층 신경망(Deep Neural Network)을 만들어 입력과 출력 사이에 겹겹이 층(Layer)을 쌓아 만든 네트워크로 결합 가중치(Weight) 문제를 학습하고 해결한다.

여기에 사용되는 심층 학습은 여러 비선형 변환 기법의 조합을 통하여, 기존의 머신 러닝의 기법에서 가장 취약점을 보이던 대상물의 높은 수준의 추상화에서 강점을 보인다.

본 발명의 실시예에서는, 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법을 제시한다. 제조 공장에서 생산되는 생산 제품을 분류하거나 외형적 불량을 검사 및 검출함에 있어, 딥러닝 기법을 사용하여 탐지 대상이 되는 대상물의 양품, 불량 데이터를 학습하고, 자동으로 판별하는 자동화된 비전 검사 방법이다.

본 발명의 실시예에 따른 품질검사 방법에서는, 학습 데이터(학습용 제품 영상과 양품/불량 여부)를 입력하여 자동으로 최적화된 판별 모델을 생성하는데, 이미지가 불규칙한 경우 비정형적 패턴에서도 학습을 통하여 판별이 가능하다.

또한, 본 발명의 실시예에 따른 품질검사 방법에서는, 입력 데이터에 노이즈를 포함시켜 학습함으로써 외부 환경 요인의 변화에 강점을 보이고, 온라인으로 사용자 피드백 정보를 통한 재학습 및 검출 모델 교체가 가능하다.

본 말명의 실시예에서는, 결함 탐지를 위한 이미지 분석 방법으로 심층 컨볼루션 신경망(Deep Convolutional Neural Networks, CNNs)을 활용하고, 1) 학습 데이터 생성, 2) 학습데이터 기반 딥러닝 기반 분류기 생성, (3) 딥러닝 기반 분류기를 사용한 결함 탐지 및 4) 기법과 분류기 모델의 재학습을 위한 온라인 기반 최적화를 수행한다. 이하에서 각각에 대해 상세히 설명한다.

1) 학습 데이터 생성

딥러닝 알고리즘에 기반한 검사 판별을 위해서는 데이터의 학습을 통해 컴퓨터 스스로가 특징 표현을 만들어 내는 특징 표현 학습(feature representation learning) 과정이 필요하므로, 양품의 영상 데이터와 불량품의 영상 데이터를 지도학습을 통해 학습된다.

도 1에 학습 데이터 생성 과정의 설명에 제공되는 도면이다. 복잡한 영상 이미지를 판별할 때 분류 정확도를 높이고, 구체화된 레이블 정보를 학습시키기 위해, 도 1에 도시된 바와 같이, 먼저 대상 이미지를 일정 규격의 사이즈의 작은 이미지로 중첩이 되도록 자른다(Cropping).

잘라진(Cropped) 이미지와 함께 이미지 인덱스 및 결함 여부의 정보를 포함한 레이블링 정보가 딥러닝의 학습데이터로 사용된다.

나아가, 외부 환경 변수에 의한 영향을 줄이기 위하여, 수집된 데이터에 임의의 얼라인먼트, 조명 효과 변환, 노이즈 효과를 적용한 데이터를 각각 생성하여, 학습 데이터 수를 늘린다. 이는 환경 변화에 따른 노이즈를 강화킨다.

뿐만 아니라, 컨볼루션 신경망 모델은 복잡한 만큼 학습을 위해 많은 데이터를 필요로 하기 때문에, 충분한 데이터 수집을 위해 데이터 셋을 확장을 위한 용도로도 사용한다.

2) 학습을 통한 딥러닝 기반 분류기 모델 생성

도 2는 딥러닝 기반 분류기 생성 과정의 설명에 제공되는 흐름도이다. 딥러닝 기반의 검사기를 만들기 위해, 도 2에 도시된 바와 같이, 먼저, 학습 과정을 거쳐야 한다. 즉, 생성된 많은 양의 학습 데이터를 기반으로 최적화를 통해 분류기가 결정된다.

학습에 사용되는 데이터는 영상 데이터와 함께, 인덱스와 결함 정보를 분류값으로 사용하여 학습하며, 최적화 과정을 통해 학습 결과로 나온 분류기 모델은 검사장치에 적용된다.

구체적으로, 학습 데이터(학습용 제품 영상)를 조각화하고(S110), 조각화된 학습 데이터로부터 레이블 데이터 생성 및 확장 후에(S120), 분류기를 학습시켜(S130), 비전 검사 장치에 적용하게 된다(S140).

3) 딥러닝 기반의 결함 탐지 과정

도 3은 머신 비전 기반 품질 검사 과정의 설명에 제공되는 흐름도이다.

품질 검사를 통해 제품을 양품 또는 불량으로 판정하기 위해, 먼저, 검사 카메라의 위치를 정렬하여 검사 대상 제품을 촬영하고(S210), 촬영을 통해 생성된 영상에서 관심 영역을 추출하여 저장한다(S220).

그리고, S220단계에서 저장된 대상 이미지를 학습 모델 생성의 이미지 전처리 과정에서와 같이, 일정 규격의 사이즈의 작은 이미지로 중첩되도록 자른다(Cropping)(S230).

다음, 품질 검사 장치는, 각각의 조각 이미지 각각에 대해 분류기를 이용하여 검사를 수행한다(S240). 이때, 심층신경망 알고리즘은 분류 결과로 학습을 통해 분류기를 생성할 때 사용된 학습 데이터들 중 가장 근접한 이미지의 분류 번호와 확률 값을 결과로 출력한다.

이에, 각각의 조각된 이미지를 딥러닝 기반 분류기를 통해, 해당 인덱스에서 가장 높은 확률로 분류표가 양품인지 결함인지 확인하여(S250, S260, S270), 판정 결과값을 표시한다(S280). 이때, 결함 제품인 경우에는 결함으로 판명하고 영역을 표시하여 줄 수 있다.

4) 온라인 기반 재학습을 통한 개선된 분류기 적용 과정

비젼 검사 장치를 생산 공정의 검사 장치로 활용하고 있는 상황에서, 기존에 학습되지 않은 새로운 타입의 결함이 발생하거나, 이전에 학습한 판별 모델에서 오류가 발생하는 경우 재학습이 필요한 경우 새로운 학습데이터를 추가로 활용하여 개선된 모델을 다음과 같은 절차로 만들어 낼 수 있다.

공장 내 작업자가 사용하는 HMI(Human-Machine Interface) 장치를 통해서 잘못 판별한 정보(양품 데이터를 불량으로 판별하거나 또는, 불량 제품을 양품으로 판별하는 경우)에 대해, 해당 영상 데이터와 해당 영상데이터의 레이블 정보를 사용자로부터 피드백 받아서 따로 수집을 한다.

딥러닝 알고리즘의 학습 모델은 가중치를 최적화하기 위해 상당한 연산량과 학습 시간이 필요하며 하며, 특히 많은 GPU(Graphics Processing Unit) 연산을 필요로 한다.

따라서, 원격지에 고성능의 GPU를 탑재한 서버에서, 사용자의 피드백 정보로 따로 수집된 오류 데이터를 새로운 판별 모델을 만들기 위한 학습 데이터로 사용된다.

원격지에서 딥러닝 재학습을 통해 새로운 만들어진 모델은, 공장 내 검사 장치의 새로운 분류기로 대체되어 검사 장치의 판별 모델을 개선시킬 수 있다.

도 4에는 온라인 재학습 기반으로 최적화 모델을 생성하는 개념을 나타내었다.

2. 머신 비전 기반 품질검사 시스템

도 5는 전술한 머신 비전 기반 품질검사 방법을 수행하기 위한 시스템의 블럭도이다. 도시된 머신 비전 기반 품질검사 시스템은, 카메라(310), 통신부(320), 프로세서(330), 저장부(340) 및 디스플레이(350)를 포함하여 구성되는 컴퓨팅 시스템이다.

카메라(310)는 검사 대상 제품을 촬영하여 영상을 생성하기 위한 영상 생성 장치다.

프로세서(330)는 카메라(310)에 의해 생성된 영상에서 관심 영역을 추출하고 영상 처리를 수행하며, 분류기를 학습시켜 생성하고 구동시켜 검사를 수행하는 수단으로 CPU와 GCU들로 구성된다.

저장부(340)는 프로세서(330)가 위 절차들을 수행함에 있어 필요한 저장공간을 제공한다.

디스플레이(350)에는 제품 검사에 따른 결함 판정 여부 및 판정 값이 표시된다.

통신부(320)는 온라인 기반 재학습을 위한 수단으로, 서버가 재학습을 통해 개선한 모델을 수신하기 위한 수단이다.

3. 변형예

지금까지, 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.

본 발명의 실시예에서는, 딥러닝 알고리즘을 적용하여 제조 공장에서 생산품의 분류 및 불량 판별을 수행하며, 딥러닝을 통하여 영상 데이터 학습을 통한 불량을 검출 모델을 자동으로 만들어 단순 패턴이 아닌 비정형화되고 복잡한 영상 이미지까지 분석을 가능한 검사가 가능하게 하였다.

또한, 본 발명의 실시예들에서는, 학습 데이터에 의해서 자동으로 검출 모델이 만들 수 있고, 사용자 피드백을 통한 온라인 학습을 통한 자가-최적화(self optimization)가 가능하여 높은 유연성을 제공함으로써, 비전 검사 시스템 도입 비용과 변경 비용을 낮출 수 있다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

310 : 카메라
320 : 통신부
330 : 프로세서
340 : 저장부
350 : 디스플레이

Claims

학습용 제품 영상을 생성하는 단계;
생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키는 단계; 및
학습된 분류기를 이용하여, 제품을 양품 또는 불량품으로 판정하는 단계;를 포함하는 것을 특징으로 하는 품질 검사 방법.
청구항 1에 있어서,
학습용 제품 영상 생성단계는,
학습용 제품 영상을 조각화하는 단계; 및
조각화된 학습용 제품 영상을 확장하는 단계;를 포함하는 것을 특징으로 하는 품질 검사 방법.
청구항 2에 있어서,
확장 단계는,
학습용 제품 영상에 얼라인먼트, 조명 효과 변환, 노이즈 효과 적용 중 적어로 하나를 이용하여 학습용 제품 영상을 확장하는 것을 특징으로 하는 품질 검사 방법.
청구항 1에 있어서,
제품을 촬영하는 단계;
촬영된 제품 영상에서 관심 영역을 추출하는 단계;를 더 포함하고,
판정 단계는,
추출된 관심 영역에서의 결함을 확인하여, 제품을 양품 또는 불량품으로 판정하는 것을 특징으로 하는 품질 검사 방법.
청구항 4에 있어서,
판정 단계는,
학습용 제품 영상들 중 추출된 관심 영역과 가장 근접한 학습용 제품 영상의 분류 번호 및 확률 값을 판정 결과로 출력하는 것을 특징으로 하는 품질 검사 방법.
청구항 4에 있어서,
잘못된 판정이 이루어진 제품 영상들을 수집하여, 분류기를 재학습시키는 단계;를 더 포함하는 것을 특징으로 하는 품질 검사 방법.
청구항 6에 있어서,
재학습 단계는,
원격의 서버에 의해 수행되는 것을 특징으로 하는 품질 검사 방법.
학습용 제품 영상을 생성하는 카메라;
생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키고, 학습된 분류기를 이용하여 제품을 양품 또는 불량품으로 판정하는 프로세서;를 포함하는 것을 특징으로 하는 품질 검사 시스템.