KR102242996B1 - 자동차 사출제품의 비정형 불량 검출 방법 - Google Patents

Abstract

본 발명은 자동차 사출제품의 비정형 불량 검출 방법에 관한 것으로, 더욱 상세하게는 자동차 사출제품에서 발생하는 이물 불량, 스크래치 불량, 도장 불량, 얼룩 불량 및 가스 불량 등 비정형 불량을 검출하는 방법에 관한 것이다.
이를 위해 본 발명의 자동차 사출제품의 비정형 불량 검출 방법은 자동차 사출제품을 촬영한 영상을 설정된 크기를 갖는 복수 개의 조각을 분할하는 단계; 분할된 각 조각별로 이동하면서 불량 검사를 진행하며, 불량으로 인식되는 조각이 있다면, 해당 불량이 어떤 유형의 불량인지 판단하는 단계; 및 불량 유형을 판단한 이후 해당 불량이 설정된 불량기준에 부합하는지 여부를 판단하는 단계를 포함한다.

Description

자동차 사출제품의 비정형 불량 검출 방법{Method for atypical defects detect in automobile injection products}

본 발명은 자동차 사출제품의 비정형 불량 검출 방법에 관한 것으로, 더욱 상세하게는 자동차 사출제품에서 발생하는 이물 불량, 스크래치 불량, 도장 불량, 얼룩 불량 및 가스 불량 등 비정형 불량을 검출하는 방법에 관한 것이다.

다양한 산업 분야에서 제조되는 각종 제품은 소재의 결함이나 제조과정에서의 오류나 실수 등에 의해 표면에 스크래치, 이물질을 포함하는 각종 결함이 발생할 수 있는데, 이와 같은 표면상의 결함은 제품의 가치나 외관을 손상시킴에 다라 제조공정 과저에서 표면상의 결함을 가진 제품을 식별하여 제거하는 것이 바람직하다.

이를 위하여 검사원이 별도의 검사기구를 이용하거나 육안으로 제품과 같은 대상물의 표면을 일일이 검사할 수도 있으나, 인력과 시간이 많이 소요되는 문제점이 있으므로, 표면 검사를 위한 별도의 검사 장비를 구비하여 자동으로 대상물의 표면 검사가 수행되도록 하는 것이 일반적이다.

특히, 대상물의 표면을 촬영하는 촬영장비, 대상물을 촬영하여 획득한 정해진 크기의 표면영상을 분석하기 위한 분석용 알고리즘을 가진 컨트롤러를 구비하여 대상물의 표면 상의 결함을 찾아내는 영상 계측 시스템이 컴퓨터 장비의 발달과 영상용 보드(board)의 대중화에 의해 현재 일반적으로 활용되고 있다.

하지만, 기존 영상처리 알고리즘의 경우 비정형 불량을 인식하는데 한계가 있다. 즉, 자동차 제품에서 발생하는 이물 불량, 스크래치 불량, 도장, 얼룩불량, 가스 불량 등은 이미지 상에 다양한 패턴으로 나타나기 때문에 기존의 영상 처리 알고리즘으로는 검사가 불가능하다.

또한, 일반적으로 학습된 딥러닝 엔진을 상술한 제품 검사에 적용할 때는 불량의 유형만 판단하면, 그 유형에 해당하는 조건 검사를 시행하면 된다. 하지만 검사 조건은 검사해야 하는 영상의 면적이 증가하게 되면 가하급수적으로 검사 수행 시간이 늘어난다. 따라서 검사 조건을 시행하는 영역을 최소화하여야 하는데 그것을 위해 딥러닝 엔진이 불량의 유형 뿐만 아니라 전체 검사 제품 영상에서 어느 부위에 불량이 있는지 알 수 있는 불량 위치도 찾아 주어야 한다.

또한, 스크래치 크기를 확인해야 하는 검사 기준에 0.1㎜까지 미세하게 검사해야 할 필요가 있다. 이 문제를 해결하기 위해서는 영상이 매우 고해상도가 되어야 하며, 이는 카메라의 선택뿐만 아니라 검사해야 하는 데이터량의 매우 크게 되어 검사 시간의 증가를 초래하게 된다.

현재 사출 공정에서는 매 3분마다 1개의 제품이 사출되고 있는데 생산성을 높이기 위해 회전율을 1분대로 줄이고자 한다. 그러면 1분 이내에 대용량 이미지의 불량 검사를 마무리해야 하는 문제가 있다.

한국등록실용신안 제20-0347781호(고안의 명칭: 비전시스템을 이용한 자동자부품 검사장치) 한국공개특허 제10-2011-0058219호(발명의 명칭: 비전시스템을 이용한 자동차 부품 검사장치)

본 발명이 해결하려는 과제는 기존 영상처리 알고리즘으로 검출할 수 없는 비정형 불량을 인식하는 알고리즘을 제안함에 있다.

본 발명이 해결하려는 다른 과제는 불량 검사 시간을 줄이기 위해 비정형 불량의 유형과 위치를 파악하는 알고리즘을 제안함에 있다.

본 발명이 해결하려는 또 다른 과제는 큰 이미지 상에서 0.1㎜ 수준의 초미세 결함을 확인하는 알고리즘을 제안함에 있다.

본 발명이 해결하려는 또 다른 과제는 짧은 시간내에 초고해상도 이미지를 분석해서 불량 유형과 검사기준을 만족할 수 있는 알고리즘을 제안함에 있다.

이를 위해 본 발명의 자동차 사출제품의 비정형 불량 검출 방법은 자동차 사출제품을 촬영한 영상을 설정된 크기를 갖는 복수 개의 조각을 분할하는 단계; 분할된 각 조각별로 이동하면서 불량 검사를 진행하며, 불량으로 인식되는 조각이 있다면, 해당 불량이 어떤 유형의 불량인지 판단하는 단계; 및 불량 유형을 판단한 이후 해당 불량이 설정된 불량기준에 부합하는지 여부를 판단하는 단계를 포함한다.

본 발명에 따른 자동차 사출제품의 비정형 불량 검출 방법은 기존 영상처리 알고리즘에서 검출할 수 없는 비정형 불량을 검출하며, 특히 불량 검사 시간을 줄이기 위해 비정형 불량의 유형과 위치를 구분하여 파악한다. 또한, 본 발명은 큰 이미지 상에서 0.1㎜ 수준의 초미세 결함을 확인함으로써 스크래치 불량 등 크기의 제한이 없는 불량을 검출할 수 있게 된다.

도 1은 본 발명의 일실시 예에 따른 TFCL 방식의 사출제품의 불량 유무를 검사하는 방식을 도시하고 있다.
도 2는 본 발명의 일실시 예에 따른 영상 장비를 이용하여 사출제품을 촬영하고, 촬영한 사출제품을 패치 단위로 스캔하는 예를 도시하고 있다.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

본 발명은 제품의 불량을 검사하는 방법으로 다양한 형태의 불량 유형 검출을 위해 '선 불량 유형 판정, 후 기준검사(이하, 'First, Condition Last'이라 한다) 알고리즘'을 제안한다.

TFCL 불량 검사엔진은 딥러닝을 이용한 불량 유형 판정 기법과 전통적인 이미지 처리를 이용한 불량 판정 기법을 활용한다. 즉, TFCL 불량 검사 프로세스는 다음과 같다.

하나의 고해상도 대형 크래쉬패드(자동차 사출제품) 영상을 여러 개의 패드로 분할한다.

각 패드 단위별로 불량 검사를 진행하여 불량으로 인식되는 패드가 하나도 없으면, 사출된 사출품은 불량이 없다고 판단한다.

그러나 어떤 패드가 불량이라고 판단되면 불량 후보가 될 부분의 위치를 패드 위치로 인식한다.

실제 불량인지 여부는 해당 부위에 대한 정밀 검사를 진행하여 최종 불량 여부를 판단한다.

TFCL 방식의 사출제품의 불량 유무를 검사하는 방식의 동작은 다음과 같다.

도 1은 본 발명의 일실시 예에 따른 TFCL 방식의 사출제품의 불량 유무를 검사하는 방식을 도시하고 있다. 이하 도 1을 이용하여 본 발명의 일실시 예에 따른 TFCL 방식의 사출제품의 불량 유무를 검사하는 방식에 대해 상세하게 알아보기로 한다.

영상이 입력되면, 딥러닝 기반의 불량 판정 엔진이 불량의 유형과 불량이 될 수 있는 후보를 판별한다. 후보로 판정된 영상의 불량 유형이 가스 자국 불량이면 다음으로 진행하지 않고, 불량제품으로 결정한다. 이는 가스자국 불량이나 얼룩 불량의 경우 크기에 대한 기준이 없으므로 크기와 상관없이 불량으로 판정되어야 하기 때문이다.

불량 유형이 도장 유형이나 얼룩 불량으로 판정된 영상을 제외하고 나머지는 불량 유형별 기준 검사 엔진으로 입력된다. 입력된 영상은 불량 후보가 있는 패치를 기준으로 주변 패치들과 함께 더 세밀한 검사를 한다. 그리고 불량에 대한 영상을 추출하여 그 크기를 계산하여 유형별로 합격 기준을 넘어서는지를 확인한다.

불량의 크기가 합격 기준을 초과한다면 불량 제품으로 결정한다. 불량의 크기가 합격 기준 이내라면 해당 사출제품의 판정은 관리자의 눈을 통해 최종 판정할 수 있도록 미판정으로 결정한 후 검사를 종료한다.

딥러닝 기반의 불량 판정 엔진에서 양호한 영상으로 판정이 된 영상은 최종 정상 제품으로 판정하게 된다.

이하에서는 딥러닝 기반 양/불량 판정 엔진 알고리즘에 대해 알아보기로 한다.

딥러닝 기반 양/불량 판정 엔진은 입력된 영상에서 불량 가능성이 있는 결함이 존재하는지에 대한 유무를 검출하고, 해당 결함이 어떤 유형이며, 결함이 있을 수 있는 후보 위치를 판단하는 엔진은 다음과 같다.

딥러닝의 한 종류로 영상인식에 사용되는 CNN(Convolutional Neural Network)은 특징점을 사전에 추출하지 않고, 입력 층에 영상 데이터를 직접 입력하여 컨볼루션 층을 통해 특징이 자동 추출되는 특징을 가지고 있다.

CNN 모델을 이용하여 결함 검출을 수행하기 위해서는 결함 검출을 하고자하는 대상 이미지의 크기와 신경망의 입력 크기가 동일해야 한다. 그러나, 촬영하는 영상 장비는 그보다 높은 해상도로 제품 표면을 촬영한다. 또한, 검출하고자 하는 결함 크기가 작을 수 있기 때문에 결함을 탐지하기 위한 대상 이미지를 여러 조각으로 나누어 딥러닝 모델을 여러 번 적용할 필요가 있다. 이 때 결함부위가 딥러닝 모델 입력의 경계에 위치하는 경우 특징을 잘 탐지하지 못할 수 있으므로, 이 조각(패치, patch)을 이동하면서 단계별 스캔을 하는 기술을 제안한다.

도 2는 본 발명의 일실시 예에 따른 영상 장비를 이용하여 사출제품을 촬영하고, 촬영한 사출제품을 패치 단위로 스캔하는 예를 도시하고 있다.

도 2에 도시된 바와 같이 영상 장비를 이용하여 사출제품이 모두 표시되도록 촬영하며, 촬영된 영상을 패치 단위로 이동하면서 스캔한다.

이하에서는 불량 유형별 기준 검사 엔진에 대해 알아보기로 한다.

불량 유형별 기준 검사 엔진은 앞선 과정에서 분류된 결과를 바탕으로 해당 결함이 존재하는 패치와 그 주변 패치를 대상으로 결함에 해당하는 부위의 형상을 찾아내고, 해당 형상에 대한 계측을 통해 합격 기준을 만족하는지를 검사하는 엔진이다.

형상검사 기술

형상 검사 기술은 결함에 해당하는 부위의 형상을 찾아내는 기술이다. 형상 검사 기술은 Faster R-CNN(Regions with Convolutional Neural Network)을 활용한다. Faster R-CNN을 활용하는 이유는 CNN으로 직접 학습만을 수행하는 방법은 물체 인식에 많이 쓰이고, 뛰어난 인식률을 보인지만, 이는 대상의 특징이 일관되고, 다른 물체와 구별될 수 있으며, 비교적 크기도 커서 전처리 없이 학습할 수 있기 때문이다. 하지만, 산업용과 같은 사출제품에서의 불량의 경우에는 형태에 일관된 특징이 없고, 크기 또한 작은 경우가 많아서 학습만으로 특징을 자동 추출하기가 어렵다.

이에 비해, Faster R-CNN 기법은 CNN에서 파생된 기법으로 실시간으로 이미지 내에 있는 객체 검출을 목표로 한다. Faster R-CNN은 CNN을 개선한 기법으로, 특징맵을 추출하기 위한 컨볼루션 네트워크와 분류를 위한 완전연결 층으로 이루어진 Fast R-CNN과 추출된 특징맵을 이용해 검출하고자 하는 객체가 있을 만한 영역을 제안하는 RPN(Region Proposal Network)라는 특수한 네트워크를 추가한 구조로 되어 있다. Faster R-CNN 내의 컨볼루션 네트워크는 일반적인 CNN과 같이 컨볼루션 층과 다운샘플링 층으로 이루어져 있고, 여기서 출력되는 특징맵은 RPN과 완전연결 층으로 연결된다. RPN은 특징맵에 슬라이딩 윈도우 방식으로 Anchor boxes를 적용한다. Anchor box는 크기와 비율을 변화시키며 다양한 크기로 적용할 수 있고, 검출하고자 하는 객체가 있을만한 다양한 영역을 제안한다. 제안된 영역 중 IOU(Intersection over Union)를 계산하여 최종 검출 영역을 결정한다.

계측 기술

계측 기술은 형상 검사 기술을 통해 발견한 결함을 실측하여 합격 기준을 만족하는지를 검사하는 기술이다. 상업용 부품에서의 결함의 유형은 다양하며, 또한 검사 기준의 사이즈가 작다. 이에 따라, 모든 유형의 검사를 만족하기 위해서 시스템은 작은 단위의 사이즈에 대한 분해능이 필요하다.

계측 과정은 영상에서 형상 검사 기술을 통해 발견한 결함을 가장자리 검출 알고리즘을 적용해 가장자리 점의 연결된 구성 요소를 추출하고 연결된 각 구성 요소에 몇 개의 픽셀이 있는지를 계산한다.

본 발명에서 가장자리 검출을 위한 알고리즘은 캐니 에지 디텍션(Canny Edge Detection) 알고리즘을 기반으로 제안한다. 많이 사용하는 Sobel 등 공간영역 마스크 기반의 에지 검출 기법은 잡음에 민감하여 에지가 아님에도 에지로 검출하는 문제점이 많기 때문이다. 캐니 에지 디텍션은 이러한 부분을 보완하기 위해 제안된 방법이다. 캐니 에지 디텍션 알고리즘은 다음과 같은 주요 성질을 가지고 있다.

- 탐지성 (good detection) : 모든 실제 개성을 탐지하는 능력

-국부성 (good localization) : 실제 에지와 탐지된 에지의 차이를 최소화

-응답성 (clear response) : 각 에지에 대하여 단일한 응답

이하에서는 가장자리 검출 방법에 대해 알아보기로 한다. 가장자리 검출은 노이즈 제거, 경사도 값이 높은 부분 탐색, 최대값이 아닌 픽셀의 값을 '0'으로 설정하기 및 이력 임계값(Hysteresis thresholding)으로 진행된다.

노이즈 제거(Noise Reduction): 이미지에서 노이즈가 있으면 에지를 정확하게 찾는 것이 어려울 수 있다. 따라서 먼저 5x5 가우시안 필터(Gaussian Filter)를 적용해 이미지의 노이즈를 줄여준다.

경사도(Gradient) 값이 높은 부분 찾기: 가우시안 필터로 노이즈가 제거된 이미지를 Sobel 커널을 수평방향, 수직방향으로 적용하여 각 방향의 경사도를 획득한다. 수평방향의 경사도를 Gx, 수직방향의 경사도를 Gy라 하고, 픽셀(x,y)에서 에지 경사도를 아래의 식을 통해 찾는다. 본 발명과 관련하여 경사도가 높은 부분은 이미지 내에서 경사도의 평균보다 높은 경사도를 갖는 부분을 의미한다.

[수학식]

최대값이 아닌 픽셀의 값을 '0'으로 만들기: 실제 에지가 아니면서 발생하는 에지의 제거작업을 수행하고, 동일 방향에 대한 이웃 화소 설정 과정 후, 현재 위치와 상하, 좌우를 비교하여 현재 화소가 가장 크면 에지로 판단하며, 현재 화소가 가장 크지 않으면 에지가 아닌(non-에지)라고 판단하여 삭제한다.

Hysteresis thresholding: Double thresholds 기법을 사용하여 두 개의 임계값으로 LOW 이하 값을 가지는 잡음 에지를 추가 제거한다. 이후 약한 에지를 대상으로 8개 방향으로 검사하여 연관성(연결성)을 확인하여 강한 에지 또는 non-에지로 판별하여 최종 에지에 도출한다. 최종으로 이렇게 추출한 에지의 픽셀 수를 계산하여 실제 치수를 계산하고 합격 범위내에 포함되는지를 분석한다.

본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

Claims (5)

1. 자동차 사출제품을 촬영한 영상을 설정된 크기를 갖는 복수 개의 조각으로 분할하는 단계;
   분할된 각 조각별로 이동하면서 불량 검사를 진행하며, 불량으로 인식되는 조각이 있다면, 해당 불량이 어떤 유형이 불량인지 판단하는 단계; 및
   불량 유형을 판단한 이후 해당 불량이 설정된 불량기준에 부합하는지 여부를 판단하는 단계를 포함하며,
   상기 설정된 불량기준에 부합하는지 여부를 판단하는 단계는 자동차 사출제품의 가장자리를 검출하는 단계를 포함하며,
   자동차 사출제품의 가장자리를 검출하는 단계는 노이즈 제거 단계, 경사도를 탐색하는 단계, 최대값이 아닌 픽셀 값을 '0'으로 설정하는 단계 및 이력 임계값(Hysteresis Thresholding)을 도출하는 단계를 포함함을 특징으로 하는 자동차 사출제품의 비정형 불량 검출 방법.
   
2. 제 1항에 있어서, 상기 불량 유형은,
   이물 불량, 스크래치 불량, 도장 불량, 얼룩 불량 및 가스자국 불량 중 어느 하나이며,
   판단된 불량이 가스자국 불량이면 불량기준에 부합하는 지 여부를 판단하지 않음을 특징으로 하는 자동차 사출제품의 비정형 불량 검출 방법.
   
3. 삭제
4. 제 1항에 있어서,
   상기 노이즈 제거 단계는, 가우시안 필터를 이용하여 에지가 발생하는 노이즈를 제거하며,
   상기 경사도를 탐색하는 단계는, 하기 수학식에 의해 픽셀(x,y)의 경사도를 산출함을 특징으로 하는 자동차 사출제품의 비정형 불량 검출 방법.
   

   

   
   수평방향의 경사도: Gx
   수직방향의 경사도: Gy
   
5. 제 4항에 있어서,
   상기 최대값이 아닌 픽셀의 값을 '0'으로 설정하는 단계는, 현재 위치와 상하, 좌우 위치를 비교하여 현재 화소의 경사도가 가장 크면 에지로 설정하며,
   상기 이력 임계값(Hysteresis thresholding)을 도출하는 단계는, 두 개의 임계값으로 로우(LOW) 이하의 값을 가지는 노이즈 에지를 제거함을 특징으로 하는 자동차 사출제품의 비정형 불량 검출 방법.

Images