KR102431822B1 - 다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법 - Google Patents

다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법 Download PDF

Info

Publication number
KR102431822B1
KR102431822B1 KR1020200119051A KR20200119051A KR102431822B1 KR 102431822 B1 KR102431822 B1 KR 102431822B1 KR 1020200119051 A KR1020200119051 A KR 1020200119051A KR 20200119051 A KR20200119051 A KR 20200119051A KR 102431822 B1 KR102431822 B1 KR 102431822B1
Authority
KR
South Korea
Prior art keywords
deep learning
defect
collected data
learning model
module
Prior art date
Application number
KR1020200119051A
Other languages
English (en)
Other versions
KR20220036622A (ko
Inventor
이상형
조남준
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020200119051A priority Critical patent/KR102431822B1/ko
Publication of KR20220036622A publication Critical patent/KR20220036622A/ko
Application granted granted Critical
Publication of KR102431822B1 publication Critical patent/KR102431822B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G37/00—Combinations of mechanical conveyors of the same kind, or of different kinds, of interest apart from their application in particular machines or use in particular manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2207/00—Indexing codes relating to constructional details, configuration and additional features of a handling device, e.g. Conveyors
    • B65G2207/14—Combination of conveyors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 챔버(110)의 내측으로 위치되며, 단차 통과 시에 다면체인 이송물(P)의 일측면이 다른면으로 변경되도록 서로 단차가 형성되는 다수의 컨베이어 벨트(120)를 포함하는 이송 챔버 모듈(100); 및 상기 챔버(110)의 내측으로 상기 다수의 컨베이어 벨트(120)마다 일측으로 위치되는 촬영 모듈(200); 를 포함하고, 상기 다수의 컨베이어 벨트(120)는 이송물(P)이 유입되며, 경사지도록 형성되는 제1 컨베이어 벨트(121);이송물(P)이 유출되는 제3 컨베이어 벨트(123); 및 상기 제1 컨베이어 벨트(121)와 상기 제3 컨베이어 벨트(123)의 사이에 다수로 위치되어 이송물(P)을 이송하고, 경사지도록 형성되는 제2 컨베이어 벨트(122); 를 포함하고, 이송물(P)의 불량을 판단하는 제어 모듈(300); 및 상기 챔버(110)는 공간부(111)를 포함하고, 제어 모듈(300)이 이송물(P)을 불량으로 판단하면 상기 공간부(111)로 이송물(P)을 이동시키는 불량 제거 에어 모듈(400); 를 포함하는, 시스템에 관한 것이다.

Description

다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법{Multi-faceted conveyor system and deep learning-based defect detection method using the same}
본 발명은 다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법에 관한 것이다.
컨베이어 시스템에서 촬상장치를 이용하여 제품을 촬영하고, 불량 여부를 판단하는 것에 대하여 개발되어 왔고, 종래의 불량을 검출하는 컨베이어 시스템은 하나의 컨베이어 상부 또는 하부에 카메라를 설치하여 1면의 불량을 검출하거나 좌/우에 카메라를 추가 설치하여 3면의 불량을 검출하는 시스템이었다.
따라서, 종래에는 불량 검출을 위해 일정 간격으로 분리되어 있는 이송물들을 대상으로 하였고, 불량 검출 대상이 되는 이송물들이 서로 붙어 있는 경우는 고려하지는 않았다.
예를 들어, 일본공개특허문헌 제2020-11182호는 상품 검사 장치, 상품 검사 방법 및 상품 검사 프로그램에 관한 것으로, 컨베이어에 의해 이송되는 다수의 상품를 촬영하는 카메라와 화상 데이터에 대하여 미리 정해진 선별 기준에 기반하여 불량여부를 판단하는 판정부를 포함하나, 상품의 다수의 면의 불량을 판단하기는 어려우며 상품이 일정 간격 분리되어 있어 이송물들이 서로 붙어 있는 경우는 고려하지 않았다.
또한, 종래에는 컨베이어 벨트를 통해 이송 중인 이송물의 불량 검출 시 비전(카메라)로 검출 시 조명에 영향을 많이 받는 구조로 되어 있는데, 이 경우 외부 요소(먼지, 이물질, 벌레 등)가 조명에 영향을 미치는 바, 불량이 발생할 가능성 있었다.
예를 들어, 일본공개특허문헌 제2019-184380호는 촬상 장치 및 촬상 장치를 이용한 검사 시스템에 관한 것으로, 복수의 컨베이어 벨트를 포함하고 다수의 카메라가 하나의 이송물의 다면을 촬영하여 불량을 판단할 수 있으나, 조명에 영향을 고려하지 않아 불량이 발생할 가능성이 있으며, 다수의 카메라가 하나의 이송물의 다면을 촬영하여 불량을 판단하는 것으로 상품이 일정 간격 분리되어 있어 이송물들이 서로 붙어 있는 경우는 고려하지 않았다.
(특허문헌 1) 일본공개특허문헌 제2020-11182호
(특허문헌 2) 일본공개특허문헌 제2019-184380호
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다.
구체적으로, 본 발명은 챔버 형태의 컨베이어 시스템으로 서로 밀착되어 나올 수도 있는 대상 이송물의 다면을 관측하여 불량을 검출하고 제거하기 위함이다.
또한, 카메라에 의해 이송물을 촬영할 때, 외부 조명의 영향을 받지 않고 광의 세기를 일정하게 유지하기 위함이다.
또한, 딥러닝 모델로 불량 데이터를 학습하여 불량의 종류, 불량 위치 검출 이 가능하고 이를 현장에 설치하여 지속적인 학습할 수 있다.
또한, 딥러닝 모델로 학습하되, 작업자의 판단을 포함하여 새로운 불량의 종류를 추가로 학습하기 위함이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, 챔버(110)의 내측으로 위치되며, 단차 통과 시에 다면체인 이송물(P)의 일측면이 다른면으로 변경되도록 서로 단차가 형성되는 다수의 컨베이어 벨트(120)를 포함하는 이송 챔버 모듈(100); 및 상기 챔버(110)의 내측으로 상기 다수의 컨베이어 벨트(120)마다 일측으로 위치되는 촬영 모듈(200); 를 포함하고, 상기 다수의 컨베이어 벨트(120)는 이송물(P)이 유입되며, 경사지도록 형성되는 제1 컨베이어 벨트(121);이송물(P)이 유출되는 제3 컨베이어 벨트(123); 및 상기 제1 컨베이어 벨트(121)와 상기 제3 컨베이어 벨트(123)의 사이에 다수로 위치되어 이송물(P)을 이송하고, 경사지도록 형성되는 제2 컨베이어 벨트(122); 를 포함하고, 이송물(P)의 불량을 판단하는 제어 모듈(300); 및 상기 챔버(110)는 공간부(111)를 포함하고, 제어 모듈(300)이 이송물(P)을 불량으로 판단하면 상기 공간부(111)로 이송물(P)을 이동시키는 불량 제거 에어 모듈(400); 를 포함하는 시스템을 제공한다.
일 실시예는, 상기 제어 모듈(300)은, 초기 학습 데이터를 딥러닝 학습하여 미리 생성되는 딥러닝 모델(310); 상기 촬영 모듈(200)에서 촬영된 수집 데이터를 불량인지 판단하는 불량 판단부(320); 및 상기 촬영 모듈(200)에서 촬영된 수집 데이터가 상기 불량 판단부(320)에서 불량으로 판단되면, 상기 수집 데이터와 상기 초기 학습 데이터를 비교하여 유사도를 기준으로 상기 딥러닝 모델(310)을 더 학습시키는 학습부(330); 를 포함할 수 있다.
일 실시예는, 상기 유사도는 상기 수집 데이터를 데이터 임베딩한 벡터값과 상기 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이이고, 상기 학습부(330)는 상기 유사도가 기설정된 값 미만이면 상기 수집 데이터로 상기 딥러닝 모델을 더 학습시킬 수 있다.
일 실시예는, 상기 불량 판단부(320)는 상기 수집 데이터에서 불량이 미검출되면, 상기 불량이 미검출된 수집 데이터를 삭제할 수 있다.
일 실시예는, 상기 학습부(330)는 상기 유사도가 기설정된 값 이상이면 상기 수집 데이터를 삭제할 수 있다.
일 실시예는, 상기 딥러닝 모델(310)로부터 이송물(P)이 불량으로 판단되면, 상기 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어하는 제어부(340); 를 더 포함할 수 있다.
일 실시예는, 상기 촬영 모듈(200)은 각각 다수의 카메라(210)와 상기 카메라(210)의 일측으로 위치되는 다수의 LED(220)를 포함하고, 상기 LED(220)의 일측으로 위치되는 분진 제거 에어부(230); 및 상기 챔버(110)의 외측으로 위치되어 내부와 연통되는 도어(500); 를 더 포함할 수 있다.
일 실시예는, 시스템을 제어하는 방법으로서, (a) 상기 제어 모듈(300)은 상기 초기 학습 데이터를 딥러닝 학습하여 상기 딥러닝 모델(310)을 생성하는 단계;(b) 상기 제어 모듈(300)은 상기 촬영 모듈(200)에서 촬영된 수집 데이터를 수집하는 단계; 및 (c) 상기 불량 판단부(320)는 상기 수집 데이터에서 불량이 검출되는지 판단하고, 상기 제어 모듈(300)은 상기 수집 데이터와 상기 초기 학습 데이터와 비교하여 유사도를 기준으로 상기 딥러닝 모델(310)을 더 학습시키는 단계; 및 (d) 상기 딥러닝 모델(310)은 상기 (b) 단계 및 (c)단계를 반복하여 더 학습되고, 이송물(P)의 불량여부를 판단하는 단계; 를 포함하는 방법을 제공한다.
일 실시예는, 상기 (c)단계는, (c1) 상기 불량 판단부(320)가 상기 수집 데이터를 불량으로 판단하면, 상기 제어 모듈(300)은 상기 수집 데이터를 데이터 임베딩한 벡터값과 상기 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이인 유사도를 판단하는 단계;(c2) 상기 제어 모듈(300)은 상기 판단된 유사도가 기설정된 값 이상이면, 상기 수집데이터를 삭제하는 단계; 및 (c3) 상기 제어 모듈(300)은 상기 판단된 유사도가 기설정된 값 미만이면, 상기 수집 데이터로 상기 딥러닝 모델을 더 학습시키는 단계; 를 포함할 수 있다.
일 실시예는, 상기 (d)단계는, (d1) 상기 딥러닝 모델(310)은 상기 (b) 단계 및 (c)단계를 반복하여 학습 데이터를 학습하는 단계; 및 (d2) 상기 제어부(340)는 이송물(P)이 불량이면 상기 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어하는 단계; 를 포함할 수 있다.
본 발명에 따라, 다음과 같은 효과가 달성된다.
본 발명은 단차가 있는 다수의 컨베이어 벨트를 통해 이송물을 이송하면서 이송물을 촬영하는 바 다면 관측 가능하며, 불량이 있는 이송물의 경우에는 불량 제거 에어 모듈을 통해 신속하게 제거할 수 있다.
또한, 챔버 형태로 이송물을 이송하고, 챔버의 내측으로 설치되는 카메라의 주변으로 LED를 설치하는 바 시간과 날씨 등 주변 환경에 따른 조명 변화에 영향을 받지 않고, 분진 제거 모듈을 통해 카메라 렌즈를 청결하게 유지할 수 있어 촬영된 데이터에 이물질을 배제할 수 있어, 불량 검출의 정확도를 증대시키고 판단 시간을 단축시킬 수 있는 효과가 발휘된다.
또한, 딥러닝 모델로 학습하되, 작업자의 판단을 포함하여 기존에 학습되지않은 새로운 불량의 종류를 추가로 학습하여 불량 검출의 정확도를 증대시킬 수 있는 효과가 발휘된다.
또한, 챔버 제작 시 소량의 데이터로 딥러닝 기반 불량 검출 학습을 진행하고, 현장 설치 후 지속적으로 딥러닝 기반 불량 검출을 위한 학습 데이터를 수집할 수 있어, 불량 검출의 정확도를 증대시킬 수 있고, 딥러닝 모델로 불량을 학습하여 불량의 종류, 불량이 발생한 위치까지 검출 가능한 효과가 발휘된다.
도 1은 본 발명에 따른 시스템을 설명하기 위한 도면이다.
도 2은 본 발명에 따른 불량 제거 에어 모듈을 설명하기 위한 도면이다.
도 3은 본 발명에 따라 딥러닝 모델이 더 학습되는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 시스템을 제어하는 것을 설명하기 위한 모식도이다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 및 도 2를 참조하여, 본 발명에 따른 시스템을 설명한다.
본 발명에 따른 시스템은 이송 챔버 모듈(100), 촬영 모듈(200), 제어 모듈(300), 불량 제거 에어 모듈(400), 도어(500)를 포함한다.
이송 챔버 모듈(100)은 본 발명에 따른 이송물(P)이 이송되는 공간을 포함한다.
이송 챔버 모듈(100)은 챔버(110), 컨베이어 벨트(120), 이탈 방지 레일(130), 지지부(140)를 포함한다.
챔버(110)는 내측으로 후술하는 다수의 컨베이어 벨트(120)가 위치된다.
챔버(110)는 지면으로부터 이격되어 지지될 수 있으며, 후술하는 지지부(140)에 의해 지지될 수 있다.
챔버(110)의 일측으로부터 이송물(P)이 유입되어, 타측으로 이송물(P)이 유출되어 이송된다.
챔버(110)의 상측으로는 챔버(110)의 내측으로 이송되는 이송물(P)을 촬영하기 위한 촬영 모듈(200)이 설치될 수 있다.
챔버(110)의 내측으로는 불량 제거 에어 모듈(400)이 설치 될 수 있다.
이 때, 챔버(110)의 내측에서 이송되는 이송물(P)은 촬영 모듈(200)로 촬영되고 제어 모듈(300)로부터 불량여부가 판단되어, 불량인 경우, 불량 제거 에어 모듈(400)에 의해 외부로 이송될 수 있다. 자세한 설명은 후술한다.
챔버(110)의 일면에는 공간부(111)가 형성될 수 있다.
공간부(111)는 후술하는 불량 제거 에어 모듈(400)에서 에어가 분사되면 이송물(P)이 외부로 이동될 수 있도록 챔버(110)의 일면에 형성된다.
이 때, 공간부(111)는 후술하는 제3 컨베이어 벨트(123)의 측면으로 외부와 연통되도록 형성될 수 있으나 이에 제한되는 것은 아니고, 불량 제거 에어 모듈(400)로부터 이송물(P)이 이동될 수 있도록 형성되면 족하다.
이 때, 챔버(110)에의 내측으로 이송물(P)이 이송되는 바, 외부 요소에 의한 불량 발생을 방지할 수 있다.
컨베이어 벨트(120)는 챔버(110)의 내측으로 설치하여, 이송물(P)을 이송한다.
컨베이어 벨트(120)는 다수의 라인으로 형성되어, 다수의 이송물(P)을 이송할 수 있다.
컨베이어 벨트(120)는 챔버(1110) 내에 다수 개로 위치될 수 있다.
컨베이어 벨트(120)는 제1 컨베이어 벨트(121), 제2 컨베이어 벨트(122) 및 제3 컨베이어 벨트(123)를 포함한다.
제1 컨베이어 벨트(121)는 이송물(P)이 유입되며, 경사지도록 형성된다.
제1 컨베이어 벨트(121)에는 타이밍 나사 드라이브가 위치될 수 있고, 유입되는 이송물(P)을 각각의 라인으로 분리할 수 있다.
제2 컨베이어 벨트(122)는 제1 컨베이어 벨트(121)와 제3 컨베이어 벨트(123)의 사이에 다수로 위치되어 이송물(P)을 이송하고, 경사지도록 형성된다.
이 때, 제2 컨베이어 벨트(122)는 다수로 위치되며, 전술한 이송물(P)의 면의 개수에 따라 위치되는 개수가 달라질 수도 있다.
제3 컨베이어 벨트(123)는 이송물(P)이 유출되며, 지면과 수평인 방향으로 형성될 수 있다.
또한, 컨베이어 벨트(120)는 다면체인 이송물(P)의 일측면이 다른면으로 변경되도록 서로 단차가 형성되도록 위치될 수 있다.
컨베이어 벨트(120)는 서로 단차가 형성되도록 위치되는 바, 이송물(P)이 뒤집히면서 이송되어 이송물(P)의 다면을 검사할 수 있다. 즉, 이송물(P)은 다수의 컨베이어 벨트를 따라 이동하면서 단차로 인해 다면이 순차로 상측으로 위치될 수 있는 바, 다면이 촬영 모듈(200)에 의해 촬영될 수 있다. 이에 따라, 촬영 모듈(200)은 이송물(P)의 다면을 모두 검사할 수 있어, 불량여부를 정확하게 판단할 수 있다.
컨베이어 벨트(120)의 경사와 컨베이어 벨트(120) 간의 단차는 이송물(P)의 종류, 크기, 면의 개수에 따라 조정될 수 있다.
또한, 컨베이어 벨트(120) 간의 단차와 경사는, 제1 컨베이어 벨트(121)와 제2 컨베이어 벨트(122)에서 이송물(P)이 뒤집어지는지 컨베이어 벨트(120)를 동작하여 단차를 결정될 수 있다. 즉, 제1 컨베이어 벨트(121)와 제2 컨베이어 벨트(122)의 경사와 단차를 조정하면서 이송물(P)이 뒤집어지면, 나머지 제2 컨베이어 벨트(122)와 제3 컨베이어 벨트(123)의 경사와 단차를 이와 동일하게 결정할 수 있다.
이 때, 다수의 컨베이어 벨트(120)는 후술하는 이탈 방지 레일(130)에 의해 결합되는 바, 이송물(P)이 뒤집힐 때에도 컨베이어 벨트(120)의 외측으로 이탈을 방지할 수 있다.
이 때, 다면은 6면을 의미할 수도 있으나 이에 제한되는 것은 아니고, 이송물(P)에 형성되는 면의 개수에 따라 달라질 수 있다.
또한, 컨베이어 벨트(120)에는 타이밍 나사 드라이브를 위치시킬 수 있다.
타이밍 나사 드라이브는 컨베이어 벨트(120)의 상측으로 형성되어 이송물(P) 사이의 간격을 벌려줄 수 있다.
타이밍 나사 드라이브를 통해 이송물(P)이 서로 붙어 있어 불량 검출 및 불량 제거가 어려운 것을 방지할 수 있다.
이탈 방지 레일(130)은 다수의 컨베이어 벨트(120)의 사이에 위치된다.
이탈 방지 레일(130)은 다수의 컨베이어 벨트(120)의 사이에 위치되어, 이송물(P)이 뒤집힐 때 이송물(P)이 외측으로 이탈되는 것을 방지할 수 있다.
이탈 방지 레일(130)은 컨베이어 벨트(120)로부터 외측으로 형성되어, 이송물(P)을 위치시킬 수 있는 크기로 형성될 수 있으나 이에 제한되는 것은 아니다.
이 때, 이탈 방지 레일(130)은 다수의 컨베이어 벨트(120)의 사이로, 챔버(110)와 컨베이어 벨트(120)사이로 위치될 수 있으나 이에 제한되는 것은 아니다.
이 때, 이탈 방지 레일(130)의 형상 및 위치는 도시된 바에 제한되는 것은 아니다.
지지부(140)는 챔버(110)의 하측으로 위치되어, 챔버(110)를 지지할 수 있다.
이 때, 지지부(140)의 형상과 위치는 도시된 바에 제한되는 것은 아니다.
촬영 모듈(200)은 챔버(110)의 일측으로 위치되어 챔버(110)의 내측을 이동하는 이송물(P)을 촬영한다.
이 때, 촬영 모듈(200)은 챔버(110)의 상측, 좌측, 우측으로 위치될 수 있으나, 이송물(P)을 촬영할 수 있는 위치이면 이에 제한되는 것은 아니다.
촬영 모듈(200)은 다수의 컨베이어 벨트(120)마다 일측으로 위치된다. 즉, 촬영 모듈(200)은 한 개의 컨베이어 벨트(120) 마다 위치되어, 해당 컨베이어 벨트(120)를 따라 이동하는 이송물(P)의 각기 다른 면을 각각 촬영할 수 있다.
촬영 모듈(200)은 후술하는 제어 모듈(300)로 촬영된 수집데이터를 전송한다. 이에 대하여는 후술한다.
촬영 모듈(200)은 카메라(210)를 포함할 수 있고, LED(220)를 포함한다.
LED(220)는 카메라(210)의 주변에 위치되어, 카메라(210)의 주변의 조명의 영향을 배제할 수 있으며, 카메라(210)가 촬영할 때의 발생되는 광의 영향을 배제할 수 있고, 이송물(P)에 일정한 광의 세기를 유지할 수 있다.
이 때, LED(220)는 카메라(210)의 둘레에 위치될 수 있으나, 이에 제한되는 것은 아니다.
촬영 모듈(200)은 카메라(210)의 일측으로 위치되는 분진 제거 에어부(230)를 더 포함할 수 있고, 카메라(210)에 부착된 분진을 제거하여 수집 데이터의 선명도를 유지할 수 있다.
분진 제거 에어부(230)는 카메라(210)에 부착된 분진을 제거하도록, 각각의 카메라(210) 마다 각각 위치될 수 있다.
제어 모듈(300)은 이송물(P)의 불량을 판단한다.
제어 모듈(300)은 딥러닝 모델(310), 불량 판단부(320), 학습부(330), 제어부(340)를 포함한다.
딥러닝 모델(310)은 초기 학습 데이터를 딥러닝 학습하여 미리 생성된다. 초기 학습 데이터는 작업자에 의해 불량인지 여부가 포함된 데이터로서 초기의 딥러닝 모델을 생성하기 위해 학습되는 데이터이다.
불량 판단부(320)는 수집 데이터에 불량이 포함되는지 여부를 판단한다. 수집 데이터는 초기 학습 데이터에 의해 초기의 딥러닝 모델이 생성된 이후 추가로 학습하기 위해 사용되는 학습 데이터이다. 수집 데이터에서 불량이 포함되는지 여부의 판단은 작업자에 의해 이루어진다. 즉, 작업자가 특정 데이터에 불량이 포함되었다고 판단하면 불량 판단부(320)에는 해당 데이터에 불량이 있음이 입력된다. 또한, 작업자가 특정 데이터에 포함되는 불량의 종류를 판단하고, 불량 판단부(320)에 해당 데이터에 포함되는 불량의 종류를 입력할 수 있다. 작업자에 의해 수집 데이터에 불량이 없다고 판단되면 해당 수집 데이터는 삭제된다. 불량 판단부(320)는 불량이 포함된 것으로 판단된 수집 데이터를 저장하고 학습부(330)로 전송한다.
즉, 불량 판단부(320)에서는 작업자에 의해 불량인지 여부가 판단된 결과가 입력되는 것이나, 이에 제한되는 것은 아니다.
학습부(330)는 초기의 딥러닝 모델을 전송된 수집 데이터를 이용하여 더 학습시켜 딥러닝 모델(310)을 강화한다.
구체적으로, 학습부(330)는 불량 판단부(320)에서 불량으로 판단되어 입력된 수집 데이터를 초기 학습 데이터와 비교하여 유사도를 기준으로 딥러닝 모델(310)을 더 학습시키는데, 이는 후술한다.
이제, 카메라(210)에 의해 촬영된 실제 데이터가 강화된 딥러닝 모델(310)에 인가되어 이송물(P)의 불량여부가 판단되면, 제어부(340)는 불량 제거 에어 모듈(400)을 제어하여 불량인 이송물(P)을 제거한다.
이 때, 딥러닝 모델(310)은 계속하여 학습되어 강화되는 바, 이송물(P)의 불량 판단의 정확도가 계속하여 증가될 수 있다.
불량 제거 에어 모듈(400)은 불량인 이송물(P)을 제거하기 위한 모듈이다.
불량 제거 에어 모듈(400)은 챔버(110)의 내측으로 위치되되 제3 컨베이어 벨트(123)의 측면으로 위치된다.
불량 제거 에어 모듈(400)은 불량인 이송물(P)에 에어를 분사하여, 챔버(110)에 형성되는 공간부(111)를 통해 이송물(P)을 외측으로 이송한다.
불량 제거 에어 모듈(400)은 제어부(340)의 제어에 따라 동작되며 이송물(P)이 정상인 경우에는 에어를 분사하지 않는다.
도어(500)는 챔버(110)의 외측으로 위치되어 내부와 연통된다.
도어(500)는 챔버(110)의 내측으로 위치되는 부품을 교체하기 용이하도록 형성된다.
이 때, 도어(500)은 도시된 위치, 형상 및 개수에 제한되는 것은 아니다.
도 3을 참조하여, 본 발명에 따라 딥러닝 모델이 학습되어 강화되는 과정을 설명한다.
제어 모듈(300)은 초기 학습 데이터로 딥러닝 모델, 즉, 초기의 딥러닝 모델을 생성한 상태이다.
삭제
초기 학습 데이터는 해당 이송물(P)에서 발생되는 불량여부 및 불량의 종류가 라벨링된 초기이미지 파일일 수 있으나 이에 제한되는 것은 아니다.
이송물(P)이 챔버(110)의 내측으로 투입되고, 제1 컨베이어 벨트(121)에서 분리되어 이송을 시작하여 컨베이어 벨트(120)를 따라 이송되면, 다수의 카메라(210)는 이송물(P)의 다면을 촬영한다.
제어 모듈(300)은 카메라(210)에서 촬영된 수집 데이터를 수집한다.
불량 판단부(320)는 작업자에 의해 수집 데이터에서 불량이 검출되는지 입력받는다. 불량 판단부(320)는 수집 데이터에서 불량이 검출되지 않는 것으로 작업자에 의해 확인되면, 불량 판단부(320)는 해당 수집 데이터를 삭제할 수 있다.
불량 판단부(320)는 수집 데이터에서 불량이 검출된 것으로 작업자에 의해 확인이되면, 해당 수집 데이터를 저장하고, 학습부(330)로 전송한다.
학습부(330)은 수집 데이터와 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이인 유사도를 판단한다.
제어 모듈(300)은 판단된 유사도가 기설정된 값 이상이면, 해당 수집 데이터를 삭제한다.
제어 모듈(300)은 판단된 유사도가 기설정된 값 이하이면, 해당 수집 데이터로 딥러닝 모델(310)을 학습시킨다.
딥러닝 모델(310)은 상기 과정을 반복하여 더 학습하여 강화된다.
학습된 딥러닝 모델(310)에서는 이송물(P)의 불량여부와 불량의 종류를 판단할 수 있으며, 불량이 검출된 위치도 판단할 수 있다. 딥러닝 모델(310)에 이송물(P)의 이미지를 입력하면, 해당 이송물(P)의 불량 여부, 불량의 종류, 불량이 검출된 위치 중 어느 하나 이상이 출력될 수 있다. 딥러닝 모델(310)에서 출력되는 데이터는 이미지 파일에 라벨링된 값의 종류에 따라 달라질 수 있으며, 본 발명에서는 이송물(P)의 불량 여부, 불량의 종류 및 불량이 검출된 위치 중 어느 하나 이상이 출력되도록 학습됨을 의미한다.
도 4를 참조하면, 제어부(340)는 딥러닝 모델(310)에서 이송물(P)이 불량으로 판단되면, 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어한다.
이 때, 에어를 통하여 불량인 이송물(P)을 챔버(110)의 외측으로 신속하게 이동시킬 수 있는 바, 불량인 이송물(P)에 뒤따라오는 다른 이송물(P)의 이송에 영향을 끼치지 않는다.
제어부(340)는 다수의 카메라(210)에서 촬영된 다수의 이미지로 이송물(P)의 불량을 판단하는 것이고, 각각의 다수의 이미지는 어떤 카메라(210)로부터 촬영된 것인지 구별될 수 있다. 이에 따라, 딥러닝 모델(310)로 이송물(P)의 불량을 학습할 때 불량이 발생한 위치까지 검출이 가능하다.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.
100: 이송 챔버 모듈
110: 챔버
111: 공간부
120: 컨베이어 벨트
121: 제1 컨베이어 벨트
122: 제2 컨베이어 벨트
123: 제3 컨베이어 벨트
130: 이탈 방지 레일
140: 지지부
200: 촬영 모듈
210: 카메라
220: LED
230: 분진 제거 에어부
300: 제어 모듈
310: 딥러닝 모델
320: 불량 판단부
330: 학습부
340: 제어부
400: 불량 제거 에어 모듈
500: 도어
P: 이송물

Claims (10)

  1. 챔버(110)의 내측으로 위치되며, 단차 통과 시에 다면체인 이송물(P)의 일측면이 다른면으로 변경되도록 서로 단차가 형성되는 다수의 컨베이어 벨트(120)를 포함하는 이송 챔버 모듈(100); 및
    상기 챔버(110)의 내측으로 상기 다수의 컨베이어 벨트(120)마다 일측으로 위치되는 촬영 모듈(200); 를 포함하고,
    상기 다수의 컨베이어 벨트(120)는
    이송물(P)이 유입되며, 경사지도록 형성되는 제1 컨베이어 벨트(121);
    이송물(P)이 유출되는 제3 컨베이어 벨트(123); 및
    상기 제1 컨베이어 벨트(121)와 상기 제3 컨베이어 벨트(123)의 사이에 다수로 위치되어 이송물(P)을 이송하고, 경사지도록 형성되는 제2 컨베이어 벨트(122); 를 포함하고,
    이송물(P)의 불량을 판단하는 제어 모듈(300); 및
    상기 챔버(110)는 공간부(111)를 포함하고, 제어 모듈(300)이 이송물(P)을 불량으로 판단하면 상기 공간부(111)로 이송물(P)을 이동시키는 불량 제거 에어 모듈(400); 를 포함하고,
    상기 제어 모듈(300)은,
    초기 학습 데이터를 딥러닝 학습하여 미리 생성되는 초기의 딥러닝 모델;
    상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함되는지 여부가
    인가되는 불량 판단부(320); 및
    상기 불량 판단부(320)에 의해 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함된 것으로 확인된 경우, 상기 수집 데이터와 상기 초기 학습 데이터를 비교한 유사도를 기준으로 상기 초기의 딥러닝 모델을 더 학습시킬지 여부를 판단하고, 학습시키는 것으로 판단된 경우 학습을 수행하여 딥러닝 모델(310)이 강화되는 학습부(330); 를 포함하고,
    상기 불량 판단부(320)는 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함되지 않는 것으로 확인된 경우, 해당 수집 데이터를 삭제하고,
    상기 제어 모듈(300)은 상기 강화된 딥러닝 모델(310)을 이용함으로써 이송물(P)의 불량을 판단하는,
    시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 유사도는 상기 수집 데이터를 데이터 임베딩한 벡터값과 상기 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이이고,
    상기 학습부(330)는 상기 유사도가 기설정된 값 미만이면 상기 수집 데이터로 상기 딥러닝 모델을 더 학습시키는,
    시스템.
  4. 삭제
  5. 제3항에 있어서,
    상기 학습부(330)는 상기 유사도가 기설정된 값 이상이면 상기 수집 데이터를 삭제하는,
    시스템.
  6. 제1항에 있어서,
    상기 딥러닝 모델(310)로부터 이송물(P)이 불량으로 판단되면, 상기 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어하는 제어부(340); 를 더 포함하는,
    시스템.
  7. 제1항에 있어서,
    상기 촬영 모듈(200)은 각각 다수의 카메라(210)와 상기 카메라(210)의 일측으로 위치되는 다수의 LED(220)를 포함하고,
    상기 LED(220)의 일측으로 위치되는 분진 제거 에어부(230); 및
    상기 챔버(110)의 외측으로 위치되어 내부와 연통되는 도어(500); 를 더 포함하는,
    시스템.
  8. 제6항에 따른 시스템을 제어하는 방법으로서,
    (a) 상기 제어 모듈(300)은 상기 초기 학습 데이터를 딥러닝 학습하여 상기 초기의 딥러닝 모델을 생성하는 단계;
    (b) 상기 제어 모듈(300)은 상기 촬영 모듈(200)에서 촬영된 수집 데이터를 수집하는 단계;
    (c) 상기 불량 판단부(320)에 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함되는지 여부가 인가되는 단계;
    (d) 상기 불량 판단부(320)는 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함되지 않는 것으로 확인된 경우, 해당 수집 데이터를 삭제하는 단계;
    (e) 상기 학습부(330)는 상기 불량 판단부(320)에 의해 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함된 것으로 확인된 경우, 상기 수집 데이터와 상기 초기 학습 데이터를 비교한 유사도를 기준으로 상기 초기의 딥러닝 모델을 더 학습시킬지 여부를 판단하고, 학습시키는 것으로 판단된 경우 상기 초기의 딥러닝 모델을 더 학습을 수행하고, 상기 더 학습된 초기의 딥러닝 모델은 딥러닝 모델(310)인, 단계; 및
    (f) 상기 제어 모듈(300)은 상기 (b) 단계 내지 (e)단계를 반복하여 상기 딥러닝 모델(310)을 더 학습하여 상기 딥러닝 모델(310)이 강화되고, 상기 제어 모듈(300)은 상기 강화된 딥러닝 모델(310)을 이용함으로써 이송물(P)의 불량여부를 판단하는 단계; 를 포함하는,
    방법.
  9. 제8항에 있어서,
    상기 (e)단계는,
    (e1) 상기 불량 판단부(320)에 의해 상기 수집 데이터에 불량이 포함된 것으로 확인된 경우, 상기 학습부(330)는 상기 수집 데이터를 데이터 임베딩한 벡터값과 상기 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이인 유사도를 판단하는 단계;
    (e2) 상기 학습부(330)는 상기 판단된 유사도가 기설정된 값 이상이면, 상기 수집데이터를 삭제하는 단계; 및
    (e3) 상기 학습부(330)는 상기 판단된 유사도가 기설정된 값 미만이면, 상기 수집 데이터로 상기 초기의 딥러닝 모델을 더 학습시키는 단계; 를 포함하는,
    방법.
  10. 제8항에 있어서,
    상기 (f)단계는,
    (f1) 상기 제어 모듈(300)은 상기 (b) 단계 내지 (e)단계를 반복하여, 상기 딥러닝 모델(310)을 더 학습하고, 상기 딥러닝 모델(310)이 강화되는 단계; 및
    (f2) 상기 제어 모듈(300)는 이송물(P)이 불량이면 상기 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어하는 단계; 를 포함하는
    방법.
KR1020200119051A 2020-09-16 2020-09-16 다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법 KR102431822B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200119051A KR102431822B1 (ko) 2020-09-16 2020-09-16 다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200119051A KR102431822B1 (ko) 2020-09-16 2020-09-16 다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법

Publications (2)

Publication Number Publication Date
KR20220036622A KR20220036622A (ko) 2022-03-23
KR102431822B1 true KR102431822B1 (ko) 2022-08-12

Family

ID=80963614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200119051A KR102431822B1 (ko) 2020-09-16 2020-09-16 다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법

Country Status (1)

Country Link
KR (1) KR102431822B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327929A (ja) * 1999-11-22 2001-11-27 Lintec Corp ワーク検査装置
JP2004319547A (ja) * 2003-04-11 2004-11-11 Shin Etsu Handotai Co Ltd 物品の自動搬送水切り装置および自動搬送水切り方法、並びに物品の自動洗浄装置及び自動洗浄方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995396B1 (ko) * 2017-09-29 2019-09-30 주식회사 엘지씨엔에스 제품 결함 검출 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327929A (ja) * 1999-11-22 2001-11-27 Lintec Corp ワーク検査装置
JP2004319547A (ja) * 2003-04-11 2004-11-11 Shin Etsu Handotai Co Ltd 物品の自動搬送水切り装置および自動搬送水切り方法、並びに物品の自動洗浄装置及び自動洗浄方法

Also Published As

Publication number Publication date
KR20220036622A (ko) 2022-03-23

Similar Documents

Publication Publication Date Title
RU2710146C1 (ru) Устройство для получения и анализа характерных данных для продуктов пищевой промышленности, установка, содержащая такое устройство, и способ обработки продуктов пищевой промышленности
AU695317B2 (en) Automated inspection system with transport and ejector conveyor
US7030400B2 (en) Real-time web inspection method and apparatus using combined reflected and transmitted light images
JP6357617B2 (ja) 蒲鉾板の欠陥検査装置
JP5607734B2 (ja) 離散的な低剛性の透明又は半透明体の欠陥を検査する装置及び方法
US6859270B2 (en) Method and device for inspecting transparent containers
KR102580389B1 (ko) 유리 시트 검사 장치 및 방법
JP2019184380A (ja) 撮像装置及び撮像装置を用いた検査システム
CN115335855A (zh) 豆腐制品的检查设备、豆腐制品的制造***、豆腐制品的检查方法及程序
KR102431822B1 (ko) 다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법
JP2007003243A (ja) 長尺物の外観検査装置
JP6007639B2 (ja) 疵検出方法および疵検出装置
JP7248316B2 (ja) 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
JP6044396B2 (ja) 異物検出装置、及びパーツフィーダ
JP6774641B2 (ja) 塗布装置および塗布方法
JP3974015B2 (ja) 物品検査システム
CN110178020A (zh) 改进的玻璃检查***
JP4015436B2 (ja) 金めっき欠陥検査装置
KR101543896B1 (ko) 스캡 결함 검출 장치 및 방법
KR102442972B1 (ko) 이미지 프로세싱을 통한 원자재에 포함된 이물질 판별 시스템
JP2019124518A (ja) 錠剤検査方法および錠剤検査装置
CN109632810A (zh) 显示面板裂纹检测方法及***
JP6428554B2 (ja) 検査システム、検査方法
JP7267665B2 (ja) ワーク検査装置およびワーク検査方法
CN110945347B (zh) 光学显示面板的损伤检查方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant