KR20220050083A - 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템 - Google Patents

제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템 Download PDF

Info

Publication number
KR20220050083A
KR20220050083A KR1020217020515A KR20217020515A KR20220050083A KR 20220050083 A KR20220050083 A KR 20220050083A KR 1020217020515 A KR1020217020515 A KR 1020217020515A KR 20217020515 A KR20217020515 A KR 20217020515A KR 20220050083 A KR20220050083 A KR 20220050083A
Authority
KR
South Korea
Prior art keywords
model
candidate
new
learning
training
Prior art date
Application number
KR1020217020515A
Other languages
English (en)
Inventor
태경필
김영욱
조봉수
박창용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20220050083A publication Critical patent/KR20220050083A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40577—Multisensor object recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템에서는 제품 생산 라인 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용되었던 복수의 학습 데이터 세트 중 후보 세트 추출 모듈이 판정 유형 정보에 기초하여 2 이상의 후보 데이터 세트를 추출한다. 그리고, 추가 세트 결정 모듈이 신규 학습 데이터와 후보 데이터 세트의 학습 이미지 간의 유사도를 산출하여, 기준값 이상인 어느 하나를 추가 학습 데이터로 결정한다. 그리고, 신규 모델 생성 모듈이 추가 학습 데이터 세트와 신규 학습 데이터를 사전 훈련 모델로 학습시켜 신규 학습 모델을 생성할 수 있다.
이를 통해, 적은 량의 신규 학습 데이터로 신규 학습 모델을 생성할 때, 신규 학습 데이터와 유사한 기존의 학습 데이터 세트가 추가적으로 학습에 적용되어 신규 학습 모델의 판정 정확도를 높일 수 있다.

Description

제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템
본 발명은 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템에 관한 것으로서, 보다 상세하게는 기 등록된 기존 학습 모델의 생성에 사용되었던 학습 데이터 세트를 신규 학습 모델의 생성에 이용하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템에 관한 것이다.
AI(Artificial intelligence) 기술의 하나인 딥러닝(Deep learning) 기술은 사람의 신경 세포(Biological Neuron)를 모사하여 기계가 학습하도록 하는 인공 신경망(Artificial Neural Network) 기반의 기계 학습 방법을 의미한다. 최근, 딥러닝 기술은 이미지 인식, 음성 인식, 자연어 처리의 발전에 기여하면서 크게 주목받고 있다.
이와 같은 딥러닝 기술은 근래에 제품 생산 라인에서의 비전 검사(Vision inspection)에도 적용되고 있다. 일 예로, 한국공개특허공보 제10-2019-0063839호에는 “제조공정에서 딥러닝을 활용한 머신 비전 기반 품질 검사 방법 및 시스템”이 개시되어 있다.
상기 한국공개특허공보에 개시된 기술은 학습용 제품 영상을 생성하고, 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키며, 학습된 분류기를 이용하여 제품을 양품 또는 불량품으로 판정하고 있다.
상기 한국공개특허공보에 개시된 기술과 같이 딥러닝 기술은 양품과 불량품의 이미지 데이터와, 해당 이미지가 불량품 이미지인지 아니면 양품 이미지인지를 기록한 레이블 정보가 분류기와 같은 학습 모델에 입력되어 학습되어, 양불 검사를 위한 새로운 학습 모델을 생성하게 된다.
일반적으로 제품 생산 라인에서는 다양한 형태의 불량 검사가 진행된다. 하나의 제품을 생산하기 위한 제품 생산 라인에는 사출 공정, 판형 공정, 서브 조립 공정, 총조 공정 등 다수의 공정이 포함되어 있고, 각 공정에서의 결과물, 예컨대, 사출이나 판형을 통해 제조된 부품, 부품의 조립 공정을 통해 생산된 서브 부품, 그리고 총조 공정을 통해 생산되는 제품, 각각에 대해 비전 검사가 진행된다.
도 1은 일반적인 제품 생산 라인의 예를 개략적으로 나타낸 도면이다.
도 1을 참조하여 설명하면, 제품 생산 라인은 사출 공정, 판형 공정, 서브 조립 공정, 총조 공정을 포함할 수 있다. 사출 공정, 판형 공정은 제품 생산에 필요한 부품을 사출이나 판형 방식으로 제조하는데, 하나의 제품 생산 라인에 다수의 사출 공정이나 판형 공정이 포함될 수 있다.
사출 공정이나 판형 공정을 통해 제작된 부품에서는 다양한 형태의 불량, 예를 들어, 찌그러짐(Dent), 갈라짐(Crack), 긁힘(Scratch) 등의 불량이 존재하고, 이러한 불량을 검사하기 위한 dent 검사, crack 검사, scratch 검사 과정을 포함할 수 있다.
서브 조립 공정은 부품을 조립하여 서브 부품을 생산하는 공정으로, 서브 부품 또한, 도 1에 도시된 바와 같이, dent 검사, crack 검사, scratch 검사 과정을 거칠 수 있으며, 추가적으로 부품 누락이나 미스 얼라인(Miss align)과 같은 조립 불량 검사 과정을 포함할 수 있다.
총조 공정은 서브 부품들을 조립하여 제품을 생산하는 공정으로, 외관 검사 과정, 예를 들어, 이물질 부착, 조립 불량 등의 외관 검사 과정이 진행된다. 총조 공정에서도 dent 검사, crack 검사, scratch 검사 과정을 거칠 수 있다.
그런데, 각 공정에 따라 결과물이 달라 학습 데이터로 사용될 이미지의 형태가 다르고, 동일한 불량 유형이라도 결과물에 따라 불량의 형태가 다를 수 있고 그 배경이 되는 결과물 자체도 달라 결과적으로 이미지의 형태가 다르게 되는 바, 이론적으로 각 공정의 결과물과 불량의 유형에 따라 각각의 학습 모델을 생성하여 적용하여야 한다.
또한, 다양한 제품군을 생산하는 제조업체의 경우, 제품별로 제품 생산 라인도 달라지고, 동일한 사출 공정이 존재하더라도 제품별로 그 결과물이 달라져서 제품별로도 별도의 학습 모델을 생성하여야 한다. 마찬가지로, 새로운 제품 생산을 위해 제품 생산 라인이 바뀌게 되면, 새로운 제품 생산 라인의 각 공정 및 불량 유형에 맞는 신규 학습 모델을 생성하여야 한다.
여기서, 신규 학습 모델의 판정 정확도는 다양한 요소에 의해 결정될 수 있는데, 학습 데이터의 양, 학습 초기 설정되는 하이퍼 파라미터의 선정, 사전 훈련 모델(Pre-training model, 이하 동일)의 선정 등이 판정 정확도를 결정하는 중요한 요소이다.
그러나, 새로운 제품 생산 라인에 적용될 신규 학습 모델의 경우, 학습 데이터의 양, 특히 불량 데이터의 양이 상대적으로 적을 수 밖에 없고, 적은 양의 학습 데이터로 학습되어 생성되는 신규 학습 모델의 판정 정확도는 낮을 수 밖에 없다.
본 발명은 기 등록된 기존 학습 모델의 생성에 사용되었던 학습 데이터 세트를 신규 학습 모델의 생성에 이용하여, 적은 량의 학습 데이터를 갖는 신규 학습 모델의 생성시 판정 정확도를 높일 수 있는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템을 제공하는데 목적이 있다.
본 발명은 신규 학습 모델의 생성에 추가될 기존의 학습 데이터 세트를 결정하는데 있어, 학습 이미지 간의 유사도를 기준으로 판단하여, 추가될 기존의 학습 데이터 세트 중 신규 학습 데이터를 구성하는 학습 이미지에 근접한 학습 데이터 세트를 추출하도록 하는데 목적이 있다.
본 발명은 유사도 판정에 있어, 특성 맵과 특징점 분포를 이용하여 신규 학습 데이터와의 유사도를 높여 신규 학습 모델의 생성시 판정 정확도를 높이는데 목적이 있다.
본 발명은 신규 학습 모델의 생성과 추가 학습 데이터 세트의 결정에 적용될 사전 훈련 모델을 기 등록된 기존 학습 모델 중 최적의 학습 모델로 결정하여, 신규 학습 모델의 판정 정확도를 높이는데 목적이 있다.
본 발명은 사전 훈련 모델을 결정하는데 소요되는 시간을 줄이고, 결정 과정의 효율성을 높이면서도, 최적의 사전 훈련 모델을 추천하는데 목적이 있다.
본 발명에 따른 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템에서는 제품 생산 라인 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용되었던 복수의 학습 데이터 세트 중 후보 세트 추출 모듈이 판정 유형 정보에 기초하여 2 이상의 후보 데이터 세트를 추출하고, 추가 세트 결정 모듈이 신규 학습 데이터와 후보 데이터 세트의 학습 이미지 간의 유사도를 산출하여, 기준값 이상인 어느 하나를 추가 학습 데이터로 결정한다. 그리고, 신규 모델 생성 모듈이 추가 학습 데이터 세트와 신규 학습 데이터를 사전 훈련 모델로 학습시켜 신규 학습 모델을 생성할 수 있다.
상기 판정 유형 정보는 불량의 유형에 대한 불량 유형 정보, 검사 대상 제품의 유형에 대한 제품 유형 정보, 검사 대상 부품의 유형에 대한 부품 유형 정보 중 적어도 하나를 포함할 수 있고, 상기 데이터 스토리지에 저장된 각각의 상기 학습 데이터 세트는 상기 불량 유형 정보, 상기 제품 유형 정보 및 상기 부품 유형 정보 중 적어도 하나를 갖는 모델 정보를 포함할 수 있다. 이 때, 상기 후보 세트 추출 모듈은 상기 모델 정보를 참조하여 상기 후보 데이터 세트를 추출할 수 있다.
상기 후보 세트 추출 모듈은 상기 불량 유형 정보, 제품 유형 정보 및 부품 유형 정보의 순으로 설정된 우선 순위에 따라 후보 데이터 세트를 추출할 수 있다.
상기 추가 세트 결정 모듈은 상기 신규 학습 데이터에 대한 특성 맵을 생성하여 특징점 분포를 산출하고, 후보 데이터 세트에 대한 특성 맵을 생성하여 특징점 분포를 산출하여, 특징점 분포 간의 차이를 유사도로 산출할 수 있다.
본 발명에 따른 AI 기반의 신규 학습 모델 생성 시스템은 복수의 상기 기존 학습 모델이 저장된 학습 모델 스토리지와, 상기 판정 유형 정보에 기초하여 2 이상의 후보 모델을 추출하는 후보 모델 추출 모듈, 및 2 이상의 후보 모델에 신규 학습 데이터를 적용하여 판정 정확도를 산출하고, 기 설정된 제1 기준값 이상의 판정 정확도를 갖는 최상위 후보 모델을 상기 사전 훈련 모델로 결정하는 모델 결정 모듈을 더 포함할 수 있다.
상기 모델 결정 모듈은 상기 최상위 후보 모델의 상기 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 후보 모델이 존재하는 경우, 상기 최상위 후보 모델과 상기 유사 후보 모델의 판정 과정에서 상기 신규 학습 데이터에 대해 생성된 특성 맵의 특징점 분포를 추출하고, 특징점 분포의 차이가 큰 어느 하나를 상기 사전 훈련 모델로 결정할 수 있다.
상기 모델 결정 모듈은 상기 최상위 후보 모델과 상기 유사 후보 모델의 판정 과정에 적용된 복수의 학습 데이터 중 임의로 선택된 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이의 평균값을 이용하여 사전 훈련 모델을 결정할 수 있다.
상기 모델 결정 모듈은 상기 판정 정확도가 상기 제1 기준값 이하인 경우, 상기 판정 정확도 기준 상위 n개를 재검 후보 모델로 추출하고, 각각의 상기 재검 후보 모델을 복수의 상기 학습 데이터 중 기 설정된 개수의 학습 데이터로 학습시킨 후, 복수의 상기 학습 데이터 중 기 설정된 개수의 학습 데이터를 학습된 상기 재검 후보 모델에 입력하여 양불을 판정하여, 각각의 상기 재검 후보 모델의 판정 정확도가 기 설정된 제2 기준값 이상인 최상위 재검 후보 모델을 상기 사전 훈련 모델로 결정할 수 있다.
상기 모델 결정 모듈은 상기 재검 후보 모델을 추출할 때 상기 판정 정확도가 기 설정된 하한값 이하인 후보 모델은 상기 재검 후보 모델에서 제거할 수 있다.
상기 모델 결정 모듈은 복수의 상기 재검 후보 모델 중 상기 최상위 재검 후보 모델의 상기 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 재검 후보 모델이 존재하는 경우, 상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델의 판정 과정에서 각각의 상기 학습 데이터에 대해 생성된 특성 맵의 특징점 분포를 추출하고, 상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델 중 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이가 큰 어느 하나를 상기 사전 훈련 모델로 결정할 수 있다.
상기 모델 결정 모듈은 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이의 평균값을 산출하여, 상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델 중 상기 평균값이 큰 어느 하나를 상기 사전 훈련 모델로 결정할 수 있다.
상기 특징점 분포 간의 차이는 KL-Divergence 알고리즘을 통해 산출될 수 있다.
본 발명에 따른 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템은 다음과 같은 효과가 하나 혹은 그 이상이 있다.
첫째, 기 등록된 기존 학습 모델의 생성에 사용되었던 학습 데이터 세트를 신규 학습 모델의 생성에 이용하여, 적은 량의 학습 데이터를 갖는 신규 학습 모델의 생성시에도 많은 양의 학습 데이터를 확보할 수 있어, 새로이 생성되는 신규 학습 모델의 판정 정확도를 높일 수 있다.
둘째, 기존의 학습 데이터 세트 중 추가 학습 데이터 세트를 결정하는데 있어, 학습 이미지 간의 유사도를 기준으로 결정하여, 신규 학습 모델의 생성에 추가될 추가 학습 데이터 세트를 신규 학습 데이터와 가장 유사한 이미지로 결정할 수 있는 효과가 있다.
셋째, 학습 데이터 간의 유사도 판정에 있어 사전 훈련 모델을 통해 산출된 특성 맵과 특징점 분포를 이용하여 유사도를 산출하여, 신규 학습 데이터와 유사도의 유사도를 높힐 수 있어 신규 학습 모델의 생성시 판정 정확도를 현저히 높일 수 있는 효과가 있다.
넷째, 후보 데이터 세트를 불량 유형 정보, 제품 유형 정보, 부품 유형 정보 중 어느 하나를 포함하는 판정 유형 정보를 이용하여 추출하여, 신규 학습 데이터와 유사성이 높은 학습 데이터 세트를 후보로 추출할 수 있는 효과가 제공된다.
다섯째, 신규 학습 모델의 생성과 추가 학습 데이터 세트의 결정에 적용될 사전 훈련 모델을 기 등록된 기존 학습 모델 중 최적의 학습 모델로 결정하여, 신규 학습 모델의 판정 정확도를 높일 수 있다.
여섯째, 사전 훈련 모델을 결정하는데 있어, 사전 훈련 모델을 결정하기 위한 후보 모델을 불량 유형 정보, 제품 유형 정보, 부품 유형 정보 중 어느 하나를 포함하는 판정 유형 정보를 이용하여 추출하여, 신규 학습 모델과 유사성이 있는 학습 모델을 후보 모델로 추출할 수 있는 효과가 제공된다.
일곱째, 사전 훈련 모델을 결정하는데 있어, 신규 학습 데이터 중 일부 만을 후보 모델이 판정하도록 하고, 판정 정확도를 기준으로 사전 훈련 모델을 결정하여, 사전 훈련 모델의 결정에 소요되는 시간을 줄이면서도, 최적의 사전 훈련 모델을 추천할 수 있는 효과가 제공된다.
여덟째, 사전 훈련 모델을 결정하는데 있어, 후보 모델 모두의 판정 정확도가 제1 기준값 이하일 때, 상위 n개의 후보 모델을 재검 후보 모델로 추출하고, 학습 데이터의 일부로 재검 후모 모델을 학습시킨 후 사전 훈련 모델을 결정하여, 사전 훈련 모델의 결정 과정의 효율성을 높이면서도 최적의 사전 훈련 모델을 추천할 수 있는 효과가 제공된다.
아홉째, 사전 훈련 모델을 결정하는데 있어, 판정 정확도가 유사 범위 내인 경우, 특징점 분포를 이용하여 추가적인 평가 과정을 거침으로써, 최적의 사전 훈련 모델을 추천할 수 있는 효과가 제공된다.
도 1은 일반적인 제품 생산 라인의 예를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템의 구성을 도시한 도면이다.
도 3 및 도 4는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템의 신규 학습 모델 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템에서 유사도 산출 과정에서 생성되는 특성 맵 및 특징점 분포의 예를 나타낸 도면이다.
도 6 내지 도 11은 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템의 신규 학습 모델 생성 과정의 다른 예를 설명하기 위한 도면이다.
발명의 실시를 위한 최선의 형태
본 발명에 따른 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템은 복수의 학습 데이터 세트와, 신규 학습 모델의 생성을 위해 수집된 복수의 신규 학습 데이터가 저장된 데이터 스토리지 각각의 상기 학습 데이터 세트는 제품 생산 라인 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용됨; 신규 학습 모델의 생성을 위한 판정 유형 정보가 입력되는 경우, 상기 판정 유형 정보에 기초하여 복수의 상기 학습 데이터 세트 중 적어도 2 이상의 후보 데이터 세트를 추출하는 후보 세트 추출 모듈; 및 상기 신규 학습 데이터에 포함된 신규 학습 이미지와, 상기 후보 데이터 세트에 포함된 후보 학습 이미지 간의 유사도를 산출하고, 상기 유사도가 기 등록된 기준값 이상인 하나의 후보 데이터 세트를 추가 학습 데이터 세트로 결정하는 추가 세트 결정 모듈; 및 상기 추가 세트 결정 모듈에 의해 결정된 상기 추가 학습 데이터 세트와 상기 신규 학습 데이터를 사전 훈련 모델에 적용하여 상기 신규 학습 모델을 생성하는 신규 모델 생성 모듈을 포함한다.
발명의 실시를 위한 형태
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 구체적으로 설명한다.
도 2는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)의 구성을 도시한 도면이다. 도 2를 참조하여 설명하면, 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)은 데이터 스토리지(130), 후보 모델 추출 모듈(161), 추가 세트 결정 모듈(120) 및 신규 모델 생성 모듈(140)을 포함한다. 그리고, 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)은 데이터 스토리지(130), 후보 모델 추출 모듈(161), 추가 세트 결정 모듈(120) 및 신규 모델 생성 모듈(140)의 동작을 제어하는 메인 프로세서(150)를 포함할 수 있다. 여기서, 메인 프로세서(150)는 각 구성요소들의 동작을 위한 CPU, RAM 등의 하드웨어적 구성과, 운영체계 등의 소프트웨어적 구성을 포함한다.
데이터 스토리지(130)에는 복수의 학습 데이터 세트와, 복수의 신규 학습 데이터가 저장된다. 각각의 학습 데이터 세트는 제품 생산 라인(300) 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용된 학습 데이터들이 각각의 학습 모델에 대응하여 저장된다.
보다 구체적으로 설명하면, 하나의 기존 학습 모델을 학습을 통해 생성할 때, 학습에 적용한 복수의 학습 데이터들이 해당 기존 학습 모델에 대해 하나의 학습 데이터 세트로 저장된다. 도 1을 참조하여 설명하면, 제품 생산 라인(300)에는 각각의 공정의 결과물인 부품이나 제품의 불량을 검사하기 위한 dent 검사, crack 검사, scratch 검사 과정 등 다양한 비전 검사 공정이 포함되어 있으며, 각각의 비전 검사 공정에 적용된 학습 모델, 예를 들어 dent 검사용 학습 모델, crack 검사용 학습 모델, scratch 검사용 학습 모델의 생성시 사용된 학습 데이터들이 각각의 모델에 대해 세트로 저장된다.
데이터 스토리지(130)에 저장된 복수의 신규 학습 데이터는 본 발명에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)에 의해 생성될 신규 학습 모델의 생성을 위해 수집된다. 예를 들어, 새로운 제품 생산 라인(300)의 셋업이나, 기존의 제품 생산 라인(300)에서 신규 제품의 생산을 위해 라인이 변경되는 경우, 새로운 제품이나 부품의 비전 검사를 위해 불량 이미지와 정상 이미지, 그리고 불량 또는 정상 여부에 대한 레이블 정보를 포함하는 학습 데이터가 수집된다.
여기서, 본 발명에서는 데이터 스토리지(130)에 복수의 학습 데이터 세트와, 신규 학습 데이터가 저장되는 것으로 설명하고 있으나, 물리적으로 분리된 별도의 데이터 스토리지(130)에 복수의 학습 데이터 세트와 신규 학습 데이터가 각각 분산되어 저장되도록 마련될 수 있으며, 본 발명의 기술적 사상에 포함됨은 물론이다.
후보 세트 추출 모듈(110)은 신규 학습 모델의 생성을 위한 판정 유형 정보가 입력되는 경우, 판정 유형 정보에 기초하여 복수의 학습 데이터 세트 중 적어도 2 이상의 후보 데이터 세트를 추출한다.
판정 유형 정보는 신규 학습 모델이 어떤 제품이나 부품, 어떤 불량 형태를 갖는 비전 검사에 적용되는지 여부에 대한 정보를 포함하는데, 본 발명에서는 불량의 유형에 대한 불량 유형 정보, 검사 대상 제품의 유형에 대한 제품 유형 정보, 검사 대상 부품의 유형에 대한 부품 유형 정보 중 적어도 하나를 포함하는 것을 예로 한다.
이에 대응하여, 데이터 스토리지(130)에 저장되는 각각의 학습 데이터 세트는 불량 유형 정보, 제품 유형 정보 및 부품 유형 정보 중 적어도 하나를 갖는 모델 정보를 포함할 수 있다. 여기서, 후보 세트 추출 모듈(110)은 판정 유형 정보가 입력되면, 각각의 학습 데이터 세트의 모델 정보를 참조하여 학습 데이터 세트 중 후보 데이터 세트를 추출하게 된다.
본 발명에서는 후보 세트 추출 모듈(110)이 불량 유형 정보, 부품 유형 정보, 그리고 제품 유형 정보의 순으로 설정된 우선 순위에 따라 기 설정된 개수의 학습 데이터 세트를 후보 데이터 세트로 추출하는 것을 예로 한다. 예컨대, 불량 유형 정보로 찌그러짐, 제품 유형 정보로 스마트폰, 부품 유형 정보로 케이스를 포함하는 판정 유형 정보가 입력되면, 후보 세트 추출 모듈(110)은 찌그러짐에 대응하는 학습 데이터 세트를 1차적으로 추출하고, 추출된 학습 데이터 세트가 기 설정된 개수 이상이면, 그 중 스마트폰에 대응하는 학습 데이터 세트를 2차적으로 추출하는 방법을 통해, 기 설정된 개수의 후보 데이터 세트를 추출하게 된다.
추가 세트 결정 모듈(120)은 신규 학습 데이터에 포함된 신규 학습 이미지와, 후보 데이터 세트에 포함된 후보 학습 이미지 간의 유사도를 산출한다. 그리고, 추가 세트 결정 모듈(120)은 유사도가 기 등록된 기준값 이상인 하나의 후보 데이터 세트를 추가 학습 데이터 세트로 결정한다.
신규 모델 생성 모듈(140)은 추가 세트 결정 모듈(120)에 의해 결정된 추가 학습 데이터 세트를 구성하는 학습 데이터들과, 신규 학습 데이터를 사전 훈련 모델에 적용하고, 사전 훈련 모델의 학습을 통해 신규 학습 모델을 생성한다.
상기와 같은 구성에 따라, 기 등록된 기존 학습 모델의 생성에 사용되었던 학습 데이터 세트를 신규 학습 모델의 생성에 사용하는데 있어, 판정 유형 정보를 이용하여 후보 데이터 세트를 추출하고, 후보 데이터 세트에 포함된 학습 데이터 중 신규 학습 데이터와 유사도가 높은 후보 데이터 세트를 추가 학습 데이터 세트로 결정하여, 신규 학습 모델의 생성에 사용함으로써, 적은 량의 학습 데이터를 갖는 신규 학습 모델의 생성시에도 판정 정확도를 높일 수 있게 된다.
이하에서는 도 3 및 도 4를 참조하여 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)의 신규 학습 모델 생성 과정에 대해 상세히 설명한다.
도 3을 참조하여 설명하면, 먼저, 신규 학습 모델의 생성을 위한 신규 학습 데이터가 수집되어 등록된다(S30). 그런 다음, 신규 학습 모델의 생성을 위한 판정 유형 정보가 입력된다(S31). 여기서, 판정 유형 정보는 상술한 바와 같이, 불량 유형 정보, 제품 유형 정보 및 부품 유형 정보 중 적어도 하나를 포함할 수 있다.
판정 유형 정보가 입력되면(S31), 후보 세트 추출 모듈(110)은 판정 유형 정보에 기초하여 추가 학습 데이터 세트를 결정하는 과정을 수행한다(S32).
도 4를 참조하여 설명하면, 후보 세트 추출 모듈(110)은 판정 유형 정보에 따라 데이터 스토리지(130)에 저장된 각각의 학습 데이터 세트의 모델 정보를 참조하여, 복수의 학습 데이터 세트 중 기 설정된 개수의 후보 데이터 세트를 추출한다(S321).
그런 다음, 후보 세트 추출 모듈(110)은 유사도 산출을 위한 특성 맵을 생성한다(S322). 본 발명에서는 후보 세트 추출 모듈(110)이 복수의 신규 학습 데이터 중 기 설정된 개수의 신규 학습 이미지로부터 신규 이미지 특성 맵을 생성하고, 후보 데이터 세트를 구성하는 복수의 학습 데이터 중 기 설정된 개수의 후보 학습 이미지로부터 후보 이미지 특성 맵을 생성하는 것을 예로 한다.
본 발명에서는 특성 맵의 생성에 기 설정된 특성 맵 생성 알고리즘이 적용될 수 있으며, 사전 훈련 모델의 학습을 통해 특성 맵이 생성될 수 있는데, 이에 대한 상세한 설명은 후술한다.
이를 통해, 후보 데이터 세트 중 일부의 후보 학습 이미지와, 신규 학습 데이터 중 일부의 신규 학습 이미지 만을 이용하여 유사도 산출에 적용함으로써, 신규 학습 모델 생성 과정, 특히 추가 학습 데이터 세트를 결정하는 과정에 소요되는 시간을 최소화할 수 있게 된다.
신규 이미지 특성 맵과, 후보 이미지 특성 맵이 생성되면(S322), 각각의 신규 이미지 특성 맵의 신규 특징점 분포를 산출하고, 각각의 후보 이미지 특성 맵의 후보 특징점 분포를 산출한다(S323).
도 5는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)에서 유사도 산출 과정에서 생성되는 특성 맵 및 특징점 분포의 예를 나타낸 도면이다. 도 5의 (a)의 좌측 이미지는 불량 학습 데이터이고, 우측 이미지는 정상 학습 데이터이고, (b)의 좌측 이미지는 불량 학습 데이터에 대한 특성 맵이고, 우측 이미지는 정상 학습 데이터에 대한 특성 맵이고, (c)의 좌측 이미지는 불량 학습 데이터에 대한 특성 맵의 특징점 분포이고, 우측 이미지는 정상 학습 데이터에 대한 특성 맵의 특징점 분포이다.
후보 데이터 세트의 후보 학습 이미지와, 신규 학습 데이터의 신규 학습 이미지 간의 유사도 비교를 비교할 때, 불량 학습 데이터 간의 유사도가 비교되거나, 정상 학습 데이터 간의 유사도가 비교된다. 예를 들어, 정상인 제품의 이미지가 유사한 경우에는 정상 학습 데이터 간의 유사도를 산출하고, 불량인 제품의 이미지가 유사한 경우에는 불량 학습 데이터 간의 유사도가 비교되어 추가 학습 데이터 세트를 결정하는 것이 바람직하다.
본 발명에서는 신규 특징점 분포와 후보 특징점 분포 간의 차이를 유사도로 산출하는데(S324), 본 발명에서는 KL-Divergence 알고리즘을 통해 산출하는 것을 예로 한다.
그리고, 각각의 후보 데이터 세트와 신규 학습 데이터 간의 유사도가 산출되면(S324), 후보 세트 추출 모듈(110)은 유사도가 기 설정된 기준값 이상인 하나의 후보 데이터 세트를 추가 학습 데이터 세트로 결정한다(S326). 여기서, 기준값 이상인 후보 데이터 세트가 복수 개일 경우, 유사도가 가장 높은 하나가 추가 학습 데이터 세트로 결정될 수 있다. 반면, 후보 세트 추출 모듈(110)은 유사도가 기 설정된 기준값 이상인 후보 데이터 세트가 존재하지 않는 경우, 결정 실패(S327)로 추가 학습 데이터 세트 결정 과정을 종료할 수 있다.
상기와 같은 구성에 따라, 후보 데이터 세트와 신규 학습 데이터 간의 유사도를 산출하는데 있어, 실제 학습 모델의 학습 과정에서 생성되는 특성 맵의 특징점 분포를 유사도 비교에 적용함으로써, 신규 학습 모델의 학습시 적용될 추가 학습 데이터 세트가 신규 학습 데이터에 보다 유사한 이미지가 선정 가능하게 되어, 신규 학습 모델의 판정 정확도를 높일 수 있는 효과를 제공하게 된다.
상기와 같은 과정을 통해 추가 학습 데이터 세트가 결정되면, 신규 모델 생성 모듈(140)은 추가 학습 데이터 세트를 구성하는 학습 데이터들과, 신규 학습 데이터를 사전 훈련 모델에 입력하여 사전 훈련 모델을 학습시킨다(S33). 그리고, 사전 훈련 모델의 학습을 통해 최종적으로 신규 학습 모델이 생성된다(S34).
다시, 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)은 사전 훈련 모듈 결정 모듈(160)과, 훈련 모델 스토리지(170)를 더 포함할 수 있다.
학습 모델 스토리지에는 제품 생산 라인(300) 상의 비전 검사를 위한 복수의 기존 학습 모델이 저장된다. 여기서, 학습 모델 스토리지에 저장된 기존 학습 모델은 데이터 스토리지(130)에 저장된 각각의 학습 데이터 세트에 매칭되어 저장될 수 있다. 즉, 특정 부품의 dent 검사용 학습 모델이 학습 모델 스토리지에 저장되면, 해당 dent 검사용 학습 모델의 생성시 적용된 학습 데이터들이 학습 데이터 세트로 저장될 수 있다. 여기서, 기존 학습 모델은 학습 데이터 세트에 대응하여 불량 유형 정보, 부품 유형 정보 및 제품 유형 정보 중 적어도 하나를 갖는 모델 정보를 포함할 수 있는데, 이에 대한 상세한 설명은 후술한다.
사전 훈련 모듈 결정 모듈(160)은 훈련 모델 스토리지(170)에 저장된 기존 학습 모델 중 하나를 신규 모델 생성 모듈(140)과 추가 세트 결정 모듈(120)에서 적용할 사전 훈련 모델을 결정한다. 본 발명에서는 사전 훈련 모듈 결정 모듈(160)이 후보 모델 추출 모듈(161)과 모델 결정 모듈(162)을 포함하는 것을 예로 ㅎ나다.
후보 모델 추출 모듈(161)은 판정 유형 정보에 기초하여 복수의 기존 학습 데이터 중 적어도 2 이상의 후보 모델을 추출한다. 그리고, 모델 결정 모듈(162)은 데이터 스토리지(130)에 저장된 신규 학습 데이터 중 기 설정된 개수의 신규 학습 데이터를 각각의 후보 모델이 입력하여 양불을 판정하고, 각각의 후보 모델의 판정 정확도가 기 설정된 제1 기준값 이상인 최상위 후보 모델을 사전 훈련 모델로 결정한다.
보다 구체적으로 설명하면, 신규 학습 모델을 생성하기 위해서는 복수의 학습 데이터가 수집되고, 판정 유형 정보, 예컨대, 불량 유형 정보가 입력되면, 후보 모델 추출 모듈(161)은 학습 모델 스토리지에 저장된 기존 학습 모델 중 불량 유형 정보와 동일한 불량 유형을 검사하기 위해 생성되었던 기존 학습 모델을 검색하고, 이를 후보 모델로 추출하게 된다.
여기서, 후보 모델 추출 모듈(161)은 각각의 기존 학습 모델에 대해 등록된 모델 정보에 기초하여, 상술한 바와 같이, 불량 유형 정보, 부품 유형 정보 및 제품 유형 정보의 순으로 설정된 우선 순위에 따라 기 설정된 개수의 기존 학습 모델을 후보 모델로 추출할 수 있다.
상기와 같은 과정을 통해, 학습 모델 스토리지에 저장된 복수의 기존 학습 모델 중 신규 학습 모델과 가장 유사한 형태의 불량을 검사했던 기존 학습 모델이 후보 모델로 추출 가능하게 되어, 이후의 과정에서 최종적으로 선정되는 사전 훈련 모델을 이용하여 생성되는 신규 학습 모델의 판정 정확도를 높일 수 있다.
모델 결정 모듈(162)은 데이터 스토리지(130)에 저장된 학습 데이터 중 기 설정된 개수의 학습 데이터를 추출한다. 예를 들어, 1000장의 신규 학습 이미지가 신규 학습 데이터로 저장되어 있다고 가정하는 경우, 1000장의 신규 학습 데이터를 모두 판정 정확도를 산출하는데 사용하게 되면, 사전 훈련 모델을 결정하는데 많은 시간이 소요된다. 따라서, 기 설정된 개수, 예를 들어 20%인 200장의 신규 학습 이미지를 추출하여 판정 정확도의 산출에 사용함으로써, 사전 훈련 모델을 결정하는데 소요되는 시간을 줄일 수 있게 된다.
모델 결정 모듈(162)은 200장의 신규 학습 데이터를 각각의 후보 모델에 입력하여 양불을 판단하고, 각각의 신규 학습 데이터의 레이블 정보에 기초하여 판단 정확도를 산출한다. 그리고, 모델 결정 모듈(162)은 각각의 후보 모델 중 판정 정확도가 제1 기준값 이상인 후보 모델 중 최상위 후보 모델을 신규 학습 모델의 생성을 위한 사전 훈련 모델로 결정하게 된다. 본 발명에서는 제1 기준값을 80%로 설정하는 것을 예로 하는데, 본 발명의 기술적 사상이 이에 국한되지 않음은 물론이다.
상기와 같은 과정을 통해, 다양한 제품 생산 라인(300)에 적용되었던 기존 학습 모델 중 신규 학습 모델과 가장 유사한 학습 모델이 후보 모델로 추출 가능하게 되고, 추출된 후보 모델이 학습 데이터의 양불을 판정하도록 하여, 판정 정확도가 제1 기준값 이상인 후보 모델 중 최상위 후보 모델을 사전 훈련 모델로 추천함으로써, 이후 생성될 신규 학습 모델의 판정 정확도를 높일 수 있는 효과를 제공하게 된다.
또한, 수집된 학습 데이터 전체를 사용하지 않고, 일정 개수만의 학습 데이터를 이용하여 사전 훈련 모델을 결정하도록 하여, 소요되는 시간을 현저히 줄일 수 있게 된다.
이하에서는, 도 6 내지 도 11을 참조하여, 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)의 신규 학습 모델 생성 과정의 다른 예에 대해 상세히 설명한다. 도 6 내지 도 11에 도시된 실시예에서는 사전 훈련 모듈 결정 모듈(160)에 의해 사전 훈련 모델이 결정되고, 이를 통해 결정된 사전 훈련 모델이 추가 학습 데이터 세트 결정 과정과 신규 학습 모델 생성 과정에 적용된다.
도 6에 도시된 실시예를 설명하는데 있어, 도 3에 도시된 실시예에 대응하는 구성에 대해서는 상세한 설명을 생략하고, 도 3에 도시된 실시예에 대한 설명으로 대체할 수 있다.
도 6을 참조하여 설명하면, 신규 학습 데이터가 수집되어 등록되고(S60), 판정 유형 정보가 입력되면(S61), 사전 훈련 모델을 결정하는 과정이 수행된다(S70). 여기서, S60 단계 및 S61 단계는 도 3에 도시된 S30 단계 및 S31 단계에 대응하는 바, 그 상세한 설명은 생략한다.
도 7 내지 9는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)에서 사전 훈련 모델을 결정하는 과정의 일 예를 설명하기 위한 도면이다.
도 7을 참조하여 설명하면, 후보 모델 추출 모듈(161)은 S61 단계에서 입력된 판정 유형 정보에 기초하여, 학습 모델 스토리지에 저장된 기존 학습 모델의 모델 정보를 참조하여 후보 모델을 추출한다(S71). 여기서, 후보 모델 추출 모듈(161)이 기존 학습 데이터 중 기 설정된 개수의 후보 모델을 추출하는 방법은 상술한 바와 같다.
후보 모델이 추출되면, 모델 결정 모듈(162)은 각각의 후보 모델에 대한 판정 정확도 평과 과정을 진행한다(S72). 도 8은 모델 결정 모듈(162)에 의해 수행되는 첫번째(1st) 판정 정확도 평과 과정을 설명하기 위한 도면이다.
모델 결정 모듈(162)은 데이터 스토리지(130)에 저장된 신규 학습 데이터 중 기 설정된 개수(i 개)의 신규 학습 데이터를 추출한다(S721). 그런 다음, 모델 결정 모듈(162)은 추출된 I 개의 학습 데이터를 각각의 후보 모델이 양불을 판정하도록 하고(S722), 판정 결과와 각 신규 학습 데이터의 레이블 정보에 기초하여 각각의 후보 모델의 판정 정확도를 산출한다(S723).
다시 도 7을 참조하여 설명하면, 각각의 후보 모델의 판정 정확도가 제1 기준값 이상인지 여부를 판단하고(S73), 판정 정확도가 제1 기준값 이상인 후보 모델 중 최상위 후보 모델을 사전 훈련 모델로 결정한다(S74).
한편, 모델 결정 모듈(162)은 S73 단계에서 모든 후보 모델의 판정 정확도가 제1 기준값 이하인 경우, 2차(2nd) 판정 정확도 평가 과정을 수행한다(S75). 도 9는 모델 결정 모듈(162)(130)에 의해 수행되는 2차 판정 정확도 평가 과정을 설명하기 위한 도면이다.
도 9를 참조하여 설명하면, 모델 결정 모듈(162)은 S72 단계에서 산출된 판정 정확도 기준 상위 n개의 후보 모델을 재검 후보 모델로 추출한다(S751). 예를 들어, 10개의 후보 모델이 추출된 상태에서 10개의 후보 모델이 모두 80% 이하의 판정 정확도를 나타내면, 상위 5개의 후보 모델을 재검 후보 모델로 추출하게 된다.
여기서, 상위 n개의 재검 후보 모듈을 추출할 때, n개의 재검 후보 모델의 판정 정확도가 기 설정된 하한값 이하인 후보 모델이 존재하는지 여부를 판단하고(S752), 하한값 이하의 판정 정확도를 갖는 후보 모델은 재검 후보 모델에서 제외한다(S753). 예를 들어, 하한값이 60%로 설정된 것으로 가정할 때, 5개의 재검 후보 모델 중 2개의 판정 정확도가 60% 이하이면, 3개의 후보 모델만이 재검 후보 모델로 추출될 수 있다.
이를 통해, 판정 정확도가 하한값보다 작은 후보 모델은 2차 판정 정확도 평가 과정에서 배제시킴으로써, 2차 판정 정확도 평가 과정에 소요되는 시간을 줄이면서도, 사전 훈련 모델로 결정될 가능성이 낮은 후보 모델을 사전에 배제시켜 모델 결정 과정의 효율성을 높일 수 있게 된다.
상기 과정을 통해 재검 후보 모델이 추출되면, 모델 결정 모듈(162)은 기 설정된 개수(j 개)의 신규 학습 데이터를 데이터 스토리지(130)로부터 추출한다(S754). 그런 다음, 모델 결정 모듈(162)은 추출된 j 개의 신규 학습 데이터로 각각의 재검 후보 모델을 학습시킨다(S755).
재검 후보 모델의 학습이 완료되면, 모델 결정 모듈(162)은 기 설정된 개수(k 개)의 신규 학습 데이터를 데이터 스토리지(130)로부터 추출하고(S756), 추출된 k 개의 신규 학습 데이터를 학습이 완료된 각각의 재검 후보 모델이 양불을 판정하도록 하고(S757), 판정 결과와 각 신규 학습 데이터의 레이블 정보에 기초하여 각각의 재검 후보 모델의 판정 정확도를 산출한다(S758).
상기 과정을 통해, 1차 판정 정확도 평가 과정(S72)에서 제1 기준값 이하의 후보 모델들을 실재 신규 학습 모델의 생성을 위한 신규 학습 데이터의 일부로 학습시킨 후, 판정 정확도를 다시 평가함으로써, 신규 학습 데이터에 적합한 기존 학습 모델이 사전 훈련 모델로 추출될 가능성을 향상시키게 된다.
다시 도 7을 참조하여 설명하면, 2차 판정 정확도 평가 과정을 통해 재검 후보 모델의 판정 정확도가 산출되면, 각각의 재검 후보 모델의 판정 정확도가 제2 기준값 이상인지 여부를 판단하고(S76), 판정 정확도가 제2 기준값 이상인 재검 후보 모델 중 최상위 재검 후보 모델을 사전 훈련 모델로 결정한다(S77). 반면, 제2 기준값 이상의 판정 정확도를 갖는 재검 후보 모델이 존재하지 않는 경우, 추천 실패로 결정될 수 있다(S78).
여기서, 제2 기준값은 제1 기준값보다 상대적으로 높게 설정될 수 있다. 예컨대, 상술한 바와 같이 제1 기준값이 80%로 설정되는 경우, 제2 기준값은 90%로 설정될 수 있다. 이는 제2 기준값의 적용을 받는 재검 후보 모델은 실제 신규 학습 모델의 생성시 적용될 신규 학습 데이터로 학습이 수행되어 신규 학습 데이터의 판정에 정확도가 높아질 수 있음을 반영한 것이다.
상기와 같은 과정을 통해, 판정 정확도가 높은 후보 모델로부터 1차적으로 사전 훈련 모델을 결정하고, 판정 정확도가 제1 기준값보다 낮을 때 상위 n개의 후보 모델을 신규 학습 데이터로 학습시킨 후 판정 정확도를 산출하는 2차적인 판정 과정을 추가함으로써, 신규 학습 모델에 가장 근접한 기존 학습 모델을 사전 훈련 모델로 결정할 수 있게 된다.
도 10 및 도 11은 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)에서 사전 훈련 모델을 결정하는 과정의 다른 예를 설명하기 위한 도면이다. 도 10 및 도 11에 도시된 실시예는 도 7 내지 도 9에 도시된 실시예의 변형 예로, 상호 대응하는 구성에 대해서는 그 설명이 생략될 수 있다.
판정 유형 정보가 입력되면(도 6의 S61 참조), 후보 모델 추출 모듈(161)은 판정 유형 정보에 기초하여, 학습 모델 스토리지에 저장된 기존 학습 모델의 모델 정보를 참조하여 후보 모델을 추출한다(S12). 후보 모델 추출 모듈(161)에 의한 후보 모델 추출 방법은 상술한 바와 같다.
후보 모델이 추출되면, 모델 결정 모듈(162)은 각각의 후보 모델에 대한 판정 정확도 평가 과정(1st)을 진행한다(S13). 여기서, 모델 결정 모듈(162)에 의한 판정 정확도 평가 과정은 도 8에 도시된 실시예에 대응하는 바, 그 설명은 생략한다.
1차적인 판정 정확도 평가 과정을 통해 각각의 후보 모델에 대한 판정 정확도가 산출되면, 각각의 후보 모델의 판정 정확도가 제1 기준값 이상인지 여부를 판단한다(S14). 이 때, 제1 기준값 이상인 최상위 후보 모델의 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 후보 모델이 존재하는 경우, 유사 후보 모델의 비교 과정이 진행된다(S91).
도 11을 참조하여 보다 구체적으로 설명하면, 최상위 후보 모델의 판정 정확도의 차이가 유사 범위 내인 유사 후보 모델이 존재하는 경우(S911), 최상위 후보 모델과 유사 후보 모델의 특성 맵을 추출한다(S912). 그리고, 특성 맵의 특징점 분포가 추출된다(S913)
최상위 후보 모델과 유사 후보 모델의 판정 정확도 산출을 위해, 해당 후보 모델이 학습 데이터를 딥러닝 기반으로 판정하는 과정에서는 각각의 학습 데이터에 대해 특성 맵이 생성된다. 그리고, 특성 맵에서는 확률 분포인 특징점 분포가 추출 가능하다. 여기서, 특성 맵 및 특징점 분포는 학습 데이터 중 정상 학습 데이터와 불량 학습 데이터에 대해 추출된다. 정상 학습 데이터와 불량 학습 데이터에 대한 특성 맵 및 특징점 분포의 예는 도 5에 도시된 바와 같다.
도 8의 (c)에 도시된 바와 같이, 불량 학습 데이터와 정상 학습 데이터 간의 특징점 분포는 차이를 나타내는데, 두 특징점 분포의 차이가 커지는 것은 학습 모델이 원본 이미지로부터 특성 맵을 구별 가능하게 잘 추출해내는 것으로 평가할 수 있어, 결과적으로 최종 학습 모델의 판정 정확도를 높일 수 있다.
판정 정확도에 대한 유사 범위를 2%로 설정한 경우, 최상위 후보 모델의 판정 정확도가 85%로 산출되고, 다음 순위의 후보 모델의 판정 정확도가 83%로 산출된 경우 해당 후보 모델이 유사 후보 모델로 추출되는데, 판정 정확도 산출을 위해 추출된 신규 학습 데이터의 샘플링 과정, 그리고 그 개수에 의해 판정 정확도가 달라질 수 있다. 따라서, 유사 범위 내에 있는 최상위 후보 모델과 유사 후보 모델 중 어느 학습 모델이 최적이라고 단정할 수 없는 경우가 발생하므로, 특징점 분포를 이용하여 최적의 사전 훈련 모델을 결정하게 된다.
본 발명에서는 최상위 학습 모델과 유사 후보 모델 중 불량 학습 데이터와 정상 학습 데이터 간의 특징점 분포의 차이값를 산출하여(S914), 차이가 큰 어느 하나를 사전 훈련 모델로 결정하는 것을 예로 한다. 이 때, 최상위 후보 모델과 유사 후보 모델의 판정 과정에 적용된 복수의 신규 학습 데이터 중 임의로 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터를 추출하고, 불량 학습 데이터와 정상 학습 데이터 간의 특징점 분포의 차이값을 산출한 후(S914), 평균값을 산출한다(S915). 그리고, 최상위 후보 모델의 평균값과 유사 후보 모델의 평균값을 비교하여(S916), 최상위 후보 모델의 평균값이 크면 최상위 후보 모델이 선정되고(S917), 유사 후보 모델의 평균값이 크면 유사 후보 모델이 선정되어(S918), 사전 훈련 모델로 결정된다(도 10의 S15).
여기서, 특징점 분포의 차이값은 확률 분포의 차이를 산출할 수 있는 알고리즘이 적용될 수 있으며, 본 발명에서는 KL-Divergence 알고리즘을 통해 차이값이 산출되는 것을 예로 한다.
다시 도 10을 참조하여 설명하면, 모델 결정 모듈(162)은 S14 단계에서 모든 후보 모델의 판정 정확도가 제1 기준값 이하인 경우, 2차(2nd) 판정 정확도 평가 과정을 수행한다(S16). 여기서, 2차 판정 정확도 평가 과정은, 도 9에 도시된 실시예에 대응하는 바, 그 상세한 설명은 생략한다.
2차 판정 정확도 평가 과정을 통해 각각의 재검 후보 모델의 판정 정확도가 산출되면, 각각의 재검 후보 모델의 판정 정확도가 제2 기준값 이상인지 여부를 판단한다(S17). 이 때, 제2 기준값 이상인 최상위 재검 후보 모델의 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 재검 후보 모델이 존재하는 경우, 유사 재검 후보 모델의 비교 과정이 진행된다(S92).
여기서, 유사 재검 후보 모델의 비교 과정은, 도 11에 도시된 유사 후보 모델의 비교 과정에 대응한다. 구체적으로 설명하면, 최상위 재검 후보 모델의 판정 정확도와의 차이가 유사 범위 내인 유사 재검 후보 모델이 존재하는 경우(S911 참조), 최상위 재검 후보 모델과 유사 재검 후보 모델의 특성 맵을 추출한다(S912 참조). 그리고, 특성 맵의 특징점 분포가 추출된다(S913 참조)
이 때, 상술한 바와 같이, 불량 학습 데이터와 정상 학습 데이터 간의 특징점 분포의 차이값을 산출한 후(S914 참조), 평균값을 산출한다(S915 참조). 그리고, 최상위 재검 후보 모델의 평균값과 유사 재검 후보 모델의 평균값을 비교하여(S916 참조), 최상위 재검 후보 모델의 평균값이 크면 최상위 재검 후보 모델이 선정되고(S917 참조), 유사 재검 후보 모델의 평균값이 크면 유사 재검 후보 모델이 선정되어(S918 참조), 사전 훈련 모델로 결정된다(S18).
상기와 같이, 최상위 후보 모델 또는 최상위 재검 후보 모델이 존재하는 경우에도 판정 정확도가 유사 범위 내에 있는 유사 후보 모델 또는 유사 재검 후보 모델이 존재하면, 특성 맵의 특징점 분포를 이용하여 최종적인 사전 훈련 모델을 결정함으로써, 신규 학습 모델에 좀 더 근접하는 학습 모델을 사전 훈련 모델을 결정할 수 있게 된다.
다시, 도 6을 참조하여 설명하면, 상기와 같은 과정을 통해 사전 훈련 모델이 결정되면, 추가 학습 데이터 세트를 결정하는 과정이 진행된다(S62). 여기서, 추가 학습 데이터 세트를 결정하는 과정은 도 4에 도시된 실시예에서와 같으며, 도 4에 도시된 실시예에서 후보 학습 데이터 세트와 신규 학습 데이터의 특성 맵을 생성하는 과정에 도 6의 S70 단계에서 결정된 사전 훈련 모델이 적용된다. 즉, 신규 학습 모델의 생성에 가장 적합한 것으로 추출된 사전 훈련 모델이, 신규 학습 모델의 생성을 위해 추가될 학습 데이터 세트를 결정하는 과정에서의 특성 맵 생성에 적용됨으로써, 신규 학습 데이터와 가장 유사한 학습 데이터 세트를 결정할 수 있게 된다.
그리고, 추가 학습 데이터 세트가 결정되면, 도 6의 S70 단계에서 결정된 사전 훈련 모델을 이용하여 신규 학습 모델이 생성되는데, 상술한 바와 같이, 신규 학습 데이터와 추가 학습 데이터 세트를 구성하는 학습 데이터들이 사전 훈련 모델을 통해 학습됨으로써, 적은 량의 신규 학습 데이터를 이용한 학습시 발생하는 판정 정확도 저하 문제를 해소할 수 있게 된다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명은 제품 생산 라인의 각 생산 공정의 결과물에 대한 비전 검사 분야에 적용될 수 있다.
100 : AI 기반의 신규 학습 모델 생성 시스템
110 : 후보 세트 추출 모듈 120 : 추가 세트 결정 모듈
130 : 데이터 스토리지 140 : 신규 모델 생성 모듈
150 : 메인 프로세서 160 : 사전 훈련 모델 결정 모듈
161 : 후보 모델 추출 모듈 162 : 모델 결정 모듈
170 : 훈련 모델 스토리지 300 : 제품 생산 라인

Claims (15)

  1. 복수의 학습 데이터 세트와, 신규 학습 모델의 생성을 위해 수집된 복수의 신규 학습 데이터가 저장된 데이터 스토리지 각각의 상기 학습 데이터 세트는 제품 생산 라인 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용됨;
    신규 학습 모델의 생성을 위한 판정 유형 정보가 입력되는 경우, 상기 판정 유형 정보에 기초하여 복수의 상기 학습 데이터 세트 중 적어도 2 이상의 후보 데이터 세트를 추출하는 후보 세트 추출 모듈; 및
    상기 신규 학습 데이터에 포함된 신규 학습 이미지와, 상기 후보 데이터 세트에 포함된 후보 학습 이미지 간의 유사도를 산출하고, 상기 유사도가 기 등록된 기준값 이상인 하나의 후보 데이터 세트를 추가 학습 데이터 세트로 결정하는 추가 세트 결정 모듈; 및
    상기 추가 세트 결정 모듈에 의해 결정된 상기 추가 학습 데이터 세트와 상기 신규 학습 데이터를 사전 훈련 모델에 적용하여 상기 신규 학습 모델을 생성하는 신규 모델 생성 모듈을 포함하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  2. 청구항 1에 있어서,
    상기 판정 유형 정보는 불량의 유형에 대한 불량 유형 정보, 검사 대상 제품의 유형에 대한 제품 유형 정보, 검사 대상 부품의 유형에 대한 부품 유형 정보 중 적어도 하나를 포함하고;
    상기 데이터 스토리지에 저장된 각각의 상기 학습 데이터 세트는 상기 불량 유형 정보, 상기 제품 유형 정보 및 상기 부품 유형 정보 중 적어도 하나를 갖는 모델 정보를 포함하며;
    상기 후보 세트 추출 모듈은 상기 모델 정보를 참조하여 상기 후보 데이터 세트를 추출하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  3. 청구항 2에 있어서,
    상기 후보 세트 추출 모듈은 상기 불량 유형 정보, 상기 부품 유형 정보 및 상기 제품 유형 정보의 순으로 설정된 우선 순위에 따라 기 설정된 개수의 학습 데이터 세트를 상기 후보 데이터 세트로 추출하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  4. 청구항 1에 있어서,
    상기 추가 세트 결정 모듈은
    복수의 상기 신규 학습 데이터 중 기 설정된 개수의 신규 학습 이미지로부터 신규 이미지 특성 맵을 생성하고, 각각의 상기 신규 이미지 특성 맵의 신규 특징점 분포를 산출하고,
    상기 후보 데이터 세트 중 기 설정된 개수의 후보 학습 이미지로부터 후보 이미지 특성 맵을 생성하고, 각각의 상기 후보 이미지 특성 맵의 후보 특징점 분포를 산출하며;
    상기 신규 특징점 분포와 상기 후보 특징점 분포 간의 차이를 상기 유사도로 산출하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  5. 청구항 4에 있어서,
    상기 신규 특징점 분포와 상기 후보 특징점 분포 간의 차이는 KL-Divergence 알고리즘을 통해 산출되는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  6. 청구항 4에 있어서,
    기 설정된 개수의 상기 신규 학습 이미지와, 기 설정된 개수의 상기 후보 학습 이미지를 각각 상기 사전 훈련 모델을 통해 학습시켜 상기 신규 이미지 특성 맵과 상기 후모 이미지 특성 맵을 생성하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  7. 제6항에 있어서,
    복수의 상기 기존 학습 모델이 저장된 학습 모델 스토리지와,
    상기 판정 유형 정보에 기초하여 복수의 상기 기존 학습 모델 중 적어도 2 이상의 후보 모델을 추출하는 후보 모델 추출 모듈, 및
    상기 데이터 스토리지에 저장된 상기 신규 학습 데이터 중 기 설정된 개수의 신규 학습 데이터를 각각의 상기 후보 모델에 입력하여 양불을 판정하고, 복수의 상기 후보 모델의 판정 정확도가 기 설정된 제1 기준값 이상인 최상위 후보 모델을 상기 사전 훈련 모델로 결정하는 모델 결정 모듈을 포함하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  8. 청구항 7에 있어서,
    상기 모델 결정 모듈은
    복수의 상기 후보 모델 중 상기 최상위 후보 모델의 상기 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 후보 모델이 존재하는 경우, 상기 최상위 후보 모델과 상기 유사 후보 모델의 판정 과정에서 상기 신규 학습 데이터에 대해 생성된 특성 맵의 특징점 분포를 추출하고,
    상기 최상위 후보 모델과 상기 유사 후보 모델 중 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이가 큰 어느 하나를 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  9. 청구항 8에 있어서,
    상기 모델 결정 모듈은
    상기 최상위 후보 모델과 상기 유사 후보 모델의 판정 과정에 적용된 복수의 학습 데이터 중 임의로 선택된 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이의 평균값을 산출하며;
    상기 최상위 후보 모델과 상기 유사 후보 모델 중 상기 평균값이 큰 어느 하나를 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  10. 청구항 8에 있어서,
    상기 특징점 분포의 차이는 KL-Divergence 알고리즘을 통해 산출되는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  11. 청구항 7에 있어서,
    상기 모델 결정 모듈은
    복수의 상기 후보 모델의 상기 판정 정확도가 상기 제1 기준값 이하인 경우, 상기 판정 정확도 기준 상위 n개를 재검 후보 모델로 추출하고;
    각각의 상기 재검 후보 모델을 복수의 상기 학습 데이터 중 기 설정된 개수의 학습 데이터로 학습시키고;
    복수의 상기 학습 데이터 중 기 설정된 개수의 학습 데이터를 학습된 상기 재검 후보 모델에 입력하여 양불을 판정하며;
    각각의 상기 재검 후보 모델의 판정 정확도가 기 설정된 제2 기준값 이상인 최상위 재검 후보 모델을 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  12. 청구항 11에 있어서,
    상기 모델 결정 모듈은 상기 재검 후보 모델을 추출할 때 상기 판정 정확도가 기 설정된 하한값 이하인 후보 모델은 상기 재검 후보 모델에서 제거하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  13. 청구항 11에 있어서,
    상기 모델 결정 모듈은
    복수의 상기 재검 후보 모델 중 상기 최상위 재검 후보 모델의 상기 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 재검 후보 모델이 존재하는 경우, 상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델의 판정 과정에서 각각의 상기 학습 데이터에 대해 생성된 특성 맵의 특징점 분포를 추출하고,
    상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델 중 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이가 큰 어느 하나를 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  14. 청구항 13에 있어서,
    상기 모델 결정 모듈은
    상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델의 판정 과정에 적용된 복수의 학습 데이터 중 임의로 선택된 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이의 평균값을 산출하며;
    상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델 중 상기 평균값이 큰 어느 하나를 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  15. 청구항 13에 있어서,
    상기 특징점 분포의 차이는 KL-Divergence 알고리즘을 통해 산출되는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
KR1020217020515A 2019-08-19 2019-08-19 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템 KR20220050083A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/010501 WO2021033791A1 (ko) 2019-08-19 2019-08-19 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템

Publications (1)

Publication Number Publication Date
KR20220050083A true KR20220050083A (ko) 2022-04-22

Family

ID=74659673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020515A KR20220050083A (ko) 2019-08-19 2019-08-19 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템

Country Status (5)

Country Link
US (1) US12051187B2 (ko)
EP (1) EP4020380A4 (ko)
KR (1) KR20220050083A (ko)
CN (1) CN113924594A (ko)
WO (1) WO2021033791A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546356B1 (ko) * 2022-12-09 2023-06-22 크레플 주식회사 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법
KR20240077302A (ko) 2022-11-24 2024-05-31 부산대학교 산학협력단 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562297B2 (en) * 2020-01-17 2023-01-24 Apple Inc. Automated input-data monitoring to dynamically adapt machine-learning techniques
CN113469977B (zh) * 2021-07-06 2024-01-12 浙江霖研精密科技有限公司 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质
CN114037058B (zh) * 2021-11-05 2024-05-17 北京百度网讯科技有限公司 预训练模型的生成方法、装置、电子设备以及存储介质
CN117132174B (zh) * 2023-10-26 2024-01-30 扬宇光电(深圳)有限公司 一种应用于工业流水线质量检测的模型训练方法与***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252333A (ja) * 2005-03-11 2006-09-21 Nara Institute Of Science & Technology データ処理方法、データ処理装置およびそのプログラム
JP4710932B2 (ja) * 2008-07-09 2011-06-29 ソニー株式会社 学習装置、学習方法、およびプログラム
US9053391B2 (en) * 2011-04-12 2015-06-09 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework
JP5545889B2 (ja) 2011-07-07 2014-07-09 日本電信電話株式会社 パターン抽出装置、パターン抽出方法およびパターン抽出プログラム
JP6693938B2 (ja) * 2017-11-17 2020-05-13 ファナック株式会社 外観検査装置
WO2019107614A1 (ko) 2017-11-30 2019-06-06 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
JP6501855B1 (ja) 2017-12-07 2019-04-17 ヤフー株式会社 抽出装置、抽出方法、抽出プログラム及びモデル
KR101864412B1 (ko) 2017-12-28 2018-06-04 (주)휴톰 학습용 데이터 관리방법, 장치 및 프로그램

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240077302A (ko) 2022-11-24 2024-05-31 부산대학교 산학협력단 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법
KR102546356B1 (ko) * 2022-12-09 2023-06-22 크레플 주식회사 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법

Also Published As

Publication number Publication date
CN113924594A (zh) 2022-01-11
WO2021033791A1 (ko) 2021-02-25
US12051187B2 (en) 2024-07-30
EP4020380A4 (en) 2023-05-10
EP4020380A1 (en) 2022-06-29
US20220222807A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
KR20220050083A (ko) 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
CN111815601B (zh) 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法
US11450012B2 (en) BBP assisted defect detection flow for SEM images
US12056210B2 (en) AI-based pre-training model determination system, and AI-based vision inspection management system using same for product production lines
US11694327B2 (en) Cross layer common-unique analysis for nuisance filtering
Yu et al. Multiple granularities generative adversarial network for recognition of wafer map defects
CN109711283A (zh) 一种联合双字典和误差矩阵的遮挡表情识别算法
CN111798409A (zh) 一种基于深度学习的pcb缺陷数据生成方法
CN116188475A (zh) 一种外观缺陷自动光学检测的智慧控制方法、***及介质
CN112184667A (zh) 缺陷检测、修复方法、装置以及存储介质
CN115205521A (zh) 基于神经网络的厨余垃圾检测方法
TWI707299B (zh) 光學檢測二次圖像分類方法
CN115082386A (zh) 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质
Tunali et al. Steel Surface Defect Classification Via Deep Learning
WO2021019865A1 (ja) 検査装置、検査方法、および、検査プログラム、ならびに、学習装置、学習方法、および、学習プログラム
JP2022087930A (ja) 被検査画像の検査を実行する方法、情報処理装置、及び、コンピュータープログラム
CN113469977A (zh) 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质
He et al. A High-Quality Sample Generation Method for Improving Steel Surface Defect Inspection
TWI745767B (zh) 光學檢測二次圖像分類方法
TWI845781B (zh) 半導體缺陷偵測及分類的方法及系統，以及非暫時性電腦可讀儲存媒體
JP7345764B2 (ja) 検査システムおよび検査プログラム
CN113205110B (zh) 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
WO2023166776A1 (ja) 外観分析システム、外観分析方法、及びプログラム
CN117197103A (zh) 用于模具加工的智能检测方法及其***