KR102646887B1 - 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치 - Google Patents

이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치 Download PDF

Info

Publication number
KR102646887B1
KR102646887B1 KR1020230149439A KR20230149439A KR102646887B1 KR 102646887 B1 KR102646887 B1 KR 102646887B1 KR 1020230149439 A KR1020230149439 A KR 1020230149439A KR 20230149439 A KR20230149439 A KR 20230149439A KR 102646887 B1 KR102646887 B1 KR 102646887B1
Authority
KR
South Korea
Prior art keywords
image
interest
region
learning
data
Prior art date
Application number
KR1020230149439A
Other languages
English (en)
Inventor
서대호
김한비
Original Assignee
다겸 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다겸 주식회사 filed Critical 다겸 주식회사
Priority to KR1020230149439A priority Critical patent/KR102646887B1/ko
Application granted granted Critical
Publication of KR102646887B1 publication Critical patent/KR102646887B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치를 제공한다. 몇몇 실시예에 따른 이상 탐지 장치는 학습 데이터를 통해 오토인코더를 학습하는 학습부로서, 상기 학습 데이터는 매트릭스 배열된 복수의 픽셀을 포함하는 학습 이미지로서 정상동작으로 레이블된 상태이며, 상기 오토인코더는 입력된 상기 학습 이미지에 대응되는 재구성 이미지를 생성하도록 학습되는, 학습부; 상기 학습 이미지와 상기 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별하고, 상기 관심 영역을 정규화하여 관심 영역 패드를 산출하는 가중치 생성부; 검사 대상 장비에 대한 센싱 이미지를 수신하는 데이터 수신부; 상기 센싱 이미지를 상기 학습된 오토인코더에 입력하여 센싱 재구성 이미지가 생성되도록 제어하는 제어부; 및 상기 관심 영역 패드를 가중치로 적용하여 상기 센싱 이미지와 상기 센싱 재구성 이미지 사이의 재구성 에러를 계산하고, 상기 재구성 에러와 이상 임계값을 비교하여 상기 검사 대상 장비의 이상 여부를 판단하는 장비 이상 판별부를 포함한다.

Description

이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치{Anomaly detection method and device including setting positional weights of image pixels}
본 발명은 검사 대상 장비의 이상 상태 발생 여부를 탐지할 수 있는 이상 탐지 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 검사 대상 장비에 대한 이미지 픽셀의 위치 가중치 설정하여 이미지의 특성, 관심 영역을 더 고려하여 검사 대상 장비의 이상 상태 발생 여부를 탐지할 수 있는 이상 탐지 방법 및 장치에 관한 것이다.
[국가지원 연구개발에 대한 설명]
본 연구는 과학기술정보통신부, 정보통신산업진흥원, AI바우처 지원사업 [딥러닝 기반 반도체 초미세공정 이상탐지 및 예지보전 AI 관리 시스템 개발, 과제번호: A0123-23-1033]의 지원에 의하여 이루어진 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근에는 AI 및 머신러닝 기술을 이용하여 실시간으로 기계 장치 또는 전자 장치 등(이하 “검사 대상 장비”)의 이상 탐지를 수행할 수 있는 기술들이 개발 중에 있다. 이때, 이상 탐지는 새로운 현상 발견과 밀접한 관련이 있다. 즉, 머신러닝 모듈에서 정상 패턴을 학습 후, 정상이 아닌 새로운 패턴이 보였을 때 이상 동작으로 판단하는 것이다.
이러한, 머신러닝 기반의 이상 탐지 모델은 실제 데이터와 예측 데이터의 차이를 계산하고, 차이가 이상 임계값 이상인 경우 이상이 있는 데이터로 판단할 수 있다. 다만, 이러한 실제 데이터와 예측 데이터의 차이를 계산하는 과정은 입력 데이터의 특성에 대한 고려없이 수행되어 왔다. 특히, 입력 데이터가 이미지인 경우, 이미지를 구성하는 복수의 픽셀은 주요한 특징을 나타내는 주요 영역, 주요 픽셀이 정의될 수 있다. 이러한, 입력 이미지의 전체 이미지 픽셀에 대해 동일한 가중치를 단순 적용하여 예측 데이터와의 차이를 계산하는 경우, 이상 탐지 모델의 정확성이 떨어지게 되는 문제점이 발생될 수 있다.
따라서, 입력 데이터의 특성을 고려하여 실제 데이터와 예측 데이터의 차이를 계산하는 로직에 대한 니즈가 요구되고 있는 실정이다.
본 발명의 목적은, 입력 데이터의 특성을 고려하여 실제 데이터와 예측 데이터의 차이를 계산하여 이상 탐지를 수행하는 방법 및 장치를 제공하는 것이다.
또한, 본 발명의 목적은, 입력된 이미지에서 주요 픽셀을 식별하고 이러한 주요 픽셀에 대한 가중치를 설정하여 입력 이미지와 재구성 이미지 사이의 차이를 계산, 더욱 정확한 이상 탐지가 수행되는 것을 지원할 수 있는 이상 탐지 방법 및 장치를 제공하는 것이다 .
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 따른 이상 탐지 장치는, 학습 데이터를 통해 오토인코더를 학습하는 학습부로서, 상기 학습 데이터는 매트릭스 배열된 복수의 픽셀을 포함하는 학습 이미지로서 정상동작으로 레이블된 상태이며, 상기 오토인코더는 입력된 상기 학습 이미지에 대응되는 재구성 이미지를 생성하도록 학습되는, 학습부; 상기 학습 이미지와 상기 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별하고, 상기 관심 영역을 정규화하여 관심 영역 패드를 산출하는 가중치 생성부; 검사 대상 장비에 대한 센싱 이미지를 수신하는 데이터 수신부; 상기 센싱 이미지를 상기 학습된 오토인코더에 입력하여 센싱 재구성 이미지가 생성되도록 제어하는 제어부; 및 상기 관심 영역 패드를 가중치로 적용하여 상기 센싱 이미지와 상기 센싱 재구성 이미지 사이의 재구성 에러를 계산하고, 상기 재구성 에러와 이상 임계값을 비교하여 상기 검사 대상 장비의 이상 여부를 판단하는 장비 이상 판별부를 포함한다.
또한, 상기 오토인코더는, 상기 학습 이미지의 개수에 대응하는 단위크기를 가진 배치; 상기 배치에서 제공되는 학습 이미지 수신하고, 수신된 학습 이미지의 데이터 크기를 축소하는 인코더 신경망; 및 상기 인코더 신경망에서 축소된 상기 데이터 크기를, 축소 이전 크기로 복원하면서 상기 재구성 이미지를 생성하는 디코더 신경망을 포함할 수 있다.
또한, 상기 재구성 이미지는 상기 학습 이미지와 동일한 크기, 동일한 픽셀 수로 구성되며, 상기 가중치 생성부는, 상기 학습 이미지의 픽셀 값과 대응되는 상기 재구성 이미지의 픽셀 값의 픽셀 값 차이를 계산하여 상기 관심 영역을 나타내는 관심 영역 매트릭스를 구성할 수 있다.
또한, 상기 오토인코더는, 상기 배치에 입력되는 복수의 학습 이미지에 대응하여 복수의 재구성 이미지를 생성하며, 상기 가중치 생성부는, 상기 복수의 학습 이미지에 각각과 대응하는 복수의 재구성 이미지의 픽셀 값을 각각 계산하고, 상기 계산된 픽셀 값의 평균으로 상기 관심 영역 매트릭스를 생성할 수 있다.
또한, 상기 가중치 생성부는, 상기 관심 영역 매트릭스의 각 셀의 값이 0 내지 1 사이의 값을 가지도록 상기 관심 영역 매트릭스에 대한 최소-최대 정규화를 진행하여 상기 관심 영역 패드를 생성할 수 있다.
또한, 상기 재구성 에러는 MSE(Mean Square Error)로 계산될 수 있다.
또한, 상기 재구성 에러는 하기 수학식 3과 같이 계산될 수 있다.
또한, 상기 장비 이상 판별부는, 상기 재구성 에러가 상기 이상 임계값을 초과하는 경우, 이상 상태가 발생한 것으로 판단하며, 상기 재구성 에러가 이상 임계값 이하인 경우, 정상 상태인 것으로 판단할 수 있다.
본 발명의 몇몇 실시예에 따른 이상 탐지 방법은 학습 데이터를 통해 오토인코더를 학습하는 학습 단계로서, 상기 학습 데이터는 매트릭스 배열된 복수의 픽셀을 포함하는 학습 이미지로서 정상동작으로 레이블된 상태이며, 상기 오토인코더는 입력된 상기 학습 이미지에 대응되는 재구성 이미지를 생성하도록 학습되는, 단계; 상기 학습 이미지와 상기 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별하는 단계; 상기 관심 영역을 정규화하여 관심 영역 패드를 산출하는 단계; 검사 대상 장비에 대한 센싱 이미지를 수신하는 단계; 상기 센싱 이미지를 상기 학습된 오토인코더에 입력하여 센싱 재구성 이미지를 생성하는 단계; 상기 관심 영역 패드를 가중치로 적용하여 상기 센싱 이미지와 상기 센싱 재구성 이미지 사이의 재구성 에러를 계산하는 단계; 및 상기 재구성 에러와 이상 임계값을 비교하여 상기 검사 대상 장비의 이상 여부를 판단하는 단계를 포함한다.
또한, 본 발명의 몇몇 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 상기 이상 탐지 방법을 실행시키기 위해 매체에 저장된다.
본 발명의 실시예에 따른 이미지 픽셀의 위치 가중치 설정을 통해 재구성 에러의 계산은 더욱 정확하게 수행될 수 있으며, 이에 따라 재구성 에러와 이상 임계값 사이의 비교에 따른 이상 탐지가 더욱 정확하게 수행되는 것이 지원될 수 있다.
또한, 본 발명은, 검사 대상 장비의 특성과 환경에 따라, 복수의 센서에 대해 변화되는 민감도를 고려하여 각 센서의 판단결과에 가중치를 부여하고, 이를 기초로 최종이상유무 판단을 도출함으로써, 보다 정확한 이상동작 판단을 수행할 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 몇몇 실시예에 따른 이상 탐지 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 이상 탐지 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 몇몇 실시예들에 따른 이상 탐지 장치의 데이터 흐름을 설명하기 위한 블록도다.
도 4는 도 3의 센서에 대한 이상동작 탐지모델의 데이터 흐름을 나타내는 블록도이다.
도 5는 오토인코더, 가중치 생성부, 이상판별모듈을 동작 과정을 예시적으로 나타내는 블록도이다.
도 6은 도 5의 인코더의 동작을 설명하기 위한 도면이다.
도 7은 도 5의 디코더의 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 가중치가 적용되지 않은 상태에서, 재구성 에러를 평균제곱오차로 계산한 예시를 도시한다.
도 9는 본 발명의 실시예에 따른 가중치가 적용된 상태에서, 재구성 에러를 평균제곱오차로 계산한 예시를 도시한다.
도 10은 본 발명의 몇몇 실시예에 따른 이상 탐지 방법의 순서도이다.
도 11은 몇몇 실시예에 따른 복수 종류의 센서를 포함하는 센서부, 이에 대응하여 구성된 오토인코더, 장비 이상 판별부의 구성을 설명하기 위한 블록도이다.
도 12는 몇몇 실시예에 따른 이상여부 판단 모듈의 구성을 설명하기 위한 블록도이다.
도 13은 본 발명의 몇몇 실시예에 따른 이상 탐지 방법을 수행하는 장치의 하드웨어 구현을 설명하기 위한 도면이다.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
또한, 본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서, 머신러닝(Machine Learning)은 AI의 한 분야로 데이터를 바탕으로 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야이며, 데이터 처리, 영상 인식, 음성 인식, 인터넷 검색 등의 다양한 분야의 핵심 기술로 예측(prediction) 및 이상 탐지(Anomaly Detection)에 탁월한 성과를 나타낸다.
본 명세서에서, 이상 탐지란, 데이터에서 예상과는 다른 패턴을 보이는 개체 또는 데이터를 찾는 것을 말하는 것을 의미하며, 머신러닝 기반의 이상 탐지 모델은 실제 데이터와 예측 데이터의 차이를 계산하고, 차이가 이상 임계값 이상인 경우 이상이 있는 데이터로 판단할 수 있다.
이하에서, 도 1 내지 도 13을 참조하여 본 발명의 몇몇 실시예에 따른 이미지 픽셀의 위치 가중치 설정을 통한 이상 탐지 방법 및 장치에 대해 살펴보도록 한다.
도 1은 본 발명의 몇몇 실시예에 따른 이상 탐지 시스템을 설명하기 위한 도면이다. 도 2는 도 1의 이상 탐지 장치의 구성을 설명하기 위한 블록도이다. 도 3은 본 발명의 몇몇 실시예들에 따른 이상 탐지 장치의 데이터 흐름을 설명하기 위한 블록도다.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 이상 탐지 시스템은, 이상 탐지 장치(100), 센서(200), 및 검사 대상 장비(300)을 포함할 수 있다.
검사 대상 장비(300)는 정상 상태일 때 일정한 패턴 및/또는 주기를 갖는 동작을 반복적으로 수행하는 장비일 수 있다. 예를 들어, 검사 대상 장비(300)는 반도체 제조 공정에서 특정 공정에 이용되는 반도체 제조 장비일 수 있다. 다만, 본 발명이 이에 제한되는 것은 아니다.
센서(200)는 검사 대상 장비(300)에 대한 다양한 데이터를 수집한다. 예를 들어, 센서(200)는 검사 대상 장비(300)의 동작에 관한 이미지(image) 또는 움직이는 영상(video)을 촬영하기 위한 모션 센서를 포함할 수 있으나, 본 발명의 실시예가 이에 한정되는 것은 아니다. 몇몇 실시예에서, 센서(200)는 검사 대상 장비(300)의 진동을 측정하기 위한 진동 센서 및 검사 대상 장비(300)에서 발생하는 소리를 측정하기 위한 음향 센서를 더 포함할 수 있다.
센서(200)는 검사 대상 장비(300)의 여러 부위에 설치될 수 있으며 동일한 센서가 검사 대상 장비(300)의 서로 다른 위치에 설치되어 이용될 수 있다. 또한, 센서(200)는 검사 대상 장비(300)에 이격되어 설치될 수 있음은 물론이다.
이상 탐지 장치(100)는 센서(200)로부터 수신한 검사 대상 장비(300)의 여러 센싱 데이터를 수신하고, 수신된 센싱 데이터를 기초로 검사 대상 장비(300)의 이상동작 여부를 판단할 수 있다.
즉, 이상 탐지 장치(100)는 센서로부터 센싱 데이터를 수신할 수 있으며, 센싱 데이터를 기초로 검사 대상 장비(300)의 이상 여부를 판단할 수 있다. 여기서, 센싱 데이터는 복수의 픽셀로 구성된 이미지 데이터일 수 있다. 센서(200)가 진동 센서 또는 음향 센서인 경우, 측정된 신호를 2차원 데이터인 이미지 데이터로 변환하는 과정이 더 수행될 수 있다.
한편, 통신망(400)은 이상 탐지 장치(100) 및 센서(200)를 연결하는 역할을 수행한다. 즉, 통신망(400)은 이상 탐지 장치(100)가 센서(200)로부터 데이터를 송수신할 수 있도록 접속 경로를 제공하는 네트워크를 의미한다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DMNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
네트워크를 통해서 통신하는 이상 탐지 장치(100)는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
이상 탐지 장치(100)는 센싱 데이터를 이상동작 탐지 모델을 이용하여 검사 대장 장비(300)의 이상여부를 판단할 수 있다.
또한, 이상 탐지 장치(100)는 판단된 최종이상유무와 검사 대상 장비(300)의 실제이상유무를 기초로 이상동작 탐지모델을 업데이트 할 수 있으며, 이를 통해 검사 대상 장비(300)의 이상동작여부에 대한 판단의 정확성을 높일 수 있다.
몇몇 실시예에서, 이상동작 탐지모델은 오토인코더로 구성될 수 있다. 오토인코더는 인코더를 통해 입력 받은 데이터(즉, 입력 데이터)를 압축시켜 데이터를 축소시킨 후, 디코더를 이용하여 축소된 데이터를 인코더에서 입력 데이터와 동일한 크기로 변환하여 출력함으로써, 오토인코더의 출력 데이터를 입력 데이터와 동일하도록 만드는 일종의 딥 뉴럴 네트워크 모델(Deep Neural Network Model)이다. 오토인코더는 입력 데이터의 특징을 비지도(unsupervised) 방식으로 학습한다. 이를 위해, 오토인코더는 인코더를 통해 입력 받은 데이터를, 해당 특징을 잘 표현하는 저차원의 데이터로 변환하고, 변환된 데이터는 이후 디코더를 통해 다시 원 데이터로 복원될 수 있다.
도 2 및 도 3을 참조하면, 이상 탐지 장치(100)는 데이터 수신부(110), 데이터베이스부(120), 학습부(130), 장비 이상 판별부(140), 가중치 생성부(150), 제어부(160), 및 오토인코더(A)를 포함할 수 있다.
구체적으로, 데이터 수신부(110)는 센서(200)로부터 검사 대상 장비(300)에 대한 센싱 데이터를 수신하고, 수신된 센싱 데이터를 이상 탐지 장치(100) 내의 다른 구성요소에 전달할 수 있다. 데이터 수신부(110)는 다양한 통신 모듈이 이용될 수 있으며, 통신망(400)을 통해 외부 장비와 이상 탐지 장치(100) 사이의 데이터 교환을 수행할 수 있다.
데이터베이스부(120)는 이상 탐지 장치(100)의 적어도 하나의 구성요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다.
또한, 데이터베이스부(120)는 검사 대상 장비(300)에 대한 센싱 데이터를 저장하고 관리할 수 있다. 예를 들어, 데이터베이스부(120)는 검사 대상 장비(300)에 대한 각각의 센싱 데이터에 대한 정상동작에 관한 데이터(이하, 정상동작 데이터)들을 포함하는 정상동작 데이터셋를 저장 관리할 수 있다. 또한, 몇몇 실시예에서, 데이터베이스부(120)는 검사 대상 장비(300)에 대한 이상동작에 관한 데이터(이하, 이상동작 데이터)들을 포함하는 이상동작 데이터셋을 저장 관리할 수 있다.
이때, 정상동작 데이터셋은 검사 대상 장비(300)의 센싱 데이터에 정상동작에 관한 레이블(label)이 함께 포함될 수 있으며, 이상동작 데이터셋은 검사 대상 장비(300)의 센싱 데이터에 이상동작에 관한 레이블(label)이 함께 포함될 수 있다. 즉, 데이터베이스부(120)에 저장된 동작 데이터셋에는, 검사 대상 장비(300)의 정상 동작 여부에 대한 레이블이 센싱 데이터와 함께 포함될 수 있다. 또한, 데이터베이스부(120)에는 새로이 수신된 센싱 데이터와 이에 대한 이상여부 판단결과, 최종이상유무, 및 실제이상유무에 대한 데이터가 업데이트 되어 저장될 수 있다.
학습부(130)는 검사 대상 장비(300)의 센싱 데이터에 기초하여 검사 대상 장비(300)의 이상동작여부가 정확하게 판단될 수 있도록 오토인코더(A)와 장비 이상 판별부(140)를 학습시키는 역할을 수행한다.
오토인코더(A)는 인코더를 통해 입력 받은 센싱 데이터를 압축시켜 데이터를 축소시킨 후, 디코더를 이용하여 축소된 데이터를 인코더에서 센싱 데이터와 동일한 크기로 변환하여 출력함으로써, 오토인코더(A)의 출력 데이터를 센싱 데이터와 동일하도록 재구성하는 일종의 딥 뉴럴 네트워크 모델(Deep Neural Network Model)이다. 오토인코더(A)는 입력되는 센싱 데이터의 특징을 비지도(unsupervised) 방식으로 학습한다. 이를 위해, 오토인코더(A)는 인코더를 통해 입력 받은 데이터를, 해당 특징을 잘 표현하는 저차원의 데이터로 변환하고, 변환된 데이터는 이후 디코더를 통해 다시 원 데이터로 복원될 수 있다.
몇몇 실시예에서, 센싱 데이터는 이미지 데이터, 센싱 이미지일 수 있다. 센싱 이미지는 매트릭스 형태로 배열된 복수의 픽셀로 구성될 수 있다. 예시적으로, 센싱 이미지는 W*H개의 픽셀로 구성될 수 있으며, W는 가로 픽셀의 수, H는 세로 픽셀의 수에 해당한다. 각각의 픽셀의 크기는 동일할 수 있으며, 각 픽셀은 해당 픽셀의 특성을 나타내는 픽셀 값을 포함할 수 있다. 예시적으로, 픽셀 값은 각 픽셀의 색상을 나타내는 R,G,B 값일 수 있으나, 이에 한정되는 것은 아니다. 몇몇 실시예에서, 픽셀 값은 각 픽셀의 광도를 나타내는 회색조(그레이스케일, grayscale) 값을 나타낼 수 있다.
본 발명의 실시예에 따른 센싱 이미지는 복수의 픽셀의 위치에 따른 픽셀 값을 나타내는 2차원 행렬 데이터, 매트릭스 데이터로 정의될 수 있다. 예시적으로, Y1(i,j)는 제1 센싱 이미지에 대응하는 픽셀 값을 출력하는 제1 매트릭스 데이터를 정의한다. 여기서, i는 1 이상 W 이하의 자연수를 의미하고, j는 1 이상 H 이하의 자연수를 의미한다. W와 H는 2이상의 서로 상이한 자연수일 수 있으나, 이에 한정되는 것은 아니다. 이미지에 따라 W와 H는 서로 동일한 자연수일 수 있다.
오토인코더(A)는 인코더를 통해 입력 받은 센싱 이미지를 압축시켜 데이터를 축소시킨 후, 디코더를 이용하여 축소된 데이터를 센싱 이미지 데이터와 동일한 크기로 변환하여 출력할 수 있다. 즉, 오토인코더(A)를 통해 재구성되는 출력 데이터는 센싱 이미지에 대응하는 크기, 대응하는 개수의 픽셀로 구성되며, 각 픽셀별로 픽셀 값이 정의된 재구성 이미지에 해당한다.
오토인코더(A)는 정상동작 데이터셋을 통해 학습이 수행되게 된다. 즉, 오토인코더(A)는 정상 상태에 해당하는 검사 대상 장비(300)의 센싱 이미지 데이터에 대응하는 출력 이미지를 재구성하도록 학습이 수행될 수 있다. 오토인코더(A)의 학습 과정에 대해서는 더욱 상세히 후술하도록 한다.
학습된 오토인코더(A)는 센서(200)로부터 수신된 새로운 센싱 데이터를 입력받고, 이에 대한 재구성 데이터를 출력할 수 있다.
장비 이상 판별부(140)는 새로운 센싱 데이터와 재구성 데이터의 차이를 기초로 검사 대상 장비(300)의 이상동작여부를 판단하게 된다. 장비 이상 판별부(140)는 이상판별모듈(D)을 포함할 수 있으며, 이상판별모듈(D)은 데이터 수신부(110)가 수집한 센싱 데이터와, 오토인코더(A)에서 해당 센싱 데이터를 입력으로 출력된 재구성 데이터의 차이값을 구하고, 산출된 차이값이 미리 정해진 기준치보다 큰지 여부를 비교함으로써 검사 대상 장비(300)의 이상유무판단을 수행한다.
여기에서, 센싱 데이터와 재구성 데이터의 차이값은 오토인코더의 재구성 에러(Reconstruction Error)로 정의될 수 있고, 미리 정해진 기준치는 오토인코더의 학습과정에서 도출된 재구성 에러의 절대값에 대한 평균값(Mean Absolute Error; MAE)(즉, 학습 오차)일 수 있다. 또한, 미리 정해진 기준치는 재구성 에러의 '이동평균+2*시그마(즉, 표준편차값)'을 기초로 정해질 수 있다. 다만, 이는 하나의 예시에 불과하고 본 발명이 이에 한정되는 것은 아니다.
본 발명의 실시예에 따른 장비 이상 판별부(140)는 재구성 에러를 판단하는 과정에 센싱 데이터와 재구성 데이터의 주요 영역을 식별하고, 이에 대한 가중치를 적용하여 재구성 에러를 판단하도록 구성될 수 있다.
가중치 생성부(150)는 장비 이상 판별부(140)의 재구성 에러를 판단하기 위해 적용되는 가중치를 생성한다. 여기서, 가중치는 센싱 데이터의 특성을 고려해서 결정될 수 있다. 구체적으로, 센싱 이미지 데이터의 주요 픽셀을 특정하고, 이의 특성을 고려하여 가중치를 결정할 수 있다. 이러한, 주요 픽셀은 , 정상동작 데이터셋을 통해 오토인코더(A)를 학습시키는 과정에서, 입력되는 센싱 이미지 데이터와 재구성되어 출력되는 재구성 이미지 데이터 사이의 픽셀 값 차이에 기초하여 판단될 수 있다.
제어부(160)는 이상 탐지 장치(100)에 포함된 각 구성요소의 동작을 제어하는 기능을 수행한다. 제어부(160)는 각 구성요소 간의 연결, 데이터 교환, 명령 수행 등의 동작을 수행할 수 있다. 따라서, 이상 탐지 장치(100)에서 수행되는 이상 탐지 동작의 수행주체는 제어부(160)일 수 있다.
도 3에 도시된 바와 같이, 오토인코더(A)와 이상판별모듈(D)은 하나의 이상동작 탐지모델(M)을 구성할 수 있다.
이상동작 탐지모델(M)은 정상동작 데이터셋을 통해 학습된 오토인코더(A)와 오토인코더(A)의 학습 과정에서 도출된 가중치를 이용하여 오토인코더(A)의 출력 결과를 분석하는 이상판별모듈(D)을 포함할 수 있다. 이상동작 탐지모델(M)은 센싱 이미지 데이터의 주요 픽셀에 따른 가중치를 고려하여 재구성 에러를 계산할 수 있으며, 이에 따라 더욱 정확한 이상 판별이 수행되는 것을 지원할 수 있다.
이하에서는, 본 발명의 이상동작 탐지모델(M)의 구성 및 이를 동작 과정에 대해 더욱 상세히 설명하도록 한다.
도 4는 도 3의 센서에 대한 이상동작 탐지모델의 데이터 흐름을 나타내는 블록도이다. 도 5는 오토인코더, 가중치 생성부, 이상판별모듈을 동작 과정을 예시적으로 나타내는 블록도이다. 도 6은 도 5의 인코더의 동작을 설명하기 위한 도면이다. 도 7은 도 5의 디코더의 동작을 설명하기 위한 도면이다. 도 8은 본 발명의 실시예에 따른 가중치가 적용되지 않은 상태에서, 재구성 에러를 평균제곱오차로 계산한 예시를 도시한다. 도 9는 본 발명의 실시예에 따른 가중치가 적용된 상태에서, 재구성 에러를 평균제곱오차로 계산한 예시를 도시한다.
도 4를 참조하면, 이상동작 탐지모델(M)은 오토인코더(A)와 장비 이상 판별부(140)의 이상판별모듈(D)로 구성된다.
오토인코더(A)는 데이터베이스부(120)에 미리 저장된 정상동작 데이터셋(NDS)를 이용하여 비지도 학습을 수행할 수 있다.
도 5를 참조하면, 본 발명의 일 예에 따른 오토인코더(A)는, 배치(Ba), 인코더 신경망(Encoder Network; 이하, 인코더(En))와 디코더 신경망(Decoder Network; 이하, 디코더(Dn))을 포함한다. 도면에 명확히 도시되지는 않았으나, 오토인코더는 인코더(En)와 디코더(Dn) 사이에 배치되는 중간 레이어(Middle Layer; ML)를 포함할 수 있다.
도 5의 오토인코더(A)는 인코더(En)를 통해 입력 받은 데이터(즉, 입력 데이터)를 압축시켜 데이터를 축소시킨 후, 디코더(Dn)를 이용하여 축소된 데이터를 인코더(En)에서 입력 데이터와 동일한 크기로 변환하여 출력함으로써, 오토인코더(A)의 출력 데이터를 입력 데이터와 동일하도록 만드는 일종의 딥 뉴럴 네트워크 모델(Deep Neural Network Model)이다.
오토인코더(A)는 입력 데이터의 특징을 비지도(unsupervised) 방식으로 학습한다. 이를 위해, 오토인코더(A)는 인코더(En)를 통해 입력 받은 데이터를, 해당 특징을 잘 표현하는 저차원의 데이터(즉, 잠재 벡터(Latent Vector; LV))로 변환하고, 변환된 데이터는 이후 디코더(Dn)를 통해 다시 원 데이터로 복원될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 오토인코더(A)는 양단에 입력 데이터 및 출력 데이터를 각각 인가함으로써 지도(supervised) 방식으로 학습할 수 있다.
오토인코더(A)의 중간 레이어(ML)의 노드의 개수는, 입력 레이어의 입력노드 및 출력 레이어의 출력노드의 개수보다 작을 수 있다. 이때, 입력노드와 출력노드 사이의 노드 및 에지의 가중치는, 오토인코더(A)의 학습 과정에 의해 업데이트될 수 있다.
또한, 오토인코더(A)는 입력 데이터와 복원된 데이터(즉, 출력 데이터) 간의 차이에 해당하는 재구성 오류(Reconstruction Error; 이하 RE)를 최소화하는 것을 목표로 원 데이터에 내재되어 있는 패턴들을 학습할 수 있다. 오토인코더(A)를 기반으로 한 이상 탐지 기법들은 이러한 오토인코더(A)의 학습 목표를 역으로 이용한다.
오토인코더(A)는 극히 적은 빈도로 발생하는 이상 데이터(즉, 이상 상태를 나타내는 검사 대상 장비(300)의 센싱 데이터)의 특징을 제대로 학습하지 못할 것이므로, 오토인코더(A)는 이상 데이터의 원 데이터를 제대로 복원할 수 없게 된다. 따라서, 오토인코더(A)가 복원한 데이터와 원 데이터 간의 차이가 매우 크거나 일정 임계값 이상인 데이터를 출력하는 경우를 감지함으로써, 센싱 데이터의 이상여부(즉, 이상동작여부)를 효과적으로 탐지할 수 있다.
또한, 본 발명의 일 실시예에서는 오토인코더(A)의 이상여부 감지 성능을 극대화하기 위해 오토인코더(A)를 학습시키기 위한 학습 데이터를 정상동작 데이터셋(NDS)으로만 구성할 수 있다. 즉, 오토인코더(A)를 학습시키기 위한 학습 데이터셋은 정상동작 데이터셋(NDS)으로 구성되고, 이상동작 데이터셋(ABDS)의 데이터는 제외하도록 구성될 수 있다.
정상동작 데이터셋(NDS)은 검사 대상 장치(300)가 정상 상태로 동작하는 상황에서, 구성된 학습 데이터에 해당한다. 학습 데이터는 검사 대상 장치(300)의 동작과 관련한 이미지일 수 있다. 즉, 학습 데이터는 매트릭스 배열된 복수의 픽셀을 포함하는 학습 이미지로서 정상동작으로 레이블된 상태에 해당한다. 오토인코더(A)는 입력된 상기 학습 이미지에 대응되는 재구성 이미지를 생성하도록 학습될 수 있다.
오토인코더(A)는 입력값의 이상여부를 탐지하기 위해 다양한 오토인코더 모델 중에서도 시퀀스를 다루기에 가장 적합한 LSTM(Long Short Term Memory) 오토인코더를 사용할 수 있다.
구체적으로, LSTM 오토인코더는 입력값의 이상여부를 탐지하기 위해 다양한 LSTM 오토인코더 모델 중에서도 시계열적으로 연속되는 시퀀스 데이터를 다루기에 가장 적합한 LSTM 오토인코더를 사용할 수 있다. LSTM 오토인코더는 시계열 데이터를 학습하는 딥러닝 모델인 순환 신경망(Recurrent Neural Network; 이하, RNN)에 상태 정보를 지니는 셀 상태(cell state) 개념을 추가하고 상태(state) 계산에 필요한 데이터들을 어느 정도 반영할지 여부를 게이트 연산을 통해 정함으로써 오래된 정보를 유지할 수 있도록 한 모델이다. 참고적으로, RNN은 현재 들어온 입력 데이터와 과거에 입력 받았던 데이터를 학습에 동시에 고려한다.
따라서, LSTM 오토인코더는 RNN으로 구성될 수 있다. LSTM 오토인코더는 여러 게이트(gate)가 붙어있는 셀(cell)로 이루어질 수 있으며, 해당 셀에 연결된 게이트의 값 또는 가중치를 확인하여 어떤 값을 저장할지, 언제 정보를 내보내거나 삭제할지를 결정한다. 각 셀 마다 이 가중치 값을 학습함으로써 학습 성능을 높일 수 있다.
또 다른 예로, 본 발명의 인코더(En)와 디코더(Dn)는 CNN(Convolutional Neural Network; 합성곱 신경망)의 네트워크로 구성될 수 있다. 즉, 인코더(En)와 디코더(Dn)는 합성곱 신경망으로 구성될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 오토인코더는 다른 인공신경망 네트워크(예를 들어, DNN, GNN)를 채용하거나, 다른 구성요소를 추가하여 동작할 수 있음은 물론이다. 다만, 이하에서는 설명의 편의를 위하여 오토인코더가 합성곱 신경망(CNN)을 갖는 것을 예로 들어 설명하도록 한다.
다시 도 5를 참조하면, 본 발명의 일 실시예에 따른 오토인코더는, 인코더(En) 및 디코더(Dn)의 합성곱 신경망의 전단에 배치(Ba)를 구비할 수 있다.
정상동작 데이터셋(NDS) 전체 데이터를 이용해서 오토인코더(A)에 대한 학습을 진행하는 경우, 연산량이 상당히 커지고 모든 데이터셋이 다 계산되어야 한번 업데이트 되기 때문에 학습 속도 또한 느려질 수 있다. 실시예에서, 배치(Ba)를 기준으로 정상동작 데이터셋(NDS)을 분할하고, 배치 단위로 학습을 진행하기에 학습 속도가 향상될 수 있다. 또한, 정상동작 데이터셋(NDS)은 랜덤 방식 또는 순차적으로 배치 단위로 구성될 수 있어, 학습 가능한 데이터셋이 확장될 수 있으며, 데이터의 편중되는 것이 방지, 더욱 효율적인 학습이 수행될 수 있다.
배치(Ba)는 미리 정해진 단위를 가질 수 있으며, 배치(Ba)에 설정된 단위는 배치(Ba)에 입력될 수 있는 센싱 데이터, 구체적으로, 센싱 이미지의 수에 대응될 수 있다. 정상동작 데이터셋(NDS)은 복수의 정상 상태의 센싱 이미지 데이터를 포함할 수 있으며, 이의 개수는 배치(Ba)의 단위보다 클 수 있다. 정상동작 데이터셋(NDS)에 포함된 데이터를 배치(Ba)의 단위로 분할하여 오토인코더(A)를 학습하는 훈련 과정이 반복 수행되게 된다.
인코더(En)는 배치(Ba)에서 출력된 데이터를 입력으로 수신하고, 수신된 데이터의 크기를 축소시킨다. 이때, 인코더(En)는 필터(filter)를 이용하여 입력 데이터를 압축시킨다. 필터는 미리 정해진 단위크기로 구성되며, 입력 데이터와의 합성곱 연산을 통하여 입력 데이터의 특징값(feature)을 도출함으로써 입력 데이터의 크기를 축소시킬 수 있다.
구체적으로, 도 6의 <a1>을 참조하면, 인코더(En)에서 필터와의 합성곱을 위한 입력 데이터로 필터와 동일한 크기의 제1 미니 배치(B1)가 이용된다. 예를 들어, 제1 미니 배치(B1)와 필터(filter)는 상호 연산을 통하여 중간 레이어의 제1 특징값(a)을 도출할 수 있다.
이어서, 도 6의 <a2>을 참조하면, 인코더(En)에서 필터와의 합성곱을 위한 입력 데이터로 필터와 동일한 크기의 제2 미니 배치(B2)가 이용된다. 제2 미니 배치(B2)는 입력 데이터 내에서 제1 미니 배치(B1)와 특정단위크기(St)만큼 이동한 값에 해당한다. 이때, 특정 단위의 크기를 스트라이드(stride)라 하며, 스트라이드의 크기가 클수록 인코더(En)의 입력 데이터는 반비례하여 축소될 수 있다. 예를 들어, 제2 미니 배치(B2)와 필터(filter)는 상호 연산을 통하여 중간 레이어의 제2 특징값(b)을 도출할 수 있다.
이어서, 도 7을 참조하면, 디코더(Dn)는 인코더(En)에서 압축된 데이터를 다시 복원하여, 입력 데이터가 축소되기 이전 크기로 특징값의 크기를 복원하는 동작을 수행한다. 예를 들어, 중간 레이어의 특징값(a, b)는 필터(filter)와의 상호 연산을 통하여 출력 데이터를 생성할 수 있으며, 이때 각각의 특징값에 대한 결과는 특정단위크기(St)만큼 이동하여 출력 데이터에 반영될 수 있다.
이러한, 도 6 및 도 7은 필터를 이용한 인코더와 디코더의 동작을 예시적으로 도시한 것으로, 본 발명의 실시예가 이에 한정되는 것은 아니다.
상술한 과정을 통해, 오토인코더(A)는 학습 이미지에 대응하는 크기, 대응하는 개수의 픽셀로 구성되며, 각 픽셀별로 픽셀 값이 정의된 재구성 이미지를 출력하도록 학습될 수 있다.
다시, 도 5를 참조하면, 가중치 생성부(150)는 학습 이미지와 재구성 이미지를 분석하여 학습 이미지와 재구성 이미지를 구성하는 복수의 픽셀의 관심 영역을 식별할 수 있다. 검사 대상 장비(300)에 대한 센싱 데이터에 해당하는 센싱 이미지는 검사 대상 장비(300)의 특성을 나타내는 데이터로서, 이러한 특성에 따라 픽셀의 주요부가 달라질 수 있다. 예시적으로, 검사 대상 장비(300)의 상태 변화에 따라 이미지 상의 변화가 발생되는 픽셀 또는 변화의 발생 정도가 큰 픽셀은 이미지 내에서 관심 영역(Region of Interest, ROI)로 판단될 수 있으며, 변화가 발생되지 않거나, 변화의 발생 정도가 크지 않은 픽셀은 중요도가 비관심 영역으로 판단될 수 있다.
가중치 생성부(150)는 학습 이미지를 기준으로 재구성 이미지가 구성되는 과정에서 다른 영역 대비 차이가 더 나타나거나, 다른 특징이 식별되는 영역을 관심 영역으로 설정할 수 있다. 구체적으로, 가중치 생성부(150)는 학습 이미지의 픽셀 값과 대응되는 재구성 이미지의 픽셀 값의 픽셀 값 차이를 계산하여 관심 영역을 나타내는 관심 영역 매트릭스를 구성할 수 있다.
학습 이미지는 픽셀의 위치에 따른 픽셀 값으로 나타내는 2차원 매트릭스 데이터로 정의될 수 있으며, 재구성 이미지도 픽셀의 위치에 따른 픽셀 값을 나타내는 2차원 매트릭스 데이터로 정의될 수 있다. 오토인코더(A)는 배치(Ba)에 입력되는 복수의 학습 이미지에 대응하여 복수의 재구성 이미지를 생성하게 된다. 이러한, 관심 영역 매트릭스()를 생성하는 과정은 배치(Ba) 단위로 수행될 수 있으며, 하기 수학식 1과 같이 수행되게 된다.
[수학식 1]
(여기서, B는 배치에 입력되는 학습 이미지의 개수, 은 n번째 학습 이미지의 i행, j열의 픽셀 값, 은 n번째 재생성 이미지의 i행, j열의 픽셀 값, n은 학습 이미지와 재생성 이미지의 순번으로 1이상 B이하의 자연수, 상기 학습 이미지와 재생성 이미지는 가로 픽셀 수 W, 세로 픽셀 수 H로 구성되며, i는 1 이상 W 이하의 자연수, j는 1 이상 H 이하의 자연수이다.)
즉, 가중치 생성부(150)는 복수의 학습 이미지에 각각과 대응하는 복수의 재구성 이미지의 픽셀 값을 각각 계산하고, 계산된 픽셀 값의 평균으로 관심 영역 매트릭스()를 생성할 수 있다.
관심 영역 매트릭스()는 학습 이미지, 재생성 이미지와 대응되는 크기의 2차원 매트릭스로서, 배치 단위로 각 이미지의 픽셀 값의 차이를 나타낼 수 있다. 관심 영역 매트릭스는 하나의 이미지를 기준으로 생성되는 정보가 아닌 배치에 입력되는 복수의 이미지를 기준으로 산출되는 정보로, 학습 이미지의 대상에 해당하는 검사 대상 장치(300)의 특성을 더욱 정확하게 나타낼 수 있다.
다음으로, 가중치 생성부(150)는 관심 영역 매트릭스()에 대한 정규화를 진행하여 관심 영역 패드()를 생성할 수 있다. 가중치 생성부(150)는 각 셀의 값이 0 내지 1 사이의 값을 가지도록 관심 영역 매트릭스()를 정규화하여, 관심 영역 패드()를 생성할 수 있다. 몇몇 실시예에서, 가중치 생성부(150)는 하기 수학식 2와 같은 최소-최대 정규화를 진행하여 관심 영역 패드()를 생성할 수 있다.
[수학식 2]
(여기서, 은 의 최소값, 은 의 최대값)
상기와 같은, 최소-최대 정규화를 통해, 관심 영역 패드()가 생성될 수 있으며, 관심 영역 패드()의 각 셀은 0 내지 1 사이의 값을 가질 수 있다.
가중치 생성부(150)는 생성된 관심 영역 패드()를 장비 이상 판별부(140)의 이상판별모듈(D)에 제공할 수 있다.
학습이 완료된 오토인코더에는 검사 대상 장비(300)를 센싱한 센싱 이미지가 입력될 수 있으며, 오토인코더는 이에 대응하는 센싱 재구성 이미지를 생성할 수 있다. 이상판별모듈(D)은 이러한 센싱 이미지와 센싱 재구성 이미지 사이의 재구성 에러를 계산하며, 계산된 재구성 에러와 이상 임계치를 비교하여 검상 대상 장비(300)의 이상 여부를 판단할 수 있다.
여기서, 이상판별모듈(D)은 관심 영역 패드()를 가중치로 더 적용하여 재구성 에러의 계산을 수행할 수 있다. 몇몇 실시예에서, 이상판별모듈(D)은 하기 수학식 3과 같이 관심 영역 패드()를 적용하여 재구성 에러(Reconstruction Error, Re)를 계산할 수 있다.
[수학식 3]
(여기서, 은 센싱 이미지의 i행, j열의 픽셀 값, 은 재생성 센싱 이미지의 i행, j열의 픽셀 값, 상기 센싱 이미지와 재생성 센싱 이미지는 가로 픽셀 수 W, 세로 픽셀 수 H로 구성되며, i는 1 이상 W 이하의 자연수, j는 1 이상 H 이하의 자연수이며, 는 관심 영역 패드)
즉, 이상판별모듈(D)은 비교를 수행하는 두 이미지의 각 픽셀의 위치뿐만 아니라 특성을 고려하여 재구성 에러를 계산할 수 있게 된다.
도 8은 센싱 이미지와 재생성 센싱 이미지의 픽셀 값 차이만으로 재구성 에러를 계산하는 종래 방식을 설명하기 위한 예시도이며, 재구성 에러가 MSE(Mean Square Error)로 계산된 상태를 예시적으로 나타낸다.
도 8을 참조하면, 픽셀의 위치에 대한 가중치가 적용되지 않은 경우, 픽셀 차이의 크기가 동일하면, 픽셀의 위치가 무관하게 재구성 에러는 동일한 값으로 계산될 수 있다. 도 8의 (a)와 도 8의 (b)는 서로 다른 픽셀에서 차이가 나타나는 것을 알 수 있으나, 이러한 픽셀의 위치는 고려되지 않은 체 픽셀의 차이만으로 재구성 에러(MSE)가 동일하게 1/9로 계산된 것을 알 수 있다. 즉, 종래 방식의 경우, 픽셀 값의 차이는 비정상을 판단하는데 중요하게 사용되지만 픽셀의 위치는 이러한 비정상을 판단하는 요인으로 적용되지 못하는 한계를 가지고 있다.
도 9는 픽셀의 주요 영역을 설정하고 이에 대한 가중치를 적용한 상태에서 재구성 에러를 계산하는 본 발명의 방식을 설명하기 위한 예시도이며, 중심에 해당하는 픽셀(P1)이 관심 영역으로 설정된 상태에 해당한다. 관심 영역에 대한 가중치를 고려하여, 즉, 픽셀의 위치를 고려하여 재구성 에러(MSE)가 계산될 수 있다. 예시적으로, 관심 영역에 해당하는 픽셀(P1)에 대한 정규화된 가중치 값이 1로 설정되는 경우, 픽셀(P1)에서 픽셀 값의 차이가 발생하는 도 9의 (a)의 재구성 에러(MSE)는 2/9로 계산되는 것을 알 수 있다. 이와 달리, 관심 영역이 아닌 다른 픽셀에서 픽셀 값의 차이가 발생하는 도 9의 (b)의 재구성 에러(MSE)는 1/9로 계산되는 것을 알 수 있다. 즉, 본 발명의 실시예에 따른 픽셀 값의 차이뿐만 아니라, 관심 영역에 해당하는 픽셀의 위치도 비정상을 판단하는 요인으로 적용되는 것이 가능할 수 있다.
본 발명의 실시예에 따른 이미지 픽셀의 위치 가중치 설정을 통해 재구성 에러의 계산은 더욱 정확하게 수행될 수 있으며, 이에 따라 재구성 에러와 이상 임계값 사이의 비교에 따른 이상 탐지가 더욱 정확하게 수행되는 것이 지원될 수 있다.
이하에서는, 본 발명의 실시예에 따른 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법에 대해 설명하도록 한다. 하기 실시예에 따른 이상 탐지 방법은 상술한 이상 탐지 장치(100)에서 수행되는 방법으로 도 1 내지 도 9 및 이와 관련된 설명이 참조될 수 있다.
도 10은 본 발명의 몇몇 실시예에 따른 이상 탐지 방법의 순서도이다.
도 10을 참조하면, 본 발명의 몇몇 실시예에 따른 이상 탐지 방법은 학습 데이터를 통해 오토인코더를 학습하는 단계(S100), 학습 이미지와 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별하는 단계(S110), 관심 영역을 정규화하여 관심 영역 패드를 산출하는 단계(S120), 검사 대상 장비에 대한 센싱 이미지를 수신하는 단계(S130), 센싱 이미지를 학습된 오토인코더에 입력하여 센싱 재구성 이미지를 생성하는 단계(S140), 관심 영역 패드를 가중치로 적용하여 센싱 이미지와 센싱 재구성 이미지 사이의 재구성 에러를 계산하는 단계(S150), 및 재구성 에러와 이상 임계값을 비교하여 검사 대상 장비의 이상 여부를 판단하는 단계(S160)를 포함한다.
먼저, 학습 데이터를 통해 오토인코더의 학습이 수행된다(S100).
데이터베이스부(120)에 저장된 센싱 데이터 중 정상 동작으로 레이블된 센싱 데이터, 센싱 이미지로 구성된 정상동작 데이터셋(NDS)은 오토인코더(A)에 인가되어 비지도 학습을 수행한다.
정상동작 데이터셋(NDS)은 검사 대상 장치(300)가 정상 상태로 동작하는 상황에서, 구성된 학습 데이터에 해당한다. 학습 데이터는 검사 대상 장치(300)의 동작과 관련한 이미지일 수 있다. 즉, 학습 데이터는 매트릭스 배열된 복수의 픽셀을 포함하는 학습 이미지로서 정상동작으로 레이블된 상태에 해당한다. 오토인코더(A)는 입력된 상기 학습 이미지에 대응되는 재구성 이미지를 생성하도록 학습될 수 있다. 오토인코더(A)는 학습 이미지에 대응하는 크기, 대응하는 개수의 픽셀로 구성되며, 각 픽셀별로 픽셀 값이 정의된 재구성 이미지를 출력하도록 학습될 수 있다.
다음으로, 학습 이미지와 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별한다(S110).
검사 대상 장비(300)에 대한 센싱 데이터에 해당하는 센싱 이미지는 검사 대상 장비(300)의 특성을 나타내는 데이터로서, 이러한 특성에 따라 픽셀의 주요부가 달라질 수 있다. 가중치 생성부(150)는 학습 이미지의 픽셀 값과 대응되는 재구성 이미지의 픽셀 값의 픽셀 값 차이를 계산하여 관심 영역을 나타내는 관심 영역 매트릭스를 구성할 수 있다.
학습 이미지는 픽셀의 위치에 따른 픽셀 값으로 나타내는 2차원 매트릭스 데이터로 정의될 수 있으며, 재구성 이미지도 픽셀의 위치에 따른 픽셀 값을 나타내는 2차원 매트릭스 데이터로 정의될 수 있다. 오토인코더(A)는 배치(Ba)에 입력되는 복수의 학습 이미지에 대응하여 복수의 재구성 이미지를 생성하게 된다. 이러한, 관심 영역 매트릭스()를 생성하는 과정은 배치(Ba) 단위로 수행될 수 있으며, 하기 수학식 1과 같이 수행되게 된다.
[수학식 1]
(여기서, B는 배치에 입력되는 학습 이미지의 개수, 은 n번째 학습 이미지의 i행, j열의 픽셀 값, 은 n번째 재생성 이미지의 i행, j열의 픽셀 값, n은 학습 이미지와 재생성 이미지의 순번으로 1이상 B이하의 자연수, 상기 학습 이미지와 재생성 이미지는 가로 픽셀 수 W, 세로 픽셀 수 H로 구성되며, i는 1 이상 W 이하의 자연수, j는 1 이상 H 이하의 자연수이다.)
즉, 가중치 생성부(150)는 복수의 학습 이미지에 각각과 대응하는 복수의 재구성 이미지의 픽셀 값을 각각 계산하고, 계산된 픽셀 값의 평균으로 관심 영역 매트릭스()를 생성할 수 있다.
다음으로, 관심 영역을 정규화하여 관심 영역 패드를 산출한다(S120).
가중치 생성부(150)는 관심 영역 매트릭스()에 대한 정규화를 진행하여 관심 영역 패드()를 생성할 수 있다. 가중치 생성부(150)는 각 셀의 값이 0 내지 1 사이의 값을 가지도록 관심 영역 매트릭스()를 정규화하여 관심 영역 패드()를 생성할 수 있다. 몇몇 실시예에서, 가중치 생성부(150)는 하기 수학식 2와 같은 최소-최대 정규화를 진행하여 관심 영역 패드()를 생성할 수 있다.
[수학식 2]
(여기서, 은 의 최소값, 은 의 최대값)
상기와 같은, 최소-최대 정규화를 통해, 관심 영역 패드()가 생성될 수 있으며, 관심 영역 패드()의 각 셀은 0 내지 1 사이의 값을 가질 수 있다.
가중치 생성부(150)는 생성된 관심 영역 패드()를 장비 이상 판별부(140)의 이상판별모듈(D)에 제공할 수 있다.
검사 대상 장비(300)에 대한 센싱 이미지를 수신하고(S130), 센싱 이미지를 학습된 오토인코더(A)에 입력하여 센싱 재구성 이미지를 생성한다(S140).
이상판별모듈(D)은 관심 영역 패드를 가중치로 적용하여 센싱 이미지와 센싱 재구성 이미지 사이의 재구성 에러를 계산한다(S150).
몇몇 실시예에서, 이상판별모듈(D)은 하기 수학식 3과 같이 관심 영역 패드()를 적용하여 재구성 에러(Reconstruction Error, Re)를 계산할 수 있다.
[수학식 3]
(여기서, 은 센싱 이미지의 i행, j열의 픽셀 값, 은 재생성 센싱 이미지의 i행, j열의 픽셀 값, 상기 센싱 이미지와 재생성 센싱 이미지는 가로 픽셀 수 W, 세로 픽셀 수 H로 구성되며, i는 1 이상 W 이하의 자연수, j는 1 이상 H 이하의 자연수이며, 는 관심 영역 패드)
즉, 이상판별모듈(D)은 비교를 수행하는 두 이미지의 각 픽셀의 위치뿐만 아니라 특성을 고려하여 재구성 에러를 계산할 수 있게 된다.
다음으로, 이상판별모듈(D)은 계산된 재구성 에러와 이상 임계값을 비교하여 검사 대상 장비의 이상 여부를 판단한다(S160).
예시적으로, 장비 이상 판별부(140)의 이상판별모듈(D)은 재구성 에러가 이상 임계값을 초과하는 경우, 이상 상태가 발생한 것으로 판단할 수 있다. 또한, 이상판별모듈(D)은 계산된 재구성 에러가 이상 임계값 이하인 경우, 정상 상태인 것으로 판단할 수 있다.
도 11은 몇몇 실시예에 따른 복수 종류의 센서를 포함하는 센서부, 이에 대응하여 구성된 오토인코더, 장비 이상 판별부의 구성을 설명하기 위한 블록도이다.
도 12는 몇몇 실시예에 따른 이상여부 판단 모듈의 구성을 설명하기 위한 블록도이다.
도 11을 참조하면, 몇몇 실시예에서, 센서부(200)는 종류에 따른 복수의 센서를 포함할 수 있다. 센서부(200)는 진동 센서(210), 음향 센서(220) 및 모션 센서(230)를 포함할 수 있다.
진동 센서(210)는 검사 대상 장비(300)의 진동을 측정하여 제1 센싱 데이터를 생성할 수 있다. 음향 센서(220)는 검사 대상 장비(300)에서 발생하는 소리를 측정한 제2 센싱 데이터를 생성할 수 있다. 모션 센서(230)는 검사 대상 장비(300)의 동작 상태를 촬영하여 이미지 또는 영상에 해당하는 제3 센싱 데이터를 생성할 수 있다.
몇몇 실시예에서, 제1, 제2 및 제3 센싱 데이터 각각은 이미지 데이터에 해당하는 제1 센싱 이미지, 제2 센싱 이미지 및 제3 센싱 이미지를 포함할 수 있다.
진동 센서(210)는 제1 데이터 전처리부(210a)를 더 포함할 수 있다. 제1 데이터 전처리부(210a)는 진동과 관련된 시계열 신호를 시각화한 제1 스펙트로그램으로 변환할 수 있으며, 이러한 제1 스펙트로그램을 제1 센싱 데이터, 즉, 제1 센싱 이미지로 생성할 수 있다. 제1 데이터 전처리부(210a)은 단시간 푸리에 변환을 이용해 진동 센서(210)에서 측정된 신호를 다양한 주파수를 갖는 주기 함수로 분해하고 이를 합산하여 제1 스펙트로그램으로 변환함으로써, 제1 센싱 이미지를 생성할 수 있다.
또한, 음향 센서(220)는 제2 데이터 전처리부(220a)를 더 포함할 수 있다. 제2 데이터 전처리부(220a)는 진동과 관련된 시계열 신호를 시각화한 제2 스펙트로그램으로 변환할 수 있으며, 이러한 제2 스펙트로그램을 제2 센싱 데이터, 즉, 제2 센싱 이미지로 생성할 수 있다. 제2 데이터 전처리부(220a)은 단시간 푸리에 변환을 이용해 음향 센서(220)에서 측정된 신호를 다양한 주파수를 갖는 주기 함수로 분해하고 이를 합산하여 제2 스펙트로그램으로 변환함으로써, 제2 센싱 이미지를 생성할 수 있다.
몇몇 실시예에서, 오토인코더(A)는 제1 센싱 이미지, 제2 센싱 이미지, 제3 센싱 이미지에 대응하는 제1 오토인코더(A1), 제2 오토인코더(A2) 및 제3 오토인코더(A3)를 포함할 수 있다. 제1 오토인코더(A1)는 제1 센싱 이미지에 대응하여 제1 재구성 이미지를 생성하도록 학습될 수 있으며, 제2 오토인코더(A2)는 제2 센싱 이미지에 대응하여 제2 재구성 이미지를 생성하도록 학습될 수 있고, 제3 오토인코더(A3)는 제3 센싱 이미지에 대응하여 제3 재구성 이미지를 생성하도록 학습될 수 있다.
가중치 생성부(140)는 학습된 제1, 제2 및 제3 오토인코더(A1, A2, A3) 각각에 대응하는 제1 관심 영역 패드, 제2 관심 영역 패드, 제3 관심 영역 패드를 생성할 수 있다. 즉, 제1, 제2 및 제3 오토인코더(A1, A2, A3)는 각각 입력되는 이미지가 상이하므로, 각각의 특성을 고려하여 각각의 가중치에 해당하는 제1 관심 영역 패드, 제2 관심 영역 패드, 제3 관심 영역 패드이 개별적으로 생성될 수 있다.
예시적으로, 가중치 생성부(150)는 제1 오토인코더(A1)의 학습 과정에 이용되는 제1 학습 이미지와 이에 대응하여 재구성된 제1 재구성 이미지를 이용하여 관심 영역을 식별하고, 상기 관심 영역을 정규화하여 제1 관심 영역 패드를 산출할 수 있다. 제2 관심 영역 패드와 제3 관심 영역 패드도 실질적으로 동일한 방식을 통해 제2 오토인코더(A2)와 제3 오토인코더(A3)에 대응하여 각각 산출될 수 있다.
장비 이상 판별부(140)에 포함되는 이상판별모듈(D)은 제1, 제2 및 제3 오토인코더(A1, A2, A3) 각각에 대응하는 제1 이상판별모듈(D1), 제2 이상판별모듈(D2) 및 제3 이상판별모듈(D3)을 포함할 수 있다.
제1 오토인코더(A1)와 제1 이상판별모듈(D1)은 제1 이상동작 탐지모델(M1)을 구성할 수 있으며, 제2 오토인코더(A2)와 제2 이상판별모듈(D2)은 제2 이상동작 탐지모델(M2)을 구성할 수 있고, 제3 오토인코더(A3)와 제3 이상판별모듈(D3)은 제3 이상동작 탐지모델(M3)을 구성할 수 있다. 즉, 실시예에 따른 이상 탐지 장치(100)는 검사 대상 장비(300)의 이상여부판단을 위한 제1, 제2, 제3 이상동작 탐지모델(M1, M2, M3)을 구비할 수 있으며, 제1, 제2, 제3 이상동작 탐지모델(M1, M2, M3)은 서로 다른 구성, 데이터 전처리 방법, 학습 및 동작 방법을 가질 수 있다.
제1 이상판별모듈(D1)은 제1 관심 영역 패드를 가중치로 적용하여 제1 센싱 이미지와 제1 재구성 이미지 사이의 제1 재구성 에러를 계산할 수 있으며, 제1 재구성 에러와 제1 이상 임계치를 비교하여 제1 이상여부 판단결과를 출력할 수 있다.
제2 이상판별모듈(D2)은 제2 관심 영역 패드를 가중치로 적용하여 제2 센싱 이미지와 제2 재구성 이미지 사이의 제2 재구성 에러를 계산할 수 있으며, 제2 재구성 에러와 제2 이상 임계치를 비교하여 제2 이상여부 판단결과를 출력할 수 있다.
제3 이상판별모듈(D3)은 제3 관심 영역 패드를 가중치로 적용하여 제3 센싱 이미지와 제3 재구성 이미지 사이의 제3 재구성 에러를 계산할 수 있으며, 제3 재구성 에러와 제3 이상 임계치를 비교하여 제3 이상여부 판단결과를 출력할 수 있다.
장비 이상 판별부(140)는 이상여부결정모듈(E)를 더 포함할 수 있다. 이상여부결정모듈(E)은 제1 이상판별모듈(D1)으로부터 제1 이상여부 판단결과를 수신하고, 제2 이상판별모듈(D2)으로부터 제2 이상여부 판단결과를 수신하며, 제3 이상판별모듈(D3)으로부터 제3 이상여부 판단결과를 수신할 수 있다. 이상여부결정모듈(E)은 수신한 제1 이상여부 판단결과, 제2 이상여부 판단결과, 제3 이상여부 판단결과를 기초로, 이를 기초로 검사 대상 장비(300)에 대한 최종이상유무를 판단한다. 이때, 이상여부결정모듈(E)은 결정트리모델을 이용하여 복수의 이상판별모듈(D1, D2, D3)에 대한 각각의 중요도(또는, 복수의 센싱 데이터에 대한 각각의 중요도)를 산출하고 이를 기초로 검사 대상 장비(300)의 최종이상유무를 판단한다.
제1 내지 제3 이상동작 탐지모델(M1, M2, M3)에서 각각 출력된 검사 대상 장비(300)의 제1 내지 제3 이상동작여부는 이상여부결정모듈(E)에 전달된다.
이때, 제1 내지 제3 이상동작 탐지모델(M1, M2, M3)에서 수신하는 센싱 데이터의 종류는 서로 상이할 수 있다. 이에 따라, 이상여부결정모듈(E)는 서로 다른 센서에 대한 이상여부 판단결과를 장비 이상 판별부(140)로부터 수신할 수 있다. 예를 들어, 이상여부결정모듈(E)는 장비 이상 판별부(140)에 포함된 이상판별모듈의 개수에 대응되는 복수 개의 이상여부 판단결과를 수신할 수 있다.
이때, 이상여부결정모듈(E)가 수신하는 검사 대상 장비(300)에 대한 복수의 이상여부 판단결과는 서로 상이할 수 있다. 예를 들어, 제1 이상판별모듈(D1)로부터 수신한 제1 이상여부 판단결과와, 제2 및 제3 이상판별모듈(D2, D3)로부터 수신한 제2 및 제3 이상여부 판단결과는 서로 상이할 수 있다.
따라서, 이상여부결정모듈(E)은 수신한 복수의 이상여부 판단결과에 대해 각각의 중요도를 산출하고 이를 기초로 검사 대상 장비(300)의 최종이상유무를 판단하게 된다.
이상여부결정모듈(E)은 결정트리모델을 포함할 수 있다. 결정트리모델(decision tree model)이란, 일련의 분류 규칙을 통해 데이터를 분류, 회귀하는 지도 학습 모델 중 하나이며, 결과 모델이 트리(tree) 구조를 가지고 있기에 결정트리모델이란 이름을 지닌다. 결정트리모델은, 특정 기준(또는, 질문)에 따라 데이터를 구분하며, 한번의 분기때마다 변수 영역을 두개로 구분한다. 이러한 결정트리모델에서 질문이나 정답은 노드(Node)로 정의될 수 있다. 학습부(130)는 이러한 이상여부결정모듈(E)의 결정트리모델의 학습을 수집된 데이터를 기초로 수행, 결정트리모델을 구축할 수 있다.
예를 들어, 도 12를 참조하면, 검사 대상 장비(300)에는 제1 내지 제3 센서가 설치되어, 각각의 센싱 데이터를 수집할 수 있으며, 각각의 센서에서 측정된 센싱 데이터가 정상동작으로 분류되었는지 여부는 하나의 노드로 정의될 수 있다.
이때, 제1 노드(N1)는 제1 센서에서 측정된 제1 센싱 데이터의 전체 샘플 중 몇 개가 정상동작으로 분류(예를 들어, 300개)되고, 몇 개가 이상동작으로 분류되었는지(예를 들어, 100개)를 나타낸다.
이어서, 제2 노드(N2)는, 제1 센서가 정상동작으로 분류한 샘플들 중에서, 제2 센서에서 측정된 제2 센싱 데이터의 몇 개가 정상동작으로 분류(예를 들어, 250개)되고, 몇 개가 이상동작으로 분류되었는지(예를 들어, 50개)를 나타낸다.
한편, 제3 노드(N3)는 제1 센서가 이상동작으로 분류한 샘플들 중에서, 제3 센서에서 측정된 제3 센싱 데이터의 몇 개가 정상동작으로 분류(예를 들어, 80개)되고, 몇 개가 이상동작으로 분류되었는지(예를 들어, 20개)를 나타낸다.
이러한 방식에 따른 데이터들은 데이터 수집부(110)를 통해 수집되며, 학습부(130)는 수집된 데이터에 대하여 결정트리모델을 생성할 수 있다.
이때, 결정트리모델은 검사 대상 장비(300) 별로 생성될 수 있으며, 특정 검사 대상 장비(300)에는 하나의 결정트리모델이 생성될 수 있다.
학습부(130)는 결정트리 구성모형에 기초가 되는 데이터를 생성하는 각 센서의 중요도를 계산한다. 우선, 각 센서의 중요도는 [수학식 4] 및 [수학식 5]을 이용하여 도출한다.
[수학식 4]
[수학식 5]
여기에서, Inode는 해당 노드의 중요도(즉, 해당 노드에 대응되는 센서의 중요도)를 의미하고, Gnode는 해당 노드에 대해 [수학식 4]를 이용해 도출한 지니계수를 의미하고, W는 해당 노드에서 아래로 분기된 자식 노드(child_node)의 가중치를 의미한다. 예를 들어, 해당 노드에 들어온 전체 샘플 개수가 100개이고, 왼쪽으로 분기된 샘플이 60개, 오른쪽으로 분기된 샘플이 40개인 경우, 각각의 가중치는 Wchild_node1 = 60/100, Wchild_node2 = 40/100이 된다.
이어서, 학습부(130)는, 도출된 센서의 중요도들을 정규화한다. 이때, 중요도의 정규화는 [수학식 6]를 이용하여 도출한다.
[수학식 6]
여기에서, NIk는 K 센서의 중요도를 의미하고, [수학식 6]의 분모는 각 노드들의 중요도의 합을 의미하고, 분자는 특정 센서에 대응되는 노드의 중요도를 의미한다. 즉, [수학식 6]은 특정 노드의 중요도에서 전체 노드의 중요도의 합을 나누어, 특정 노드에 대응되는 센서의 중요도를 정규화하는 것을 의미한다.
위 과정을 통해 얻은 정규화된 각 센서의 중요도의 총합은 1이 되며, 정규화된 각 센서의 중요도는, 최종이상유무를 판단하는 가중치로 이용될 수 있다. 이때, 각 센서의 중요도는 검사 대상 장비(300)에 대한 각 센서별 민감도와 동일하게 해석되어 이용될 수 있다.
예를 들어, 결정트리모델에 대해, 각 노드 별 지니계수, 중요도, 및 정규화된 중요도를 산출해보면 다음 [표1]과 같다.
노드 지니계수 중요도 정규화된 중요도
N1 G1: 0.375 I1: 0.087 NI1: 0.16
N2 G2: 0.278 I2: 0.224 NI2: 0.40
N3 G3: 0.320 I3: 0.245 NI3: 0.44
상기와 같이 학습되어 구축된 이상여부결정모듈(E)은, 각각의 센서에 대응되는 이상판별모듈에서 출력된 이상여부 판단결과에 도출된 정규화된 중요도를 적용하고, 이에 대한 총합을 미리 정해진 기준치와 비교함으로써 검사 대상 장비(300)에 대한 최종이상유무를 판단한다.
예를 들어, 도 12의 결정트리모델을 이용할 때, 제1 이상판별모듈에서 비정상이라고 판단하고, 제2 및 제3 이상판별모듈에서 정상이라고 판단하는 경우, 검사 대상 장비(300)에 대한 판단결과는 [0, 1, 1]의 값을 갖는다. 여기에 정규화된 중요도를 적용하여 총합을 계산하는 경우, 총합은 0.84를 가진다. 이때, 미리 정해진 기준치가 0.7인 경우, 이상여부결정모듈(E)은 검사 대상 장비(300)에 대한 최종이상유무를 정상으로 판단할 수 있다.
다른 예로, 제1 내지 제3 이상동작 탐지모델에서 수신한 검사 대상 장비(300)에 대한 판단결과가 [1, 0, 0]의 값을 갖고, 각 모델의 정규화된 중요도가 [0.7, 0.1, 0.2]의 값을 갖는 경우, 정규화된 중요도를 적용한 총합은 0.7로 계산되고, 이에 따라 검사 대상 장비(300)에 대한 최종이상유무는 정상으로 판단될 수 있다.
즉, 특정 이상동작 탐지모델에서는 이상동작으로 판단하더라도, 상대적으로 중요도가 높은 다른 이상동작 탐지모델에서 정상동작으로 판단하는 경우, 이상여부결정모듈(E)은 검사 대상 장비(300)의 동작을 정상으로 판단할 수 있다.
추가적으로 본 발명의 또 다른 실시예에서, 이상여부결정모듈(E)는 결정 트리 모델을 대신하여 랜덤 포레스트 모델(random forest)을 사용할 수 있다. 랜덤 포레스트 모델에 대한 자세한 내용은 이미 공지되어 있으므로, 여기에서 해당 설명은 생략하며, 통상의 기술자는 결정트리 모델을 대신하여 랜덤 포레스트 모델을 용이하게 본 발명에 적용하여 사용할 수 있음은 물론이다.
이를 통해, 본 발명은 검사 대상 장비의 특성과 환경에 따라, 복수의 센서에 대해 변화되는 민감도를 고려하여 각 센서에 가중치를 산출할 수 있으며, 이를 기초로 최종이상유무 판단을 도출함으로써, 보다 정확한 이상동작 판단을 수행할 수 있다.
도 13은 본 발명의 몇몇 실시예에 따른 이상 탐지 방법을 수행하는 장치의 하드웨어 구현을 설명하기 위한 도면이다.
도 13을 참조하면, 본 발명의 몇몇 실시예들에 따른 이상 탐지 장치(100)는 전자 장치(1000)로 구현될 수 있다. 전자 장치(1000)는 컨트롤러(1010, controller), 입출력 장치(1020, I/O), 메모리 장치(1030, memory device), 인터페이스(1040, interface) 및 버스(1050, bus)를 포함할 수 있다. 컨트롤러(1010), 입출력 장치(1020), 메모리 장치(1030) 및/또는 인터페이스(1040)는 버스(1050)를 통하여 서로 결합될 수 있다. 이때, 버스(1050)는 데이터들이 이동되는 통로(path)에 해당한다.
구체적으로, 컨트롤러(1010)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 디지털 신호 프로세스, 마이크로컨트롤러, 어플리케이션 프로세서(AP, application processor) 및 이들과 유사한 기능을 수행할 수 있는 논리 소자들 중에서 적어도 하나를 포함할 수 있다.
입출력 장치(1020)는 키패드(keypad), 키보드, 터치스크린 및 디스플레이 장치 중 적어도 하나를 포함할 수 있다.
메모리 장치(1030)는 데이터 및/또는 프로그램 등을 저장할 수 있다.
인터페이스(1040)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(1040)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(1040)는 안테나 또는 유무선 트랜시버 등을 포함할 수 있다. 도시하지 않았지만, 메모리 장치(1030)는 컨트롤러(1010)의 동작을 향상시키기 위한 동작 메모리로서, 고속의 디램 및/또는 에스램 등을 더 포함할 수도 있다. 메모리 장치(1030)는 내부에 프로그램 또는 어플리케이션을 저장할 수 있다.
본 발명의 실시예들에 따른 이상 탐지 장치(100)는 각각 복수의 전자 장치(1000)가 네트워크를 통해서 서로 연결되어 형성된 시스템일 수 있다. 이러한 경우에는 각각의 모듈 또는 모듈의 조합들이 전자 장치(1000)로 구현될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
추가적으로, 이상 탐지 장치(100)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템, RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템, 및 EDMS(Electronic Document Management) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.
실시예에 따른 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
또한 실시예에 따른 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 실시예에 따른 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 학습 데이터를 통해 오토인코더를 학습하는 학습부로서, 상기 학습 데이터는 매트릭스 배열된 복수의 픽셀을 포함하는 학습 이미지로서 정상동작으로 레이블된 상태이며, 상기 오토인코더는 입력된 상기 학습 이미지에 대응되는 재구성 이미지를 생성하도록 학습되는, 학습부;
    상기 학습 이미지와 상기 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별하고, 상기 관심 영역을 정규화하여 관심 영역 패드를 산출하는 가중치 생성부;
    검사 대상 장비에 대한 센싱 이미지를 수신하는 데이터 수신부;
    상기 센싱 이미지를 상기 학습된 오토인코더에 입력하여 센싱 재구성 이미지가 생성되도록 제어하는 제어부; 및
    상기 관심 영역 패드를 가중치로 적용하여 상기 센싱 이미지와 상기 센싱 재구성 이미지 사이의 재구성 에러를 계산하고, 상기 재구성 에러와 이상 임계값을 비교하여 상기 검사 대상 장비의 이상 여부를 판단하는 장비 이상 판별부를 포함하고,
    상기 오토인코더는 상기 학습 이미지의 개수에 대응하는 단위크기를 가진 배치; 상기 배치에서 제공되는 학습 이미지 수신하고, 수신된 학습 이미지의 데이터 크기를 축소하는 인코더 신경망; 및 상기 인코더 신경망에서 축소된 상기 데이터 크기를, 축소 이전 크기로 복원하면서 상기 재구성 이미지를 생성하는 디코더 신경망을 포함하고,
    상기 재구성 이미지는 상기 학습 이미지와 동일한 크기, 동일한 픽셀 수로 구성되며,
    상기 가중치 생성부는 상기 학습 이미지의 픽셀 값과 대응되는 상기 재구성 이미지의 픽셀 값의 픽셀 값 차이를 계산하여 상기 관심 영역을 나타내는 관심 영역 매트릭스를 구성하고,
    상기 오토인코더는 상기 배치에 입력되는 복수의 학습 이미지에 대응하여 복수의 재구성 이미지를 생성하며,
    상기 가중치 생성부는 상기 복수의 학습 이미지에 각각과 대응하는 복수의 재구성 이미지의 픽셀 값을 각각 계산하고, 상기 계산된 픽셀 값의 평균으로 상기 관심 영역 매트릭스를 생성하며,
    상기 가중치 생성부는 상기 관심 영역 매트릭스의 각 셀의 값이 0 내지 1 사이의 값을 가지도록 상기 관심 영역 매트릭스에 대한 최소-최대 정규화를 진행하여 상기 관심 영역 패드를 생성하고,
    상기 재구성 에러는 MSE(Mean Square Error)로 계산되며, 하기 수학식 3과 같이 계산되는 것을 특징으로 하는,
    이상 탐지 장치.

    [수학식 3]


    (여기서, 은 센싱 이미지의 i행, j열의 픽셀 값, 은 재생성 센싱 이미지의 i행, j열의 픽셀 값, 상기 센싱 이미지와 재생성 센싱 이미지는 가로 픽셀 수 W, 세로 픽셀 수 H로 구성되며, i는 1 이상 W 이하의 자연수, j는 1 이상 H 이하의 자연수이며, 는 상기 관심 영역 패드)
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1 항에 있어서,
    상기 장비 이상 판별부는,
    상기 재구성 에러가 상기 이상 임계값을 초과하는 경우, 이상 상태가 발생한 것으로 판단하며,
    상기 재구성 에러가 이상 임계값 이하인 경우, 정상 상태인 것으로 판단하는,
    이상 탐지 장치.
  9. 학습 데이터를 통해 오토인코더를 학습하는 학습 단계로서, 상기 학습 데이터는 매트릭스 배열된 복수의 픽셀을 포함하는 학습 이미지로서 정상동작으로 레이블된 상태이며, 상기 오토인코더는 입력된 상기 학습 이미지에 대응되는 재구성 이미지를 생성하도록 학습되는, 단계;
    상기 학습 이미지와 상기 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별하는 단계;
    상기 관심 영역을 정규화하여 관심 영역 패드를 산출하는 단계;
    검사 대상 장비에 대한 센싱 이미지를 수신하는 단계;
    상기 센싱 이미지를 상기 학습된 오토인코더에 입력하여 센싱 재구성 이미지를 생성하는 단계;
    상기 관심 영역 패드를 가중치로 적용하여 상기 센싱 이미지와 상기 센싱 재구성 이미지 사이의 재구성 에러를 계산하는 단계; 및
    상기 재구성 에러와 이상 임계값을 비교하여 상기 검사 대상 장비의 이상 여부를 판단하는 단계를 포함하고,
    상기 오토인코더는 상기 학습 이미지의 개수에 대응하는 단위크기를 가진 배치; 상기 배치에서 제공되는 학습 이미지 수신하고, 수신된 학습 이미지의 데이터 크기를 축소하는 인코더 신경망; 및 상기 인코더 신경망에서 축소된 상기 데이터 크기를, 축소 이전 크기로 복원하면서 상기 재구성 이미지를 생성하는 디코더 신경망을 포함하고,
    상기 재구성 이미지는 상기 학습 이미지와 동일한 크기, 동일한 픽셀 수로 구성되며,
    상기 학습 이미지와 상기 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별하는 단계는 상기 학습 이미지의 픽셀 값과 대응되는 상기 재구성 이미지의 픽셀 값의 픽셀 값 차이를 계산하여 상기 관심 영역을 나타내는 관심 영역 매트릭스를 구성하는 것을 포함하고,
    상기 오토인코더는 상기 배치에 입력되는 복수의 학습 이미지에 대응하여 복수의 재구성 이미지를 생성하며,
    상기 학습 이미지와 상기 재구성 이미지를 분석하여 복수의 픽셀의 관심 영역을 식별하는 단계는 상기 복수의 학습 이미지에 각각과 대응하는 복수의 재구성 이미지의 픽셀 값을 각각 계산하고, 상기 계산된 픽셀 값의 평균으로 상기 관심 영역 매트릭스를 생성하는 것을 포함하고,
    상기 관심 영역을 정규화하여 관심 영역 패드를 산출하는 단계는 상기 관심 영역 매트릭스의 각 셀의 값이 0 내지 1 사이의 값을 가지도록 상기 관심 영역 매트릭스에 대한 최소-최대 정규화를 진행하여 상기 관심 영역 패드를 생성하는 것을 포함하며,
    상기 재구성 에러는 MSE(Mean Square Error)로 계산되며, 하기 수학식 3과 같이 계산되는 것을 특징으로 하는,
    이상 탐지 방법.

    [수학식 3]


    (여기서, 은 센싱 이미지의 i행, j열의 픽셀 값, 은 재생성 센싱 이미지의 i행, j열의 픽셀 값, 상기 센싱 이미지와 재생성 센싱 이미지는 가로 픽셀 수 W, 세로 픽셀 수 H로 구성되며, i는 1 이상 W 이하의 자연수, j는 1 이상 H 이하의 자연수이며, 는 상기 관심 영역 패드)
  10. 하드웨어와 결합되어 제9 항에 따른 이상 탐지 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램.
KR1020230149439A 2023-11-01 2023-11-01 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치 KR102646887B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230149439A KR102646887B1 (ko) 2023-11-01 2023-11-01 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230149439A KR102646887B1 (ko) 2023-11-01 2023-11-01 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102646887B1 true KR102646887B1 (ko) 2024-03-13

Family

ID=90299196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230149439A KR102646887B1 (ko) 2023-11-01 2023-11-01 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102646887B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190042384A (ko) * 2017-10-16 2019-04-24 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
KR20220164519A (ko) * 2020-03-26 2022-12-13 언아더 브레인 오토인코더 및 클러스터링에 기초한 비정상 검출
KR20230036650A (ko) * 2021-09-08 2023-03-15 충북대학교 산학협력단 영상 패치 기반의 불량 검출 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190042384A (ko) * 2017-10-16 2019-04-24 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
KR20220164519A (ko) * 2020-03-26 2022-12-13 언아더 브레인 오토인코더 및 클러스터링에 기초한 비정상 검출
KR20230036650A (ko) * 2021-09-08 2023-03-15 충북대학교 산학협력단 영상 패치 기반의 불량 검출 시스템 및 방법

Similar Documents

Publication Publication Date Title
CN110163261B (zh) 不平衡数据分类模型训练方法、装置、设备及存储介质
CN112784881B (zh) 网络异常流量检测方法、模型及***
US10878295B2 (en) Method and apparatus for recognizing image
US20190164057A1 (en) Mapping and quantification of influence of neural network features for explainable artificial intelligence
WO2022095645A1 (zh) 基于内存增强潜在空间自回归的图像异常检测方法
US11531893B2 (en) Method and apparatus with neural network parameter quantization
US11830187B2 (en) Automatic condition diagnosis using a segmentation-guided framework
US20210142161A1 (en) Systems and methods for model-based time series analysis
US11550823B2 (en) Preprocessing for a classification algorithm
US20220108434A1 (en) Deep learning for defect detection in high-reliability components
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
KR102469871B1 (ko) 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치
CN113328908B (zh) 异常数据的检测方法、装置、计算机设备和存储介质
CN111325224A (zh) 计算机可读存储介质、输入数据检查方法以及计算装置
US20220114453A1 (en) Method and apparatus with neural network pruning
US20230152777A1 (en) Method for detecting abnormality
KR20220079726A (ko) 의료 영상 기반의 질환 예측 방법
CN115112372A (zh) 轴承故障诊断方法、装置、电子设备及存储介质
US11100428B2 (en) Distributable event prediction and machine learning recognition system
CN116992953B (zh) 一种模型训练方法、故障诊断方法及装置
CN114266927A (zh) 一种无监督的显著性目标检测方法、***、设备及介质
KR102646887B1 (ko) 이미지 픽셀의 위치 가중치 설정을 포함하는 이상 탐지 방법 및 장치
KR20210003661A (ko) 패널의 이미지를 이용하여 패널의 결함을 검출하는 방법 및 시스템
US20220198668A1 (en) Method for analyzing lesion based on medical image
US11875898B2 (en) Automatic condition diagnosis using an attention-guided framework

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant