KR101977214B1 - 이상치 탐지 방법, 이를 이용하는 장치 및 시스템 - Google Patents

이상치 탐지 방법, 이를 이용하는 장치 및 시스템 Download PDF

Info

Publication number
KR101977214B1
KR101977214B1 KR1020170120618A KR20170120618A KR101977214B1 KR 101977214 B1 KR101977214 B1 KR 101977214B1 KR 1020170120618 A KR1020170120618 A KR 1020170120618A KR 20170120618 A KR20170120618 A KR 20170120618A KR 101977214 B1 KR101977214 B1 KR 101977214B1
Authority
KR
South Korea
Prior art keywords
data
value
outlier
newly acquired
learning
Prior art date
Application number
KR1020170120618A
Other languages
English (en)
Other versions
KR20180081437A (ko
Inventor
이기천
이운섭
류민호
임태훈
이상곤
Original Assignee
한양대학교 산학협력단
(주) 다봄소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단, (주) 다봄소프트 filed Critical 한양대학교 산학협력단
Publication of KR20180081437A publication Critical patent/KR20180081437A/ko
Application granted granted Critical
Publication of KR101977214B1 publication Critical patent/KR101977214B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명의 실시 예에 따른 이상치 탐지 방법은 기준 크기의 학습 데이터에 대한 변화값 데이터와 잔차값(residual value) 데이터를 획득하는 단계, 획득한 상기 변화값 데이터 및 상기 잔차값 데이터와, 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단하는 단계 및 이상치로 판단된 데이터를, 상기 학습 데이터의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하는 단계를 포함한다.

Description

이상치 탐지 방법, 이를 이용하는 장치 및 시스템{OUTLIER DETECTING METHOD, DEVICE AND SYSTEM USING THE METHOD}
본 발명의 기술적 사상은 이상치 탐지 방법, 이를 이용하는 장치 및 시스템에 관한 것으로, 보다 상세하게는 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단할 수 있는 이상치 탐지 방법, 이를 이용하는 장치 및 시스템에 관한 것이다.
GESD(Generalized Extreme studentized deviate) 모델은 통계분포를 이용한 이상치 탐지 알고리즘이다. GESD 모델에서 ‘주어진 데이터 셋에 이상치가 없다’는 것이 귀무가설로 주어지며, ‘최대 r개까지 이상치가 존재한다’는 것이 대립가설로 주어진다. GESD 모델에서는 데이터가 정규분포를 따른다는 가정 하에, 통계량으로 r개의 데이터 값을 사용하게 된다.
기상, 금융, 공장 등 이상치 탐지가 필요한 여러 산업에서 GESD 모델이 사용되고 있다. 하지만, 최근 대부분의 GESD 모델을 활용하는 이상치 탐지 모형들은 데이터가 시간에 따른 추세나 계절성을 갖는 등의 특수 상황에서 예측 정확도가 떨어진다.
본 발명의 기술적 사상에 따른 이상치 탐지 방법, 이를 이용하는 장치 및 시스템이 이루고자 하는 기술적 과제는, 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단할 수 있는 이상치 탐지 방법, 이를 이용하는 장치 및 시스템을 제공하는 데 있다.
본 발명의 기술적 사상에 의한 일 양태에 따른 이상치 탐지 방법은 기준 크기의 학습 데이터에 대한 변화값 데이터와 잔차값(residual value) 데이터를 획득하는 단계, 획득한 상기 변화값 데이터 및 상기 잔차값 데이터와, 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단하는 단계 및 이상치로 판단된 데이터를, 상기 학습 데이터의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 변화값 데이터는, 시계열적으로 수집된 상기 학습 데이터에 포함된 데이터 값들 각각에 대하여, 타겟 데이터 값과 상기 타겟 데이터 값의 인접한 이전 데이터 값의 차이를 계산함으로써 획득될 수 있다.
예시적인 실시예에 따르면, 상기 변화값 데이터는, 시계열적으로 수집된 상기 학습 데이터에 포함된 데이터 값들 각각에 대하여, 타겟 데이터 값과 상기 타겟 데이터 값과 인접하지 않은 이전 데이터 값의 차이를 계산함으로써 획득될 수 있다.
예시적인 실시예에 따르면, 상기 잔차값 데이터는, 시계열적으로 수집된 상기 학습 데이터에 포함된 데이터 값들 각각에 대하여, 타겟 데이터 값에 인접한 복수의 이전 데이터 값들에 기초한 회귀값과 상기 타겟 데이터 값의 차이를 계산함으로써 획득될 수 있다.
예시적인 실시예에 따르면, 상기 타겟 데이터 값에 인접한 복수의 이전 데이터 값들의 개수는, 사용자 설정 또는 데이터 변화추세에 따라 결정될 수 있다.
예시적인 실시예에 따르면, 상기 새로 획득한 데이터가 이상치에 해당하는지 여부를 판단하는 단계는, 상기 새로 획득한 데이터에 대한 변화값이 이상치에 해당하는 경우 또는 상기 새로 획득한 데이터에 대한 잔차값이 이상치에 해당하는 경우에 상기 새로 획득한 데이터를 이상치로 판단할 수 있다.
예시적인 실시예에 따르면, 상기 새로 획득한 데이터가 이상치에 해당하는지 여부를 탐지하는 단계는, ESD(Extreme Studentized Deviate) 테스트 또는 GESD(Generalized ESD) 테스트를 통하여 상기 새로 획득한 데이터가 이상치에 해당하는지 여부를 탐지할 수 있다.
예시적인 실시예에 따르면, 상기 새로 획득한 데이터는, 실시간 또는 비실시간으로 획득될 수 있다.
예시적인 실시예에 따르면, 상기 이상치 탐지 방법은, 사용자 설정 또는 데이터 변화추세에 따라, 상기 학습 데이터의 상기 기준 크기를 변경하는 단계를 더 포함할 수 있다.
예시적인 실시예에 따르면, 상기 기준 크기를 변경하는 단계에 따라 상기 기준 크기가 증가한 경우, 상기 학습 데이터의 기존 데이터 값들을 그대로 유지한 상태로 상기 회귀값으로 치환된 데이터를 상기 학습 데이터에 포함시킬 수 있다.
본 발명의 기술적 사상에 의한 일 양태에 따른 이상치 탐지 장치는 기준 크기의 학습 데이터에 대한 변화값 데이터와 잔차값(residual value) 데이터를 획득하고, 획득한 상기 변화값 데이터 및 상기 잔차값 데이터와, 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단하는 이상치 판단기 및 이상치로 탐지된 데이터를, 상기 학습 데이터의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하는 학습 데이터 업데이터를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 이상치 판단기는, 상기 새로 획득한 데이터에 대한 변화값이 이상치에 해당하는 경우 또는 상기 새로 획득한 데이터에 대한 잔차값이 이상치에 해당하는 경우에 상기 새로 획득한 데이터를 이상치로 판단할 수 있다.
예시적인 실시예에 따르면, 상기 이상치 탐지 장치는 사용자 설정 또는 데이터 변화추세에 따라, 상기 학습 데이터의 상기 기준 크기를 변경하는 학습 데이터 크기 제어기를 더 포함할 수 있다.
예시적인 실시예에 따르면, 상기 이상치 탐지 장치는 상기 이상치 판단기의 판단 결과에 기초하여, 상기 이상치 탐지 장치가 새로 획득한 데이터를 제공한 장치의 장애상황을 판단하는 장애 판단기를 더 포함할 수 있다.
본 발명의 기술적 사상에 의한 일 양태에 따른 이상치 탐지 시스템은 서버 및 상기 서버로부터 제공된 데이터에 기초하여, 상기 데이터에 포함된 이상치를 탐지하는 이상치 탐지 장치를 포함하고, 상기 이상치 탐지 장치는, 기준 크기의 학습 데이터에 대한 변화값 데이터와 잔차값(residual value) 데이터를 획득하고, 획득한 상기 변화값 데이터 및 상기 잔차값 데이터와, 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단하는 이상치 판단기 및 이상치로 탐지된 데이터를, 상기 학습 데이터의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하는 학습 데이터 업데이터를 포함할 수 있다.
본 발명의 기술적 사상에 의한 실시 예들에 따른 방법과 장치는, 새로 획득한 데이터에 대한 변화값 및 잔차값을 함께 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단함에 따라 데이터가 시간에 따른 추세나 계절성을 갖는 등의 특수한 환경에서도 높은 예측 정확도를 갖는 효과가 있다.
또한, 본 발명의 기술적 사상에 의한 실시 예들에 따른 방법과 장치는, 이상치로 판단된 데이터를, 상기 학습 데이터의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값으로 치환함으로써, 이미 발생된 이상치가 이후의 이상치 탐지에 미치는 영향을 현저히 줄일 수 있는 효과가 있다.
또한, 본 발명의 기술적 사상에 의한 실시 예들에 따른 방법과 장치는, 사용자 설정 또는 데이터 변화추세 등에 따라, 학습 데이터의 기준 크기를 유동적으로 변경함으로써, 데이터의 변화 추세가 급변하는 환경에서 이상치 탐지의 정확도를 더욱 향상시킬 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 이상치 탐지 방법의 플로우차트이다.
도 2는 본 발명의 일 실시 예에 따른 이상치 탐지 장치의 블록도이다.
도 3은 도 2에 도시된 이상치 판단기의 일 실시 예에 따른 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 이상치 탐지 방법에서 사용되는 학습 데이터이다.
도 5는 본 발명의 일 실시 예에 따른 이상치 탐지 방법에서 사용되는 변화값 데이터이다.
도 6은 본 발명의 일 실시 예에 따른 이상치 탐지 방법에서 사용되는 잔차(residual)의 개념을 나타낸 그래프이다.
도 7은 본 발명의 일 실시 예에 따른 이상치 탐지 방법에서 사용되는 잔차값 데이터이다.
도 8은 도 2에 도시된 새로 획득한 데이터의 일 실시 예를 나타낸 그래프이다.
도 9는 도 8에 도시된 새로 획득한 데이터에 따라 업데이트된 학습 데이터이다.
도 10은 도 2에 도시된 새로 획득한 데이터의 다른 실시 예를 나타낸 그래프이다.
도 11은 도 10에 도시된 새로 획득한 데이터에 따라 업데이트된 학습 데이터의 일 실시 예이다.
도 12는 도 10에 도시된 새로 획득한 데이터에 따라 업데이트된 학습 데이터의 다른 실시 예이다.
도 13은 본 발명의 일 실시 예에 따른 이상치 탐지 시스템의 블록도이다.
본 발명의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
이하, 본 발명의 기술적 사상에 따른 실시 예들을 차례로 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 이상치 탐지 방법의 플로우차트이다. 도 2는 본 발명의 일 실시 예에 따른 이상치 탐지 장치의 블록도이다.
도 1과 도 2를 참조하면, 본 발명의 일 실시 예에 따른 이상치 탐지 장치(100)는 학습 데이터 생성기(110), 이상치 판단기(120), 학습 데이터 크기 제어기(130), 학습 데이터 업데이터(140), 및 장애 판단기(150)를 포함할 수 있다.
학습 데이터 생성기(110)는 외부로부터 수집 데이터(O-DATA)를 획득하고, 획득한 수집 데이터(O-DATA)에 기초하여 기준 크기의 학습 데이터(T-DATA)를 생성할 수 있다(S10).
학습 데이터 생성기(110)는 생성된 학습 데이터(T-DATA)를 이상치 판단기(120)로 제공할 수 있다.
실시 예에 따라, 학습 데이터 생성기(110)는 기준 크기의 학습 데이터(T-DATA)가 생성될 수 있을 때까지 외부로부터 수집 데이터(O-DATA)를 수집할 수 있다.
이상치 판단기(120)는 학습 데이터(T-DATA)에 대한 변화값 데이터와 잔차값 데이터를 계산하여 획득할 수 있다(S20). 이에 대한 상세한 내용은 도 3 내지 도 7을 참조하여 후술하도록 한다.
이상치 판단기(120)는 학습 데이터 생성기(110)로부터 제공된 학습 데이터(T-DATA)에 대한 변화값 데이터와 잔차값 데이터 및 새로 획득한 데이터(N-DATA)에 대한 변화값 및 잔차값에 기초하여, 새로 획득한 데이터(N-DATA)가 이상치(outlier)에 해당하는지 여부를 판단할 수 있다(S30).
실시 예에 따라, 새로 획득한 데이터는 실시간 또는 비실시간으로 획득될 수 있다.
실시 예에 따라, 이상치 판단기(120)는 새로 획득한 데이터(N-DATA)가 이상치에 해당하는 경우 새로 획득한 데이터(N-DATA)를 학습 데이터(T-DATA)의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하여 치환된 데이터 값을 학습 데이터 업데이터(140)에 전달할 수 있다.
다른 실시 예에 따라, 이상치 판단기(120)는 새로 획득한 데이터(N-DATA)가 이상치에 해당하지 않는 경우 새로 획득한 데이터(N-DATA)를 학습 데이터 업데이터(140)에 전달할 수 있다.
이상치 판단기(120)는 새로 획득한 데이터(N-DATA)가 이상치에 해당하는지 여부에 관한 정보를 장애 판단기(150)로 전달할 수 있다.
학습 데이터 크기 제어기(130)는 학습 데이터(T-DATA)의 기준 크기를 제어할 수 있다.
실시 예에 따라, 학습 데이터 크기 제어기(130)는 사용자 설정 또는 데이터 변화추세에 따라 학습 데이터(T-DATA)의 기준 크기의 변경 필요성을 판단하고(S40), 판단 결과에 따라 학습 데이터(T-DATA)의 기준 크기를 줄이거나 늘릴 수 있다.
실시 예에 따라, 상기 데이터 변화추세는 새로 획득한 데이터(N-DATA)의 일정 시간구간 동안의 변화패턴에 기초하여 결정될 수 있다.
실시 예에 따라, 학습 데이터 크기 제어기(130)는 데이터 변화추세를 나타내는 변화패턴이 기준값보다 긴 경우, 즉 데이터 변화추세가 느린 경우에 기준 크기를 늘릴 수 있다.
다른 실시 예에 따라, 학습 데이터 크기 제어기(130)는 데이터 변화추세를 나타내는 변화패턴이 기준값보다 짧은 경우, 즉 데이터 변화추세가 빠른 경우에 기준 크기를 줄일 수 있다.
학습 데이터 업데이터(140)는 이상치 판단기(120)로부터 전달된 새로 획득한 데이터(N-DATA) 또는 치환된 데이터 값을 이용하여 학습 데이터(T-DATA)를 업데이트할 수 있다(S50).
실시 예에 따라, 학습 데이터 크기가 유지되는 경우, 학습 데이터(T-DATA)의 최초 데이터 값은 버려지는 동시에 이상치 판단기(120)로부터 전달된 새로 획득한 데이터(N-DATA) 또는 치환된 데이터 값이 학습 데이터(T-DATA)에 포함될 수 있다. 이에 대한 상세한 내용은 도 9와 도 11을 참조하여 후술하도록 한다.
다른 실시 예에 따라, 학습 데이터 크기가 증가하도록 변경된 경우, 학습 데이터(T-DATA)의 기존 데이터 값들은 유지되는 동시에 이상치 판단기(120)로부터 전달된 새로 획득한 데이터(N-DATA) 또는 치환된 데이터 값이 학습 데이터(T-DATA)에 포함될 수 있다. 이에 대한 상세한 내용은 도 12를 참조하여 후술하도록 한다.
장애 판단기(150)는 이상치 판단기(120)의 판단결과를 이용하여 새로 획득한 데이터(N-DATA)를 제공한 장치의 장애상황을 판단할 수 있다.
실시 예에 따라, 장애 판단기(150)는 이상치로 판단된 데이터가 획득된 시점을 계산하여 장애상황이 발생한 시점을 계산할 수도 있다.
실시 예에 따라, 이상치 탐지 장치(100)는 수집 데이터(O-DATA)와 새로 획득한 데이터(N-DATA)를 동일한 장치로부터 제공받을 수도 있고, 서로 다른 장치로부터 제공받을 수도 있다.
실시 예에 따라, 이상치 탐지 장치(100)의 각 구성(110 ~150)의 기능은 프로세서(processor)와 메모리(memory)의 조합에 의하여 수행될 수 있다.
도 3은 도 2에 도시된 이상치 판단기의 일 실시 예에 따른 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 이상치 탐지 방법에서 사용되는 학습 데이터이다. 도 5는 본 발명의 일 실시 예에 따른 이상치 탐지 방법에서 사용되는 변화값 데이터이다. 도 6은 본 발명의 일 실시 예에 따른 이상치 탐지 방법에서 사용되는 잔차(residual)의 개념을 나타낸 그래프이다. 도 7은 본 발명의 일 실시 예에 따른 이상치 탐지 방법에서 사용되는 잔차값 데이터이다.
도 2와 도 3을 참조하면, 이상치 판단기(120)는 변화값 계산기(122), 회귀값 계산기(124), 잔차값 계산기(126), 및 이상치 판단모듈(128)을 포함할 수 있다.
변화값 계산기(122)는 학습 데이터(T-DATA)와 새로 획득한 데이터(N-DATA)를 수신하고, 학습 데이터(T-DATA)에 대한 변화값 데이터 및 새로 획득한 데이터(N-DATA)에 대한 변화값을 계산할 수 있다.
도 4와 도 5를 함께 참조하면, 학습 데이터(T-DATA)의 일 예로 8개의 데이터 값을 포함하는 학습 데이터(T-DATA)가 도시되어 있다.
실시 예에 따라, 변화값 계산기(122)는 시계열적으로 수집된 학습 데이터(T-DATA)에 포함된 데이터 값들(DV1a~DV8a) 각각에 대하여 타겟 데이터(예컨대, 제2데이터 값(DV2a))와 타겟 데이터(예컨대, 제2데이터 값(DV2a))의 인접한 이전 데이터 값(예컨대, 제1데이터 값(DV1a))의 차이를 계산함으로써 변화값 데이터(V-DATA)를 획득할 수 있다.
예컨대, 변화값 계산기(122)는 학습 데이터(T-DATA)에 포함된 제2데이터 값(DV2a)와 제2데이터 값(DV2a)의 인접한 이전 데이터 값인 제1데이터 값(DV1a)의 차이를 계산하여, 계산된 차이값을 변화값 데이터(V-DATA)의 제1데이터 값(DV1b)으로 획득할 수 있다.
다른 실시 예에 따라, 변화값 계산기(122)는 시계열적으로 수집된 학습 데이터(T-DATA)에 포함된 데이터 값들(DV1a~DV8a) 각각에 대하여 타겟 데이터(예컨대, 제3데이터 값(DV3a))와 타겟 데이터(예컨대, 제3데이터 값(DV3a))과 인접하지 않은 이전 데이터 값(예컨대, 제1데이터 값(DV1a))의 차이를 계산함으로써 변화값 데이터(V-DATA)를 획득할 수 있다.
예컨대, 변화값 계산기(122)는 학습 데이터(T-DATA)에 포함된 제3데이터 값(DV3a)과 제3데이터 값(DV3a)과 인접하지 않은 이전 데이터 값인 제1데이터 값(DV1a)의 차이를 계산하여, 계산된 차이값을 변화값 데이터(V-DATA)의 제1데이터 값(DV1b)으로 획득할 수 있다.
변화값 계산기(122)는 새로 획득한 데이터(N-DATA)에 대한 변화값을 계산할 수 있다. 실시 예에 따라, 변화값 계산기(122)는 새로 획득한 데이터(N-DATA)의 데이터 값과 학습 데이터(T-DATA)의 마지막 데이터 값(예컨대, DV8a)의 차이를 계산하고, 계산된 차이값을 변화값으로 획득할 수 있다.
변화값 계산기(122)는 변화값 데이터(V-DATA)와 새로 획득한 데이터(N-DATA)에 대한 변화값을 이상치 판단모듈(128)로 전달할 수 있다.
도 3으로 돌아와서, 회귀값 계산기(124)는 학습 데이터(T-DATA)와 새로 획득한 데이터(N-DATA)를 수신하고, 수신된 학습 데이터(T-DATA)와 새로 획득한 데이터(N-DATA)를 이용하여 시계열적으로 수집된 데이터 값들에 대한 회귀식을 계산할 수 있다.
회귀값 계산기(124)는 학습 데이터(T-DATA)에 포함된 데이터 값들에 대하여, 설정된 윈도우 크기(window size) 내의 데이터 값들을 기초로 회귀식과 회귀값을 계산할 수 있다.
실시 예에 따라, 회귀값 계산기(124)의 회귀식과 회귀값을 계산하는 과정에서 사용되는 윈도우 크기는 사용자 설정 또는 데이터 변화추세에 따라 결정될 수 있다.
잔차값 계산기(126)는 회귀값 계산기(124)에 의해 계산된 회귀값과 학습 데이터(T-DATA)에 포함된 데이터 값과의 차이를 나타내는 잔차값을 계산할 수 있다.
도 6을 참조하면, 회귀값 계산기(124)는 학습 데이터(T-DATA)에 포함된 타겟 데이터 값(예컨대, 제4데이터 값(DV4a))에 대하여 설정된 윈도우 크기(예컨대, 4) 내의 인접한 이전 데이터 값들(예컨대, 제1데이터 값(DV1a) 내지 제4데이터 값(DV4a))을 기초로 회귀식(ri)을 계산할 수 있다.
이 경우, 잔차값 계산기(126)는 타겟 데이터 값(예컨대, 제4데이터 값(DV4a))과 타겟 데이터 값에 상응하는 회귀값의 차이를 나타내는 잔차 값(RES)을 계산할 수 있다.
도 4, 도 6, 및 도 7을 참조하면, 학습 데이터(T-DATA)에 포함된 타겟 데이터 값, 예컨대 제4데이터 값(DV4a)에 대한 잔차값이 잔차값 데이터(R-DATA)의 제1데이터 값(DV1c)으로 계산되고, 타겟 데이터 값, 예컨대 제5데이터 값(DV5a)에 대한 잔차값이 잔차값 데이터(R-DATA)의 제2데이터 값(DV2c)으로 계산될 수 있다. 같은 방식으로 학습 데이터(T-DATA)에 포함된 타겟 데이터 값, 예컨대 제6데이터 값(DV6a), 제7데이터 값(DV7a), 제8데이터 값(DV8a) 각각에 대한 잔차값이 잔차값 데이터(R-DATA)의 제3데이터 값(DV3c), 제4데이터 값(DV4c), 제5데이터 값(DV5c)으로 계산될 수 있다.
잔차값 계산기(126)는 새로 획득한 데이터(N-DATA)에 대한 잔차값을 계산할 수 있다. 이 경우, 잔차값 계산기(126)는 학습 데이터(T-DATA)의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값과 새로 획득한 데이터(N-DATA)의 데이터 값의 차이를 나타내는 잔차값을 계산할 수 있다.
잔차값 계산기(126)는 잔차값 데이터(R-DATA)와 새로 획득한 데이터(N-DATA)에 대한 잔차값을 이상치 판단모듈(128)로 전달할 수 있다.
도 3으로 돌아와서, 이상치 판단모듈(128)은 변화값 계산기(122)로부터 전달된 변화값 데이터(V-DATA) 및 새로 획득한 데이터(N-DATA)에 대한 변화값, 잔차값 계산기(126)로부터 전달된 잔차값 데이터(R-DATA)와 새로 획득한 데이터(N-DATA)에 대한 잔차값을 이용하여, 새로 획득한 데이터(N-DATA)가 이상치(outlier)에 해당하는지 여부를 판단할 수 있다.
실시 예에 따라, 이상치 판단모듈(128)은 ESD(Extreme Studentized Deviate) 테스트 또는 GESD(Generalized ESD) 테스트를 통하여 새로 획득한 데이터(N-DATA)가 이상치에 해당하는지 여부를 탐지, 판단할 수 있다.
이상치 판단모듈(128)은 새로 획득한 데이터(N-DATA)가 이상치에 해당하는지 여부에 따라, 서로 다른 데이터 값을 학습 데이터 업데이터(140)로 전달할 수 있다.
실시 예에 따라, 이상치 판단 모듈(128)은 새로 획득한 데이터(N-DATA)에 대한 변화값이 이상치에 해당하는 경우 또는 새로 획득한 데이터(N-DATA)에 대한 잔차값이 이상치에 해당하는 경우에 새로 획득한 데이터(N-DATA)를 이상치로 판단할 수 있다.
실시 예에 따라, 이상치 판단모듈(128)은 새로 획득한 데이터(N-DATA)가 이상치에 해당하는 경우 새로 획득한 데이터(N-DATA)를 학습 데이터(N-DATA)의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하여 치환된 데이터 값을 학습 데이터 업데이터(140)에 전달할 수 있다.
다른 실시 예에 따라, 이상치 판단모듈(128)은 새로 획득한 데이터(N-DATA)가 이상치에 해당하지 않는 경우 새로 획득한 데이터(N-DATA)를 학습 데이터 업데이터(140)에 전달할 수 있다.
새로 획득한 데이터(N-DATA)가 이상치에 해당하는지 여부에 따른, 이상치 판단모듈(128)과 학습 데이터 업데이터(140)의 세부적인 데이터 처리에 대해서는 도 8 내지 도 12를 참조하여 후술하도록 한다.
이상치 판단모듈(128)은 새로 획득한 데이터(N-DATA)가 이상치에 해당하는지 여부에 관한 정보를 장애 판단기(150)로 전달할 수 있다.
도 8은 도 2에 도시된 새로 획득한 데이터의 일 실시 예를 나타낸 그래프이다. 도 9는 도 8에 도시된 새로 획득한 데이터에 따라 업데이트된 학습 데이터이다. 도 10은 도 2에 도시된 새로 획득한 데이터의 다른 실시 예를 나타낸 그래프이다. 도 11은 도 10에 도시된 새로 획득한 데이터에 따라 업데이트된 학습 데이터의 일 실시 예이다. 도 12는 도 10에 도시된 새로 획득한 데이터에 따라 업데이트된 학습 데이터의 다른 실시 예이다.
도 8과 도 9는 새로 획득한 데이터(N-DATA1)가 이상치에 해당하지 않는 경우의 이상치 판단모듈(128)과 학습 데이터 업데이터(140)의 데이터 처리를 나타낸다.
이상치 판단모듈(128)의 판단결과 새로 획득한 데이터(N-DATA1)가 이상치에 해당하지 않는 경우, 이상치 판단모듈(128)은 새로 획득한 데이터(N-DATA1)를 학습 데이터 업데이터(140)로 전달한다.
이 경우, 학습 데이터 업데이터(140)는 새로 획득한 데이터(N-DATA1)가 학습 데이터(T-DATA1)에 포함되도록 업데이트를 수행하고, 기존의 학습 데이터(T-DATA)에 포함된 데이터 값들 중에서 최초 데이터 값(DV1a)은 버림으로써 업데이트된 학습 데이터(T-DATA1)를 획득할 수 있다.
도 10 내지 도 12는 새로 획득한 데이터(N-DATA1)가 이상치에 해당하는 경우의 이상치 판단모듈(128)과 학습 데이터 업데이터(140)의 데이터 처리를 나타낸다.
이상치 판단모듈(128)의 판단결과 새로 획득한 데이터(N-DATA2)가 이상치에 해당하는 경우, 이상치 판단모듈(128)은 새로 획득한 데이터(N-DATA2)를 기존의 학습 데이터(T-DATA)의 마지막 n개, 예컨대 3개의 데이터 값들(예컨대, DV6a ~ DV8a)에 기초한 회귀값(예컨대, rDV8a)으로 치환하여 치환된 데이터 값(N-DATA2’)을 학습 데이터 업데이터(140)로 전달한다.
실시 예에 따라, 이상치로 판단된 데이터(N-DATA2)를 다른 데이터 값으로 치환하는 경우에, 이상치로 판단된 데이터(N-DATA2)를 치환하기 위한 회귀식(ri')을 구하는 데 사용되는 윈도우(window')에는 이상치로 판단된 데이터(N-DATA2)가 제외되며, 이 경우 윈도우(window')의 크기는 도 6에서 회귀식(ri)을 구하는 데 사용된 윈도우(window)의 크기보다 1만큼 작게 설정될 수 있다.
다른 실시 예에 따라, 이상치로 판단된 데이터(N-DATA2)를 다른 데이터 값으로 치환하는 경우에, 이상치로 판단된 데이터(N-DATA2)를 치환하기 위한 회귀식(ri')을 구하는 데 사용되는 윈도우(window')에는 이상치로 판단된 데이터(N-DATA2)가 제외되며, 윈도우(window')의 크기는 도 6에서 회귀식(ri)을 구하는 데 사용된 윈도우(window)와 동일하게 유지된 채로 쉬프트(shift)되도록 설정될 수도 있다.
도 11을 참조하면, 학습 데이터의 크기가 동일하게 유지되는 경우 학습 데이터 업데이터(140)는 치환된 데이터 값(N-DATA2’)가 학습 데이터(T-DATA2)에 포함되도록 업데이트를 수행하고, 기존의 학습 데이터(T-DATA)에 포함된 데이터 값들 중에서 최초 데이터 값(DV1a)은 버림으로써 업데이트된 학습 데이터(T-DATA2)를 획득할 수 있다.
도 12를 참조하면, 학습 데이터의 크기가 증가하도록 변경된 경우 학습 데이터 업데이터(140)는 학습 데이터(T-DATA)의 기존 데이터 값들은 유지되는 동시에 치환된 데이터 값(N-DATA2’)을 학습 데이터(T-DATA2’)에 포함시킴으로써 업데이트된 학습 데이터(T-DATA2’)를 획득할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 이상치 탐지 시스템의 블록도이다.
도 1 내지 도 3 및 도 13을 참조하면, 본 발명의 일 실시 예에 따른 이상치 탐지 시스템(300)은 이상치 탐지 장치(100)와 서버(200)를 포함할 수 있다.
도 13의 이상치 탐지 장치(100)는 도 2의 이상치 탐지 장치(100)와 실질적으로 동일하다.
도 13에서는 이상치 탐지 장치(100)가 서버(200)의 외부에 구현되는 것으로 도시되어 있으나 이에 한정되지 않으며, 이상치 탐지 장치(100)는 서버(200)의 내부에 포함되는 형태로 구현될 수도 있다.
실시 예에 따라, 이상치 탐지 장치(100)는 서버(200)로부터 제공된 데이터에 기초하여, 상기 데이터에 포함된 이상치를 탐지할 수 있다.
실시 예에 따라, 이상치 탐지 장치(100)는 서버(200)의 성능지표를 나타내는 데이터(예컨대, 서버 응답시간 등)를 수신하고, 수신된 데이터에 이상치가 발생했는지 여부를 통하여 서버(200)에 오류 또는 장애가 발생하였는지 여부를 판단할 수 있다.
실시 예에 따라, 이상치 탐지 시스템(300)은 애플리케이션 성능 관리(Application Performance Management(APM)) 시스템으로 구현될 수 있다.
이상, 본 발명의 기술적 사상을 다양한 실시 예들을 들어 상세하게 설명하였으나, 본 발명의 기술적 사상은 상기 실시 예들에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.
100 : 이상치 탐지 장치
200 : 서버
300 : 이상치 탐지 시스템

Claims (15)

  1. 기준 크기의 학습 데이터에 대한 변화값 데이터와 잔차값(residual value) 데이터를 획득하는 단계;
    획득한 상기 변화값 데이터 및 상기 잔차값 데이터와, 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단하는 단계; 및
    이상치로 판단된 데이터를, 상기 학습 데이터의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하는 단계를 포함하며,
    상기 잔차값 데이터는,
    상기 기준 크기의 상기 학습 데이터에 포함된 데이터 값들에 기초한 회귀식을 계산하고, 상기 학습 데이터에 포함되어 있는 타겟 데이터 값과 상기 회귀식에 따른 상기 타겟 데이터 값에 상응하는 회귀값의 차이를 계산함으로써 획득되는, 이상치 탐지 방법.
  2. 제1항에 있어서,
    상기 변화값 데이터는,
    시계열적으로 수집된 상기 학습 데이터에 포함된 데이터 값들 각각에 대하여, 상기 타겟 데이터 값과 상기 타겟 데이터 값의 인접한 이전 데이터 값의 차이를 계산함으로써 획득되는, 이상치 탐지 방법.
  3. 제1항에 있어서,
    상기 변화값 데이터는,
    시계열적으로 수집된 상기 학습 데이터에 포함된 데이터 값들 각각에 대하여, 상기 타겟 데이터 값과 상기 타겟 데이터 값과 인접하지 않은 이전 데이터 값의 차이를 계산함으로써 획득되는, 이상치 탐지 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 새로 획득한 데이터가 이상치에 해당하는지 여부를 판단하는 단계는,
    상기 새로 획득한 데이터에 대한 변화값이 이상치에 해당하는 경우 또는 상기 새로 획득한 데이터에 대한 잔차값이 이상치에 해당하는 경우에 상기 새로 획득한 데이터를 이상치로 판단하는, 이상치 탐지 방법.
  7. 제1항에 있어서,
    상기 새로 획득한 데이터가 이상치에 해당하는지 여부를 탐지하는 단계는,
    ESD(Extreme Studentized Deviate) 테스트 또는 GESD(Generalized ESD) 테스트를 통하여 상기 새로 획득한 데이터가 이상치에 해당하는지 여부를 탐지하는, 이상치 탐지 방법.
  8. 제1항에 있어서,
    상기 새로 획득한 데이터는,
    실시간 또는 비실시간으로 획득되는, 이상치 탐지 방법.
  9. 제1항에 있어서,
    상기 이상치 탐지 방법은,
    사용자 설정 또는 데이터 변화추세에 따라, 상기 학습 데이터의 상기 기준 크기를 변경하는 단계를 더 포함하는, 이상치 탐지 방법.
  10. 제9항에 있어서,
    상기 기준 크기를 변경하는 단계에 따라 상기 기준 크기가 증가한 경우,
    상기 학습 데이터의 기존 데이터 값들을 그대로 유지한 상태로 상기 회귀값으로 치환된 데이터를 상기 학습 데이터에 포함시키는, 이상치 탐지 방법.
  11. 기준 크기의 학습 데이터에 대한 변화값 데이터와 잔차값(residual value) 데이터를 획득하고, 획득한 상기 변화값 데이터 및 상기 잔차값 데이터와, 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단하는 이상치 판단기; 및
    이상치로 탐지된 데이터를, 상기 학습 데이터의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하는 학습 데이터 업데이터를 포함하고,
    상기 잔차값 데이터는,
    상기 기준 크기의 상기 학습 데이터에 포함된 데이터 값들에 기초한 회귀식을 계산하고, 상기 학습 데이터에 포함되어 있는 타겟 데이터 값과 상기 회귀식에 따른 상기 타겟 데이터 값에 상응하는 회귀값의 차이를 계산함으로써 획득되는, 이상치 탐지 장치.
  12. 제11항에 있어서,
    상기 이상치 판단기는,
    상기 새로 획득한 데이터에 대한 변화값이 이상치에 해당하는 경우 또는 상기 새로 획득한 데이터에 대한 잔차값이 이상치에 해당하는 경우에 상기 새로 획득한 데이터를 이상치로 판단하는, 이상치 탐지 장치.
  13. 제11항에 있어서,
    사용자 설정 또는 데이터 변화추세에 따라, 상기 학습 데이터의 상기 기준 크기를 변경하는 학습 데이터 크기 제어기를 더 포함하는, 이상치 탐지 장치.
  14. 제11항에 있어서,
    상기 이상치 판단기의 판단 결과에 기초하여, 상기 이상치 탐지 장치가 새로 획득한 데이터를 제공한 장치의 장애상황을 판단하는 장애 판단기를 더 포함하는, 이상치 탐지 장치.
  15. 서버; 및
    상기 서버로부터 제공된 데이터에 기초하여, 상기 데이터에 포함된 이상치를 탐지하는 이상치 탐지 장치를 포함하고,
    상기 이상치 탐지 장치는,
    기준 크기의 학습 데이터에 대한 변화값 데이터와 잔차값(residual value) 데이터를 획득하고, 획득한 상기 변화값 데이터 및 상기 잔차값 데이터와, 새로 획득한 데이터에 대한 변화값 및 잔차값을 이용하여 상기 새로 획득한 데이터가 이상치(outlier)에 해당하는지 여부를 판단하는 이상치 판단기; 및
    이상치로 탐지된 데이터를, 상기 학습 데이터의 마지막 n개(상기 n은 자연수)의 복수의 데이터 값들에 기초한 회귀값(regression value)으로 치환하는 학습 데이터 업데이터를 포함하고,
    상기 잔차값 데이터는,
    상기 기준 크기의 상기 학습 데이터에 포함된 데이터 값들에 기초한 회귀식을 계산하고, 상기 학습 데이터에 포함되어 있는 타겟 데이터 값과 상기 회귀식에 따른 상기 타겟 데이터 값에 상응하는 회귀값의 차이를 계산함으로써 획득되는, 이상치 탐지 시스템.
KR1020170120618A 2017-01-06 2017-09-19 이상치 탐지 방법, 이를 이용하는 장치 및 시스템 KR101977214B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170002254 2017-01-06
KR1020170002254 2017-01-06

Publications (2)

Publication Number Publication Date
KR20180081437A KR20180081437A (ko) 2018-07-16
KR101977214B1 true KR101977214B1 (ko) 2019-05-10

Family

ID=63048193

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170120618A KR101977214B1 (ko) 2017-01-06 2017-09-19 이상치 탐지 방법, 이를 이용하는 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR101977214B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102600745B1 (ko) 2018-11-14 2023-11-10 주식회사 디플리 신경망 분석 기반의 소리 분류용 이상 탐지 방법
CN117931094B (zh) * 2024-03-21 2024-06-14 山东奥斯瑞特检验检测有限公司 基于区块链的环境空气监测数据可靠存储方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997009B1 (ko) * 2009-06-09 2010-11-25 한국남동발전 주식회사 산업설비의 공정 여유도에 대한 동적 감시 및 적시 경보 방법
KR101432436B1 (ko) * 2013-03-27 2014-08-21 부산대학교 산학협력단 최근린기법을 이용한 하수처리장의 유입유량과 유입성분농도의 예측 장치 및 방법
KR101522385B1 (ko) * 2014-05-02 2015-05-26 연세대학교 산학협력단 반도체 제조 공정에서의 이상 감지 방법, 장치 및 기록매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601034B1 (ko) * 2015-12-08 2016-03-08 국민대학교산학협력단 Dtg 빅데이터 처리 및 분석 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100997009B1 (ko) * 2009-06-09 2010-11-25 한국남동발전 주식회사 산업설비의 공정 여유도에 대한 동적 감시 및 적시 경보 방법
KR101432436B1 (ko) * 2013-03-27 2014-08-21 부산대학교 산학협력단 최근린기법을 이용한 하수처리장의 유입유량과 유입성분농도의 예측 장치 및 방법
KR101522385B1 (ko) * 2014-05-02 2015-05-26 연세대학교 산학협력단 반도체 제조 공정에서의 이상 감지 방법, 장치 및 기록매체

Also Published As

Publication number Publication date
KR20180081437A (ko) 2018-07-16

Similar Documents

Publication Publication Date Title
US20200150159A1 (en) Anomaly detection device, anomaly detection method, and storage medium
JP6585482B2 (ja) 機器診断装置及びシステム及び方法
EP3015989A1 (en) System analysis device, system analysis method and system analysis program
JP2020035407A (ja) 異常予兆診断装置及び異常予兆診断方法
WO2017126585A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP2018173948A (ja) 故障診断装置、故障診断方法、及びコンピュータプログラム
US20190265088A1 (en) System analysis method, system analysis apparatus, and program
KR101977214B1 (ko) 이상치 탐지 방법, 이를 이용하는 장치 및 시스템
KR20190081844A (ko) 가상의 센서 데이터를 생성하는 방법 및 장치
US10698396B2 (en) Information processing apparatus, information processing method, and recording medium
JP6618846B2 (ja) 管理装置および制御方法
US10254753B2 (en) System for predicting abnormality occurrence using PLC log data
JP6678182B2 (ja) 異常検知装置
CN110099089B (zh) 传感器网络中多个数据流的在线自校正
WO2020027207A1 (ja) 異常検出方法、情報処理装置及び異常検出システム
JPWO2020152889A1 (ja) 装置診断装置、プラズマ処理装置及び装置診断方法
JP6273835B2 (ja) 状態判定装置、状態判定方法および状態判定プログラム
JPWO2019073512A1 (ja) システム分析方法、システム分析装置、および、プログラム
JP5948998B2 (ja) 異常診断装置
KR101615345B1 (ko) 반도체 생산 공정에서 센서 데이터들을 이용하여 웨이퍼의 수율을 분석하는 방법
JP7026012B2 (ja) 機器状態監視システム及び機器状態監視方法
KR20200106106A (ko) 사물 인터넷 실시간 데이터 품질 관리 시스템 및 그 방법
CN110134000B (zh) 控制***、诊断装置、诊断方法、以及存储有诊断程序的计算机可读介质
KR101615346B1 (ko) 반도체 제조 공정에서의 이상 감지 방법, 장치 및 기록매체
JP2019159365A (ja) 状態変動検出装置及び状態変動検出用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right