KR102576390B1 - 통계 분석에 기반한 거짓 경보 감소 방법 및 장치 - Google Patents
통계 분석에 기반한 거짓 경보 감소 방법 및 장치 Download PDFInfo
- Publication number
- KR102576390B1 KR102576390B1 KR1020160176940A KR20160176940A KR102576390B1 KR 102576390 B1 KR102576390 B1 KR 102576390B1 KR 1020160176940 A KR1020160176940 A KR 1020160176940A KR 20160176940 A KR20160176940 A KR 20160176940A KR 102576390 B1 KR102576390 B1 KR 102576390B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- false
- abnormal
- alarm
- false alarms
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/008—Alarm setting and unsetting, i.e. arming or disarming of the security system
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/007—Details of data content structure of message packets; data protocols
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
본 발명의 일 태양에 따른 거짓 경보 감소 방법은, 이상 감지 장치가, 정상 상태의 데이터를 분석하여 거짓 경보(False Alarm)의 분포를 추정하는 단계와 상기 이상 감지 장치가, 기 설정된 기준에 따라 모니터링 대상이 되는 데이터의 이상 여부를 판단하는 단계와 상기 이상 감지 장치가, 이상으로 판단된 데이터의 빈도와 상기 거짓 경보의 분포를 비교하여, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계 및 상기 이상 감지 장치가, 상기 이상으로 판단된 데이터가 거짓 이상인 경우에 경보를 발생시키지 않는 단계를 포함할 수 있다.
Description
본 발명은 통계 분석에 기반하여 거짓 경보를 감소시키는 방법 및 그 장치에 관한 것이다. 보다 자세하게는 제1종 오류(Type I Error)의 통계적 분포를 고려하여, 거짓 경보를 필터링 하는 방법 및 그 방법을 수행하는 장치에 관한 것이다.
기업의 경쟁력을 확보하기 위해서 가장 중요한 요소 중의 하나는 안정된 공정 시스템(Process System)을 마련하여 고품질의 제품을 생산하는 것이다. 높은 수준의 공정 및 품질 관리는 비용 절감, 이윤 증가 등의 단기적 측면과 아울러 고객 만족도 상승, 기업 이미지 제고 등 글로벌 시대에 기업의 경쟁력 강화에도 크게 기여할 수 있다.
많은 제조 업체들이 안정된 공정 시스템을 마련하기 위해서, 공정 과정에서 발생할 수 있는 이상을 감지하기 위한 공정 이상 감지 시스템(Anomaly Detection System)을 도입하고 있다. 공정 이상 감지 시스템이란 공정의 상태, 가공 제품의 품질, 장비의 컨디션 등을 모니터링 하고, 이상을 탐지하여 위험 요인을 사전에 차단하는 시스템을 말한다.
하지만 생산 시스템이 점점 고도화 되면서 생산 공정에서 나오는 모니터링 데이터 역시 매우 복잡해지고 방대해지고 있다. 그렇기 때문에 기존의 Shewhart x-bar control chart, Hotelling's T2 control chart 등과 같은 단변량/다변량 관리도 기반의 모니터링 방식으로는 이러한 대규모 데이터들이 갖는 특징을 처리하기에 한계점이 존재한다.
기존의 통계적 가설 검정 기반 방법들의 가장 큰 문제점 중에 하나는 거짓 경보(False Alarm)에 취약하다는 점이다. 여기서 거짓 경보란 실제로 공정이 정상 상태임에도 불구하고, 이상이라고 경보를 주는 것을 말한다. 이를 제1종 오류(Type I Error)라고도 한다. 일정한 기준에 의해 이상 상태라고 판단하였는데 그 판단이 틀린 경우이다.
경보가 발생하면 공정에서는 설비를 중지시키고 원인을 파악한다. 그렇기 때문에 거짓 경보가 빈번하게 발생하는 경우에는 이상 감지 시스템의 사용자들의 불편을 초래할 것이다. 또한 생산 현장에서는 생산과 관리 비용을 증가시켜 최종적으로는 양치기 소년처럼 이상 감지 시스템 자체에 대한 신뢰도를 저하시키는 결과를 낳게 된다.
또한, 공정 제어를 위한 모니터링뿐만 아니라 데이터의 수집 분야가 다양해지고 이를 활용하기 위한 응용 분야가 지속해서 늘어나는 추세이다. 예를 들면 웨어러블 장치(Wearable Device)를 이용하여 건강 상태를 체크하거나, 카메라로 촬영한 영상을 이용하여 이상 행동을 감지하거나, 공기 중 유해 물질 유출을 감지하는 등의 활용이 있다.
이처럼 다양한 분야에서 데이터를 수집하고, 수집한 데이터를 이용하여 모니터링을 하거나 이상을 감지하고자 할 때, 통계적 가설 검정 기반 방법들이 적용될 수 있다. 이에 거짓 경보를 최소화 하며, 모니터링 대상에 따라 사용자에게 적합한 수준으로 이상 상태를 알릴 수 있는 방법이 필요하다.
본 발명에서 해결하고자 하는 기술적 과제는 통계 분석에 기반한 거짓 경보 감소 방법 및 그 방법을 수행하는 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 태양에 따른 거짓 경보 감소 방법은, 이상 감지 장치가, 정상 상태의 데이터를 분석하여 거짓 경보(False Alarm)의 분포를 추정하는 단계와 상기 이상 감지 장치가, 기 설정된 기준에 따라 모니터링 대상이 되는 데이터의 이상 여부를 판단하는 단계와 상기 이상 감지 장치가, 이상으로 판단된 데이터의 빈도와 상기 거짓 경보의 분포를 비교하여, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계 및 상기 이상 감지 장치가, 상기 이상으로 판단된 데이터가 거짓 이상인 경우에 경보를 발생시키지 않는 단계를 포함할 수 있다.
일 실시 예에서, 상기 정상 상태의 데이터를 분석하여 거짓 경보(False Alarm)의 분포를 추정하는 단계는, 상기 정상 상태의 데이터를 분석하여 이항 분포 또는 포아송 분포 중에 하나로 상기 거짓 경보의 분포를 추정하는 단계를 포함할 수 있다.
다른 실시 예에서, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는, 제n 시점의 데이터부터 제n-k+1 시점의 데이터까지 총 k개의 데이터 중에서 이상 여부로 판단된 데이터의 수 i를 카운트 하는 단계와 상기 i의 값과 상기 k의 값을 이용하여 상기 제n 시점의 이상으로 판단된 데이터의 빈도를 산출하는 단계 및 상기 제n 시점의 데이터가 이상으로 판단된 경우, 상기 제n 시점의 이상으로 판단된 데이터의 빈도를 이용하여 상기 제n 시점의 데이터가 거짓 이상인지 판단하는 단계를 포함할 수 있다.
또 다른 실시 예에서, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는, 제n+h 시점의 데이터부터 제n+h-k+1 시점의 데이터까지 총 k개의 데이터 중에서 이상 여부로 판단된 데이터의 수 j를 카운트 하는 단계와 상기 j의 값과 상기 k의 값을 이용하여 상기 제n+h 시점의 이상으로 판단된 데이터의 빈도를 산출하는 단계 및 상기 제n+h 시점의 데이터가 이상으로 판단된 경우, 상기 제n+h 시점의 이상으로 판단된 데이터의 빈도를 이용하여 상기 제n+h 시점의 데이터가 거짓 이상인지 판단하는 단계를 더 포함할 수 있다.
또 다른 실시 예에서, 상기 거짓 경보의 분포는 이항 분포이고, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는, 상기 이상으로 판단된 데이터의 빈도를 이항 분포의 누적 확률 함수의 수식에 의해 산출하는 단계를 포함하되, k는 이상으로 판단된 데이터의 수, n은 모니터링 대상이 된 데이터의 수, p는 상기 이항 분포의 거짓 경보 확률이다.
또 다른 실시 예에서, 상기 거짓 경보의 분포는 포아송 분포이고, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는, 상기 이상으로 판단된 데이터의 빈도를 포아송 분포의 누적 확률 함수의 수식에 의해 산출하는 단계를 포함하되, k는 이상으로 판단된 데이터의 수, μ는 상기 포아송 분포의 거짓 경보 확률이다.
또 다른 실시 예에서, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는, 1 - Pr(X<k)의 값과 기 설정된 유의 확률 α를 비교하여, 1- PR(X<k)의 값이 α보다 큰 경우 거짓 이상으로 판단하는 단계를 더 포함할 수 있다.
또 다른 실시 예에서, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는, 1 - Pr(X<k)의 값과 기 설정된 유의 확률 α를 비교하여, 1- PR(X<k)의 값이 α보다 작은 경우 참 이상으로 판단하는 단계를 더 포함할 수 있다.
또 다른 실시 예에서, 상기 이상으로 판단된 데이터가 거짓 이상이 아닌 참 이상인 경우에 경보를 발생시키는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따른 효과는 다음과 같다.
본 발명을 이용하면 관측치가 정상 상태에 있을 때에도 발생할 수 있는 거짓 경보의 확률(Probability of false alarm)을 대표적인 범주형 통계 분포인 이항 분포(Binomial Distribution) 또는 포아송 분포(Poisson Distribution)로 모델링 할 수 있다. 이를 통해 특정 구간(Window) 안에서 발생할 수 있는 경보의 희박도(Sparsity)를 측정하여 참 경보와 거짓 경보를 확률 기반으로 분류할 수 있다.
거짓 경보일 확률이 높은 경보는 필터링(filtering)하고 참 경보일 확률인 높은 경보만 실제로 경보를 제공할 수 있다. 경보(Alarm)는 모니터링에 있어서 사용자 혹은 엔지니어에게 행동을 취하도록 하는 주요한 요소이며 기업의 수익 창출과 서비스 및 공정의 안정성에 큰 영향을 미치는 만큼 거짓 경보의 발생 비율을 줄이는 것은 곧바로 상품의 품질 향상으로 이어질 수 있다.
이처럼 본 발명에서 제안하는 거짓 경보 필터링 방법을 이용하면 모니터링에서 발생하는 정보에 대한 정확도, 신뢰도 향상을 꾀할 수 있다. 모니터링에서 발생하는 정보에 대한 정확도와 신뢰도의 향상은 관리 비용을 감소시키고 생산성 향상의 효과를 가진다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1a 내지 도 1b는 종래의 관리 한계선을 기반으로 한 이상 감지 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 방법의 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 방법을 설명하기 위한 개념도이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 거짓 경보의 분포 확률을 구하기 위한 수식이다.
도 5a 내지 도 5b는 본 발명의 일 실시 예에서 사용될 수 있는 무빙 윈도우를 설명하기 위한 도면이다.
도 6 내지 도 8은 본 발명의 일 실시 예에 따른 거짓 경보 감소 방법의 효과를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 장치의 하드웨어 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 방법의 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 방법을 설명하기 위한 개념도이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 거짓 경보의 분포 확률을 구하기 위한 수식이다.
도 5a 내지 도 5b는 본 발명의 일 실시 예에서 사용될 수 있는 무빙 윈도우를 설명하기 위한 도면이다.
도 6 내지 도 8은 본 발명의 일 실시 예에 따른 거짓 경보 감소 방법의 효과를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 장치의 하드웨어 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에 대하여 첨부된 도면에 따라 더욱 상세히 설명한다.
도 1a 내지 도 1b는 종래의 관리 한계선을 기반으로 한 이상 감지 방법을 설명하기 위한 도면이다.
도 1a를 참고하면 x축은 0부터 1,000까지 인덱스(index)가 표시되어 있고, y축은 0부터 9까지의 값이 표시되어 있다. x축은 사전에 정해진 주기에 따라 1,000여개의 모니터링 데이터를 수집한 것이고 그때의 값이 0부터 8까지의 값으로 y축에 표시가 되어 있다.
이때 관리 한계선(111; threshold)은 6의 값으로 설정되어 있다. 즉 모니터링 데이터가 6보다 큰 값을 가지면 이상으로 판단하고 경보를 발생하는 방식이다. 하지만 도 1a에서 볼 수 있듯이 6을 넘은 값들 중에 실제로 이상이 발생한 경우는 없다. 관리 한계선(111)을 6으로 설정하였지만 거짓 경보(False Alarm)가 많이 발생한 것을 볼 수 있다.
이처럼 종래의 모니터링 방법은 대부분 센서 등을 이용하여 측정한 값과 기 설정된 관리 한계선(111)을 비교하여 이상 여부를 판단한다. 상한 한계선 또는 하한 한계선 또는 상한과 하한을 모두 가지는 밴드 형태의 관리 한계선 등을 이용하여 이상 여부를 감지한다.
그러나 이렇게 관리 한계선(111)을 이용하여 이상을 감지하는 경우, 모집단 분포에 대한 가정(Parametric assumption)의 오류에 의해 거짓 경보가 발 생할 수 있다. 예를 들면, 이상 감지 시스템은 정규분포를 가정하여 디자인 되었으나 실제 데이터는 정규분포를 따르지 않는 경우 관리 한계선(111)을 벗어나는 실제 데이터가 많이 나올 수 밖에 없고 이는 거짓 경보로 이어지게 된다.
또한 모니터링 통계량이 현대 데이터의 대표적인 특징들을 따르는 경우에도 거짓 경보가 많이 발생할 수 있다. 예를 들면 비정규분포(Non-normality), 비선형성(Non-linearity), 다중정상 및 다중이상(Multimodality), 시간적 가변성(Time-varying property) 등이 있다.
특히 최근에 가장 많이 제기된 문제 유형은 시간에 따라 여러 형태로 변화하는 관측치 특성이 제대로 고려되지 못한 경우이다. 이러한 데이터들의 특징을 제대로 반영하지 못하는 경우, 실제의 생산 환경에서는 수많은 모니터링 오류가 발생하게 된다.
도 1b를 참고하면 관리 한계선(111)이 8의 값으로 설정된 것을 볼 수 있다. 관리 한계선(111)을 도 1a의 경우보다는 높게 설정하였기 때문에 알람이 600과 800 인덱스 사이에서 2회만 발생할 정도로 줄었다. 그럼에도 이마저도 거짓 경보에 해당한다.
도 1a나 도 1b의 예에서 볼 수 있듯이 관리 한계선(111)을 어떻게 설정하는지에 따라 경보 여부가 결정된다. 관리 한계선(111)의 값이 6인 경우에는 거짓 경보가 많이 발생할 수 있고, 관리 한계선(111)의 값이 8인 경우에는 거짓 경보를 다소 줄일 수 있다.
이처럼 종래의 이런 관리 한계선(111)을 기반으로 한 이상 감지 방법은 관리 한계선(111)의 값을 적절히 설정하여 거짓 경보를 감소시키려고 한다. 그러나 이는 한계가 있는 방법이다. 거짓 경보를 줄이기 위해서 관리 한계선(111)을 너무 높게 설정하게 되면 이상 감지를 제대로 수행하지 못하는 경우가 발생할 수 있기 때문이다. 즉 실제로 이상임에도 이를 이상으로 감지하지 못하는 제2종 오류가 발생할 수 있다.
관리 한계선(111)을 이용하여 거짓 경보를 줄이려고 하다 보면 모니터링의 민감도가 떨어지게 된다. 통계적 가설 검정을 기반으로 하는 기존의 관리 기법은 모니터링의 민감도와 거짓 경보의 발현 사이에는 서로 상충(trade-off)하는 특성을 가지고 있다. 그렇기 때문에 특정 수준의 관리 영역(Expected false alarm rete) 이하로는 거짓 경보를 낮출 수 없는 한계가 존재한다.
어떠한 좋은 성능을 보이는 모니터링 기법도 사용자가 설정한 유의 수준(Significance Level) 이하로 거짓 경보를 낮출 수 없다. 예를 들면 사용자가 기대하는 거짓 경보율을 5%로 설정한 경우, 공정 프로세스가 1,000번 진행되는 동안에 약 50여개의 잘못된 경보가 발생할 수 있다. 물론 거짓 경보를 줄이기 위해 거짓 경보율을 1%로 설정한 경우, 공정 프로세스가 1,000번 진행되는 동안에 거짓 경보는 10여개로 줄일 수 있지만 반대로 민감도가 낮아져서 참 경보가 누락되는 상황이 발생할 수 있다.
이처럼 모니터링에서 일반적으로 사용하는 1% 또는 5%의 거짓 경보율 (Type I Error Rate)은 실제 공정 엔지니어들이 유지 보수의 척도로 받아들이기에는 다소 무리가 있는 수치이다. 왜냐하면 가장 이상적인 공정임에도 불구하고 100회의 모니터링 중, 1~5개 가량의 거짓 경보가 발생할 수 있다는 것인데 이는 데이터 수집 성능이 향상되고 단기간에 많은 양의 데이터를 처리하는 요즘 추세에서는 물리적으로 거짓 경보의 수 또한 늘어나게 되기 때문이다. 자꾸 거짓 경보가 많이 울리다 보면 엔지니어들이 사전에 미리 알람을 꺼버리는 상황이 생기기도 한다.
이처럼 기존에 사용되어온 통계적 검증 방법들을 사용하는 통계적 품질 관리(SQC; Statistical Quality Control), 통계적 공정 관리(SPC; Statistical Process Control) 및 예지 보전 기법(CBM; Condition Based Maintenance) 등이 현장에서 외면 받는 이유는 거짓 경보가 너무 자주 발생하기 때문이다.
이처럼 근본적인 통계학의 한계가 모니터링 문제에서도 똑같이 적용되어 현실적으로 활용하기가 쉽지 않다. 그러므로 통계적인 품질 관리, 공정 관리 등 모니터링 문제의 한계점을 해결할 수 있는 방법이 필요하다. 즉 모니터링의 민감도는 그대로 유지하면서도 거짓 경보를 줄일 수 있는 방법이 필요하다.
도 2는 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 방법의 순서도이다.
종래의 통계적 가설 검증 방법의 근본적인 문제를 해결하기 위해서 본 발명에서 제안하는 방법은 정보 발생의 희박도(Sparsity)의 개념을 모니터링에 적용하는 것이다. 특정 구간 안에서 발생하는 범주형 확률 분포(Categorical Distribution)을 정의하여 경보의 참 또는 거짓 확률을 계산하고 이를 기준으로 실제 경보 여부를 결정하는 것이다.
제1종 오류의 비율(Type I Error Rate) 또는 거짓 경보율을 알파(α; alpha)라고 한다. 가장 이상적인 공정 상황에서는 미리 설정한 알파 값에 따라 거짓 경보가 발생한다. 예를 들어 유의 확률을 0.05로 설정하고 100번의 관측치의 정상(Normal) 특성값을 모니터링 한다고 가정했을 때, 약 5개 정도의 거짓 경보가 발생하는 것이 이상적인 모니터링 결과이다.
이때 실행 길이(run length)의 측면으로 볼 때, 20번의 실행(run)마다 약 1번의 거짓 경보가 발생할 수 있다는 논리이다. 해당 모니터링의 개별 시도(Trial)를 베르누이 수행으로 가정한다면, 결과적으로 n = 100, p = 유의확률(0.05), q = 1- p인 이항 분포(Binomial Distribution)임을 유도 할 수 있다.
즉 n번 관측치가 지나가는 동안 어떤 관측치가 거짓 경보 또는 참 경보를 울릴 확률은 이항 분포를 따르게 되므로 이를 이용하여 거짓 경보 확률을 구하고 최종적으로 경보를 울릴지 여부를 판단할 수 있다. 즉 거짓 경보일 확률이 높으면 이를 필터링 하여 실제로 경보를 울리지 않도록 할 수 있다.
좀 더 현실적으로 가정을 완화하여, 실제 품질 특성 모니터링의 기준을 시행 횟수를 기반으로 하지 않고 특정 시간, 혹은 공간 내에서 발생하는 경보 발생 빈도를 포아송 분포(Poisson Distribution)로 학습하여도 유사한 효과를 기대할 수 있다. 이는 n = 100, μ = 5인 포아송 분포에 의해 거짓 경보 확률을 구할 수도 있다.
이처럼 이항 분포 혹은 포아송 분포를 활용하여 특정 횟수 혹은 기간내의 경보 빈도를 기반으로 거짓 경보의 확률을 연산할 수 있다. 그리고 통계량이 임계치(Threshold), 즉 관리 한계선(Control Limit)을 넘어서는 순간 바로 경보를 울리기 보다는 발생하는 빈도의 분포적 특성을 고려하여 최종 경보 울림으로서 모니터링의 민감도를 확보하면서도 거짓 경보율을 낮출 수 있다.
도 2를 참고하면 본 발명에서 제안하는 거짓 경보 감소 방법은 우선 정상 패턴의 데이터를 수집한다(S1100). 본 발명에서 제안하는 방법은 관리 한계선(111)의 변동 없이 거짓 경보를 감소시키기 위한 방법이므로 공정에서 특별한 이상이 없는 상태에서의 모니터링 데이터를 수집하는 것이다.
실제로 공정이 정상인 상태에서 모니터링 데이터를 수집하였으므로 수집한 데이터 중에서 발생한 경보는 모두 거짓 경보에 해당한다. 이때, 무빙 윈도우 기반으로 거짓 경보의 빈도를 추정한다(S1200). 무빙 윈도우란 관측 데이터의 일정 구간을 의미한다.
예를 들면 1부터 200 인덱스까지의 측정 데이터를 기준으로 거짓 경보의 확률을 연산한다. 다음에는 2부터 201 인덱스까지의 측정 데이터를 기준으로 거짓 경보의 확률을 연산한다. 다음에는 3부터 202 인덱스까지의 측정 데이터를 기준으로 거짓 경보의 확률을 연산한다. 이렇게 구간을 옮겨가면서 거짓 경보의 확률을 연산하는 것이다.
이와 같은 학습을 통해서 일정한 크기의 무빙 윈도우, 즉 일정한 구간 안에서의 거짓 경보의 확률을 사전에 연산한 후에, 실제 이상 감지가 필요한 모니터링 데이터를 수집한다(S1300). 다음에는 사전에 연산한 거짓 경보의 확률을 이용하여, 현재 모니터링 데이터에서 감지된 이상이 거짓 경보일 확률을 구하고 이를 기준으로 실제 알람 여부를 결정한다(S1400).
종래의 이상 감지 방법은 설정하는 거짓 경보율에 따라 정상임에도 일정 수준의 알람이 발생할 수 밖에 없다. 알람 수준을 조정하기 위해 거짓 경보율(False alarm rate)을 조정하면 참 알람을 감지하지 못하게 되는 위험성이 존재한다. 즉 민감도와 거짓 경보의 감소는 서로 trade-off의 관계이다.
그러므로 기존의 거짓 경보를 줄이는 기법은 대표적으로 통계량을 개선하여 프로세스의 변화를 추적(tracking)하여 무의미한 파라미터인 평균, 분산 등을 걸러내는 방법이 있다. 그 외에도 정상 분포의 비모수 추정(nonparametric estimation)을 통해 관리 상한선(UCL; Upper Control Limit)과 관리 하한선(LCL; Lower Control Limit)을 정확히 추론하는 방법이 있다. 그 외에도 기존 모니터링에 데이터 마이닝 기법을 접목하여 무분별한 이상 패턴을 제거하는 방법이 있다.
하지만, 이러한 방법들 모두 어느 특정한 관리 한계선을 기준으로 이상을 감지하는 방법이기 때문에 기준선(Threshold) 기반의 경보 판정이 갖는 방법론의 한계는 여전이 존재한다. 특히 모니터링 대상이 되는 데이터들이 시계열 상관성이 존재하는 경우가 많은데, 기존 기법은 프로세스 변화의 일관성 가정 즉, 모든 관측치들이 서로 독립성을 갖는다고 전제하는 경우가 대부분이다.
그래서 결국 기존 기법들의 논리는 현태 통계학의 유의 확률 기반 의사 결정의 한계점을 인정하고 받아들임으로써 기 설정한 거짓 경보율을 근본적으로 피할 수 없다는 한계점이 존재한다. 관리 한계선을 기반으로 이상 여부를 판단하기에 발생하는 원죄라 볼 수 있다.
이를 해결하기 위해서 본 발명에서 제안하는 방법은 기존 통계적 가설 검정에서 오는 근본적인 문제를 해결하기 위한 방법이다. 이는 거짓 경보의 통계적 분포인 범주형 분포를 모니터링에 반영하는 것이다. 설비나 공정에 이상이 발생하면 도 1a나 도 1b의 거짓 경보처럼 일회적으로 이상이 발생하는 것이 아니고 지속적으로 발생하기 때문에 일관된 변화에 대해 경보를 울림으로써, 일회적으로 발생하는 거짓 경보를 필터링할 수 있고 이는 곧 모니터링 자체의 신뢰도 확보로 이어질 수 있다.
일반적인 대부분의 통계적 모니터링 기법인 공정 모니터링, 통계적 품질 관리 기법, 환자의 상태에 대한 헬스 케어 모니터링, 고가 장비/생산 설비의 예지 보전, 해킹 침입 탐지, 카드의 부정 사용 등에 대해 본 발명의 방법을 적용하면 거짓 경보의 발생을 줄이고 참 경보만 경보로 알릴 수 있다.
여러 가지 범주형 분포의 특성을 활용하여 거짓 경보의 확률을 구하면 거짓 경보를 적절히 걸러내는 용도뿐만 아니라, 기존의 연속형 변수를 범주형 확률 분포로 변환시킬 수 있다는 점에서 데이터 분석의 여러 전처리 기술로도 활용이 가능하다. 특히 기존 기법에서 더 나아가 원하는 수준만큼 경보 민감도를 조절할 수 있다는 장점이 있다.
도 3은 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 방법을 설명하기 위한 개념도이다.
도 3을 참고하면 본 발명에서 제안하는 거짓 경보 감소 방법은 크게 두 단계를 거친다. 도 3의 Phase 1인 학습 단계와, Phase 2인 적용 단계이다. 학습 단계는 실제로 이상은 발생하지 않은 즉 정상 상태의 데이터에서 거짓 경보의 확률을 학습하는 단계이고, 적용 단계는 모니터링 하고 있는 데이터를 대상으로 관리 한계선을 이용하여 1차적으로 이상 여부를 판단하고 이상으로 판단된 경우, 해당 이상이 거짓 경보일 확률을 구하여 거짓 경보인 경우에는 필터링 하는 단계이다.
우선 Phase 1인 학습 단계는 정상 패턴을 학습한다. 즉 정상 데이터를 수집한다. 이는 기존에 발생한 모니터링 데이터를 수집하는 것으로, 다만 실제로 이상은 발생하지 않은 데이터이어야 한다. 즉 거짓 경보만 발생했던 데이터를 수집한다. 이를 1차 모니터링이라고 할 수 있다.
다음으로 1차 모니터링 데이터에서 알람이 발생한 정보를 확인한다. 즉 언제 거짓 경보가 발생했는지 확인한다. 그리고 이를 이용하여 무빙 윈도우 기반으로 거짓 경보의 확률을 연산한다. 이때 거짓 경보의 분포로 이항 분포 또는 포아송 분포를 이용할 수 있다.
이렇게 학습한 거짓 경보의 빈도에 관한 정보는 추후 Phase 2인 적용 단계에서 실제 경보를 울릴지 판단하는 기준으로 활용할 수 있다. 쉽게 설명하면 "평소에도 정상일 때에는 100개의 데이터를 관측하면 5번의 거짓 경보가 있었다"를 학습한 후에 100개의 무빙 윈도우 내에서 5번을 초과하여 이상이 감지되는 경우에 실제의 이상으로 보고 경보를 발생하는 것이다. 이를 통해 민감도는 그대로 유지하면서도 거짓 경보를 감소시킬 수 있다.
물론 이는 이해를 돕기 위해 학습된 모델의 거짓 경보 빈도와 관측된 데이터의 이상 감지 빈도를 단순 비교하는 예를 든 것이고, 실제로는 거짓 경보의 분포를 기준으로 확률을 연산하여 최종적으로 경보 여부를 결정한다. 거짓 경보의 분포를 기반으로 경보 여부를 결정하는 구성에 관해서는 추후 도 4a 내지 도 4c에서 보다 자세히 설명하기로 한다.
도 3의 Phase 2인 적용 단계를 살펴보면, 실제 모니터링 데이터에 적용하는 과정을 살펴볼 수 있다. 실제 적용을 하기 위한 모니터링 데이터는 실제로 이상일 수도 있고 아니면 정상일 수도 있는 데이터가 혼재된 데이터이다. 이때 1차적으로 관리 한계선을 이용하여 이상 여부를 감지한다.
다음으로 Phase 1인 학습 단계에서 학습한 알람 정보를 이용한다. 즉 무빙 윈도우 기반으로 최근 정해진 관측 데이터의 수 이내에서 관리 한계선을 벗어난 이상이 감지된 횟수를 카운트한다. 이렇게 카운트 한 값을 앞서 학습 단계에서 구한 거짓 경보의 빈도와 비교하여 최종적으로 알람을 발생시킬지 여부를 결정한다.
알람 빈도가 거짓 경보 빈도보다 큰 경우에는 실제 이상으로 보고 알람을 발생시키고, 알람 빈도가 거짓 경보 빈도보다는 작은 경우에는 아직까지는 거짓 경보로 보고 필터링하여 실제로는 알람이 발생하지 않도록 하는 것이다. 도 3과 같은 방법에서는 실제로 경보가 발생하는 경우는 무빙 윈도우 내에서 Phase 1인 학습 단계에서 학습한 거짓 알람 빈도보다 더 높은 빈도로 이상이 감지되는 경우뿐이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 거짓 경보의 분포 확률을 구하기 위한 수식이다.
일반적으로 가장 이상적인 공정 상황에서는 미리 설정한 알파 값에 따라 거짓 경보가 발생한다. 예를 들면, 유의 확률 0.05로 설정하였다면 100번의 관측 데이터 중에서 실제로는 이상이 아님에도 관리 한계선(111)을 초과하는 값은 5회 정도 발생할 수 있다. 즉 n번의 관측치가 지나가는 동안 어떤 관측치가 거짓 경보로 울릴 확률은 이항 분포를 따르게 된다.
도 4a를 참고하면 이항 분포(Binomial Distribution)를 이용하는 경우의 누적 확률 함수를 볼 수 있다. 즉 모니터링을 하기 위해 데이터를 측정하는 각각의 시도가 베르누이 수행을 따른다고 가정하면, 결과적으로 데이터 측정 횟수 n, 거짓 경보의 수 k, 거짓 경보 확률 p라 할 때 도 4a의 수식과 같은 누적 확률 함수(Cumulative Distribution Function)를 보이게 된다.
이항 분포에서 시행 횟수 n이 매우 크고, 거짓 경보 확률 p가 아주 작은 경우에는 이항 분포는 포아송 분포로 나타낼 수 있다. 즉 시도 횟수를 기반으로 하지 않고 특정 시간 내에서 경보 발생 빈도를 기반으로 학습할 경우 더 유연한 결과를 얻을 수 있다. 도 4b를 참고하면 포아송 분포를 이용하는 경우의 누적 확률 함수를 볼 수 있다.
도 4b에서 n이 매우 크고 p가 작은 경우 특정 확률 변수 x는 μ=np로 근사할 수 있다. 즉 모니터링 관측지가 많아지고 기 설정한 거짓 경보율(False alarm rate)이 작다면 이항 분포보다 연산이 간편한 포아송 분포로 추정하여도 무방하다.
이처럼 이항 분포나 포아송 분포의 임계치를 경보 발생 여부를 판단하기 위한 값으로 설정할 수 있다. 예를 들면 이항 분포의 n과 p 또는 포아송 분포의 μ를 Phase 1인 학습 단계에서 정상 패턴의 데이터를 이용하여 연산할 수 있다. 따라서 Phase 1인 학습 단계는 정상 데이터에 모니터링을 적용할 경우 발생되는 거짓 경보의 빈도에 대한 통계치를 생성하는 것이다.
이항 분포의 n과 p 또는 포아송 분포의 μ를 실제 모니터링에 적용하는 과정은 Phase 2인 적용 단계이다. 우선 기존에 모니터링을 위해 설정한 알파 값에 따라 이상을 탐지한다. 즉 관리 한계선(111)을 벗어나는 관측 데이터가 발생하면 1차적으로 이상이라고 판단한다.
그리고 최근 n개의 관측 데이터 중에 이상으로 판단된 관측 데이터의 수가 거짓 경보의 패턴보다 더 많은 경우에는 실제 이상으로 보고 알람을 울리는 것이다. 이를 위해서 Phase 1인 학습 단계에서 이항 분포의 통계 파라미터(n, p)나 포아송 분포의 통계 파라미터(μ)를 구하는 것이다.
도 4c를 참고하면 Phase 2인 적용 단계에서 현재 발생한 이상이 거짓일지 참일지 판단하는 수식을 볼 수 있다. 최근 n개의 관측 데이터 중에서 관측된 이상이 a개일 때 도 4a 내지 도 4b에서 본 수식을 이용하면 정상 상태일 때 일반적으로 발생하는 거짓 경보의 누적 확률 Pr(X<a)를 구할 수 있다.
이 값을 1에서 빼고, 즉 =1-Pr(X<a)를 사용자가 설정한 알파 값과 비교하여 최종적으로 경보를 울릴지 말지를 결정한다. =1-Pr(X<a)의 값이 알파 값보다 작은 경우에는 실제 이상으로 판단하고 경보를 울리고, =1-Pr(X<a)의 값이 알파 값보다 큰 경우에는 거짓 이상으로 판단하고 경보를 울리지 않는다.
거짓 경보의 누적 확률 Pr(X<a)를 구한 후에 1에서 빼는 이유는 알파 값과 비교하기 위해서이다. 이에 대해 보다 자세히 설명하기 위해서 n=20일 때의 이항 분포표를 정리한 다음의 표 1을 살펴보도록 하자.
(n=20) x | p=0.05 | p=0.10 | p=0.15 |
0 | 0.3585 | 0.1216 | 0.1368 |
1 | 0.3774 | 0.2702 | 0.2293 |
2 | 0.1887 | 0.2852 | 0.2428 |
3 | 0.0596 | 0.1901 | 0.1821 |
4 | 0.0133 | 0.0898 | 0.1028 |
5 | 0.0022 | 0.0319 | 0.0454 |
6 | 0.0003 | 0.0089 | 0.0160 |
7 | 0.0000 | 0.0020 | 0.0046 |
8 | 0.0000 | 0.0004 | 0.0011 |
9 | 0.0000 | 0.0001 | 0.0002 |
10 | 0.0000 | 0.0000 | 0.0000 |
이해의 편의를 돕기 위해 20개의 측정 데이터를 기준으로 설명을 계속하도록 한다. Phase 1인 학습 단계에서 거짓 경보의 확률을 계산하였더니 n=20인 경우, 즉 20번의 데이터를 관측하는 경우 거짓 경보가 발생할 확률이 0.05라고 가정하자. 일반적으로 거짓 경보율을 5% 정도로 설정하므로 20번의 관측 데이터 중에서 1번 정도는 거짓 경보가 발생할 수 있다.
다음으로는 실제 데이터를 대상으로 Phase 2인 적용 단계에서 모니터링을 수행한다고 가정하자. 이때 사전에 설정된 주기에 따라 실시간으로 데이터를 수집하여 관리 한계선과 비교하고, 관리 한계선을 벗어나면 이상으로 판단한다. 이는 종래의 통계적 가설 검증 기반의 모니터링 방법에서 수행하던 것으로 종래의 방법에서는 이상으로 판단한 후에 바로 경보를 발생했다.
하지만 본 발명에서는 이상으로 판단한 후에도, 이상으로 판단한 결과가 거짓 경보일 확률을 계산한다. 예를 들면 1부터 20번째 인덱스까지의 관측 데이터 중에서 이상이 1회 감지되었다고 하면 도 4c에서 Pr(X<1)의 값을 표 1을 참고로 계산한다. 즉 Pr(X<1)=Pr(X=0)일 때의 확률을 구하면 된다.
표 1에서 p=0.05일 때 Pr(X=0)는 0.3585의 값을 가진다. 즉 20번에 1번 꼴로 거짓 경보가 발생하는 경우라고 하더라도, 20개의 관측 데이터 중에서 거짓 경보가 0번일 확률이 35.85%에 해당한다. 이 값을 이용하여 를 구하기 위해 1에서 빼면 0.6415의 값을 가진다. 유의 확률인 알파 값이 0.05이므로 이 값보다는 크므로 거짓 이상으로 분류하고 경보를 울리지 않는다.
다음으로 21번째 인덱스에 해당하는 모니터링 데이터를 수집하였더니 이번에도 관리 한계선을 벗어나서 이상으로 판정했다고 가정하자. 그러면 현재의 무빙 윈도우는 2번 인덱스부터 21번 인덱스까지 20개의 측정 데이터를 대상으로 하고 있고, 그 안에 총 2회의 이상 판단으로 한 데이터가 존재한다.
이때 21번째 인덱스의 데이터, 즉 이상으로 판단된 데이터가 거짓 이상일 확률을 구하기 위해서 마찬가지로 Pr(X<2)의 확률을 구한다. Pr(X<2)=Pr(X=0)+ Pr(X=1)=0.3585+0.3774=0.7359가 된다. 이 때의 =1-0.7359=0.2641의 값을 가진다. 유의 확률인 알파 값이 0.05이므로 이 값보다는 크므로 거짓 이상으로 분류하고 경보를 울리지 않는다.
다음으로 22번째 인덱스에 해당하는 모니터링 데이터를 수집하였더니 이번에도 마찬가지로 관리 한계선을 벗어나서 이상으로 판정했다고 가정하자. 그러면 현재의 무빙 윈도우는 3번 인덱스부터 22번 인덱스까지 20개의 측정 데이터를 대상으로 하고 있고, 그 안에 총 3회의 이상 판단으로 한 데이터가 존재한다.
이때 22번째 인덱스의 데이터, 즉 이상으로 판단된 데이터가 거짓 이상일 확률을 구하기 위해서 마찬가지로 Pr(X<3)의 확률을 구한다. Pr(X<3)=Pr(X=0)+ Pr(X=1)+Pr(X=2)=0.3585+0.3774+0.1887=0.9246가 된다. 이 때의 =1-0.9246=0.0754의 값을 가진다. 유의 확률인 알파 값이 0.05이므로 이 값보다는 크므로 역시 거짓 이상으로 분류하고 경보를 울리지 않는다.
다음으로 23번째 인덱스에 해당하는 모니터링 데이터를 수집하였더니 이번에도 마찬가지로 관리 한계선을 벗어나서 이상으로 판정했다고 가정하자. 그러면 현재의 무빙 윈도우는 4번 인덱스부터 23번 인덱스까지 20개의 측정 데이터를 대상으로 하고 있고, 그 안에 총 4회의 이상 판단으로 한 데이터가 존재한다.
이때 23번째 인덱스의 데이터, 즉 이상으로 판단된 데이터가 거짓 이상일 확률을 구하기 위해서 마찬가지로 Pr(X<4)의 확률을 구한다. Pr(X<4)=Pr(X=0)+ Pr(X=1)+Pr(X=2)+Pr(X=3)=0.3585+0.3774+0.1887+0.0596=0.9842가 된다. 이 때의 =1-0.9842=0.0158의 값을 가진다. 유의 확률인 알파 값이 0.05이므로 이 값보다는 작으므로 실제 이상으로 분류하고 경보를 울린다.
즉 20개의 측정 데이터를 대상으로 하는 무빙 윈도우 내에 총 4회의 이상이 감지되는 경우 실제 이상으로 판단하고 이 때부터 경보를 울리는 것이다. 이는 사용자가 설정한 유의 확률인 알파 값 0.05를 기준으로 한 것이다. 대신 그 이전인 20개의 측정 데이터 내에 1회의 이상이 감지되거나, 2회의 이상이 감지되거나, 3회의 이상이 감지된 경우에는 거짓 이상으로 판단하고 경보를 발생시키지 않을 수 있다.
이와 같이 본 발명에서 제안하는 거짓 경보 감소 방법은 이상이 감지된 경우 사전에 학습한 거짓 경보 분포를 이용하여 해당 이상이 거짓 이상일 확률을 구하고, 그 값과 알파 값을 비교하여 실제로 경보를 발생할지 여부를 판단한다. 이를 통해 거짓 경보의 횟수를 감소 시킬 수 있다.
즉 본 발명에서는 Phase 1인 학습 단계에서 관측된 거짓 경보의 패턴보다 더 많은 이상이 무빙 윈도우 내에 감시되는 경우에 실제로 경보를 발생시킨다. 이와 같이 거짓 경보를 필터링 하는 것은 모니터링 대상인 장비나 설비에 이상이 발생한 경우, 그 이상은 지속적으로 관찰되기 때문이다. 즉 한 두 번의 이상은 거짓 경보 패턴과 비교해서 필터링 하나 지속적으로 이상이 감지되는 경우에는 경보를 발생시키는 것이다.
도 5a 내지 도 5b는 본 발명의 일 실시 예에서 사용될 수 있는 무빙 윈도우를 설명하기 위한 도면이다.
도 5a를 참고하면 n=200을 기준으로 무빙 윈도우(121)가 설정되어 있는 것을 볼 수 있다. 본 발명에서 사용하는 무빙 윈도우(121)란 특정 범위의 데이터 측정 구간을 말한다. 모니터링이 되는 데이터는 대부분 주기적으로 측정되므로 무빙 윈도우(121)는 특정 시구간으로 볼 수도 있다.
도 5a에서 볼 수 있는 거처럼 특정 구간에 해당하는 무빙 윈도우(121) 내에 관리 한계선(111)을 초과한 모니터링 데이터가 몇 개인지 카운트 한다. 즉 무빙 윈도우(121)의 구간 내에서 이상으로 판정된 모니터링 데이터가 몇 개인지 확인한다. 그리고 그 수를 이용하여 Phase 1인 학습 단계에서는 이항 분포의 거짓 경보 확률 p를 연산할 수 있고, Phase 2인 적용 단계에서는 이상으로 판정된 모니터링 데이터의 거짓 경보 확률을 연산할 수 있다.
본 발명에서 학습의 대상이 되는 구간 또는 모니터링 대상이 되는 구간을 무빙 윈도우(121)라고 명명한 이유는 도 5b에서 볼 수 있듯이 무빙 윈도우(121)가 x축을 따라 미끄러지며 이동하기 때문이다. 즉 학습의 대상으로 하는 구간이나 모니터링 대상으로 하는 구간을 계속해서 이동시키기 때문에 이를 무빙 윈도우(121)라고 한다. 또는 다른 말로 이동 창 내지 이동 구간이라고 할 수 있다.
무빙 윈도우(121)를 이용하면 Phase 2인 적용 단계에서 현재 측정된 모니터링 데이터로부터 지정된 개수 이내의 모니터링 데이터를 대상으로 이상 감지를 카운트 한다. 즉 무빙 윈도우(121)의 크기가 n=200이라고 한다면 가장 최근 200개의 모니터링 데이터를 대상으로 이상 감지 횟수를 카운트하고 이를 Phase 1인 학습 단계에서 분석한 거짓 경보의 분포와 비교하는 것이다.
이를 통해 관리 한계선(111)을 벗어나서 이상으로 감지되는 데이터들의 빈도를 구할 수 있다. 이 빈도가 거짓 경보의 분포보다 낮은 경우에는 마찬가지로 거짓 이상으로 판단하고 경보를 발생시키지 않고, 이 빈도가 거짓 경보의 분포보다 높은 경우에는 실제 이상으로 판단하고 경보를 발생시킬 수 있다.
그러면 엔지니어는 유의 확률을 5%로 설정하였음에도 상당수의 거짓 경보는 필터링 하고, 실제 이상에 해당하는 경보만 제공받을 수 있다. 그러면서도 관리 한계선(111)을 수정하지 않으므로 민감도에는 영향이 없다. 즉 모니터링의 민감도를 손해 보지 않으면서 거짓 경보를 감소시키므로 종래의 통계적 가설 검증 기반의 모니터링 방법의 한계를 극복할 수 있다.
도 6 내지 도 8은 본 발명의 일 실시 예에 따른 거짓 경보 감소 방법의 효과를 설명하기 위한 도면이다.
도 6을 참고하면 0부터 1,000 인덱스까지의 모니터링 데이터에서 거짓 경보가 다수 발생한 것을 상단에서 볼 수 있다. 이 모니터링 데이터를 대상으로 본 발명에서 제안하는 거짓 경보 감소 방법을 적용하면 대부분의 거짓 경보를 줄일 수 있다.
도 6의 상단 도면에는 거짓 경보가 x표로 표시가 되어 있는데 도 6에서도 볼 수 있듯이 대부분의 거짓 경보가 학습 단계에서 분석한 정상 상태일 때의 거짓 경보의 패턴보다 관리 한계선(111)을 초과하는 데이터의 빈도가 많지 않기 때문에 경보를 울릴지 판단하는 단계에서 거짓 이상으로 판단하고 경보를 발생시키지 않아 도 6의 하단 도면처럼 거짓 경보 발생을 줄이는 것을 볼 수 있다.
마찬가지로 도 7에서도 본 발명에서 제안하는 거짓 경보 감소 방법을 이용하여 거짓 경보를 필터링 하는 과정을 볼 수 있다. 도 7의 상단을 참고하면 100 인덱스부터 200 인덱스 사이에 관리 한계선(111)을 초과하여 2번의 거짓 경보가 발생한 것을 볼 수 있다.
그리고 도 7의 500 인덱스부터 1,000 인덱스 사이에는 실제로 설비에 이상이 발생하여 모니터링 데이터의 상당수가 관리 한계선(111)을 초과하여 실제 경보가 발생한 것을 볼 수 있다. 이러한 경우에도 본 발명에서 제안하는 거짓 경보 감소 방법을 적용하면 앞 부분의 거짓 경보만 필터링을 할 수 있다.
실제로 도 7의 하단을 살펴보면 100 인덱스부터 200 인덱스 사이에 관리 한계선(111)을 초과하여 2번의 거짓 경보는 필터링 되어 경보가 발생하지 않은 것을 볼 수 있다. 대신 실제로 이상이 발생한 500 인덱스부터 1,000 인덱스 사이에는 이상으로 판단된 모니터링 데이터의 빈도가 학습 단계에서의 거짓 경보의 분포보다 높게 나타나 경보가 발생한 것을 볼 수 있다.
이는 도 8의 예에서도 마찬가지이다. 도 8의 예에서는 500 인덱스 이전까지는 거짓 경보이고, 500 인덱스 이후에는 실제 장애가 발생해서 경보가 발생한 상황이다. 이때에도 본 발명에서 제안하는 거짓 경보 감소 방법을 적용하면 500 인덱스 이전까지의 거짓 경보는 이상으로 판단된 모니터링 데이터의 빈도를 고려하여 경보에서 제외할 수 있다.
이상으로 본 발명에서 제안하는 통계 분석에 기반한 거짓 경보 감소 방법에 대해서 살펴보았다. 우선 1차적으로 정상 상태일 때의 모니터링 데이터와 거짓 경보 발생 데이터를 수집해서 거짓 경보의 분포를 분석한다. 이는 거짓 경보의 분포를 이항 분포나 포아송 분포로 근사하여 거짓 경보의 확률을 나타내는 수치를 구한다.
이항 분포의 n과 p 또는 포아송 분포의 μ를 학습 과정에서 구한 후에는 이동 구간을 기준으로 관리 한계선을 벗어나서 이상으로 판정된 모니터링 데이터의 수를 카운트 한다. 해당 이동 구간에서 이상으로 판정된 데이터의 수를 이용하여 이항 분포나 포아송 분포의 누적 확률 함수(CDF)의 값을 구한다.
그리고 1에서 누적 확률 함수의 값을 뺀 값을 사용자가 설정한 유의 확률인 알파 값과 비교하여 알파 값보다 작은 경우에는 거짓 이상으로 판단하고 경보에서 제외하고, 알파 값보다 큰 경우에는 참 이상으로 판단하고 경보를 발생시킨다. 이를 통해 이상을 빨리 감지하기 위한 민감도의 손해를 보지 않으면서도 거짓 경보의 수를 줄여 이상 감지 시스템의 신뢰도를 높일 수 있다.
이 과정에서 이해의 편의를 돕기 위해 이항 분포나 포아송 분포의 누적 확률 함수를 이용하는 경우를 예로 들었으나 그 외의 다양한 형태의 거짓 경보의 분포를 이용하여 현재 모니터링 데이터에서 이상으로 감지된 경우가 실제 이상일지 거짓 이상일지 판단할 수 있다. 그리고 그 결과를 기준으로 실제 경보 여부를 판단할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 통계 분석에 기반한 거짓 경보 감소 장치의 하드웨어 구성도이다.
도 9를 참고하면 통계 분석에 기반한 거짓 경보 감소 장치(10)는 하나 이상의 프로세서(510), 메모리(520), 스토리지(560) 및 인터페이스(570)을 포함할 수 있다. 프로세서(510), 메모리(520), 스토리지(560) 및 인터페이스(570)는 시스템 버스(550)를 통하여 데이터를 송수신한다.
프로세서(510)는 메모리(520)에 로드 된 컴퓨터 프로그램을 실행하고, 메모리(520)는 상기 컴퓨터 프로그램을 스토리지(560)에서 로드(load) 한다. 상기 컴퓨터 프로그램은, 데이터 수집 오퍼레이션(521), 거짓 경보 확률 연산 오퍼레이션(523) 및 모니터링 오퍼레이션(525)을 포함할 수 있다.
데이터 수집 오퍼레이션(521)은 인터페이스(570)을 통해서 센서를 통해서 모니터링 대상이 되는 데이터를 수집한다. 이 데이터는 학습 단계에서 거짓 경보의 분포를 파악할 때 사용할 수 있다. 또한 적용 단계에서 모니터링 데이터의 이상 여부를 감지하고, 감지된 이상의 거짓 이상일 확률을 연산하여 실제 경보를 울릴지 여부를 판단할 때 사용할 수 있다.
데이터 수집 오퍼레이션(521)이 수집한 모니터링 데이터는 시스템 버스(550)를 통해 스토리지(560)의 학습 데이터(561)와 모니터링 데이터(563)로 저장할 수 있다. Phase 1인 학습 단계에서 수집한 데이터는 학습 데이터(561)로 저장되고, Phase 2인 적용 단계에서 수집한 데이터는 모니터링 데이터(563)로 저장할 수 있다.
거짓 경보 확률 연산 오퍼레이션(523)은 학습 단계에 해당하는 오퍼레이션으로 학습 데이터(561)를 분석하여 거짓 경보의 분포를 파악한다. 이를 통해 거짓 경보의 빈도를 구하고 이를 시스템 버스(550)를 통해 스토리지(560)의 거짓 경보 빈도(565)로 저장한다.
마지막으로 모니터링 오퍼레이션(525)은 적용 단계에 해당하는 오퍼레이션으로 모니터링 데이터(563)를 대상으로 관리 한계선과 비교하여 이상 여부를 1차적으로 판단한다. 다음으로 거짓 경보 빈도(565)와 비교하여 이상으로 판단된 결과가 거짓인지 참인지 확률을 구하고 이를 기준으로 실제 경보를 울린다.
도 9의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)와 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing) 할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
Claims (9)
- 이상 감지 장치가, 정상 상태의 데이터를 분석하여 거짓 경보(False Alarm)의 분포를 추정하는 단계;
상기 이상 감지 장치가, 기 설정된 기준에 따라 모니터링 대상이 되는 데이터의 이상 여부를 판단하는 단계;
상기 이상 감지 장치가, 이상으로 판단된 데이터의 빈도와 상기 거짓 경보의 분포를 비교하여, 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계; 및
상기 이상 감지 장치가, 상기 이상으로 판단된 데이터가 거짓 이상인 경우에 경보를 발생시키지 않는 단계를 포함하되,
상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는,
상기 추정된 분포에 따른 확률 함수를 이용하여 상기 이상으로 판단된 데이터의 빈도에 대한 거짓 경보의 누적 확률을 산출하는 단계; 및
상기 거짓 경보의 누적 확률에 기초하여 상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계를 포함하는,
거짓 경보 감소 방법. - 제1항에 있어서,
상기 정상 상태의 데이터를 분석하여 거짓 경보(False Alarm)의 분포를 추정하는 단계는,
상기 정상 상태의 데이터를 분석하여 이항 분포 또는 포아송 분포 중에 하나로 상기 거짓 경보의 분포를 추정하는 단계를 포함하는,
거짓 경보 감소 방법. - 제1항에 있어서,
상기 거짓 경보의 누적 확률을 산출하는 단계는,
제n 시점의 데이터부터 제n-k+1 시점의 데이터까지 총 k개의 데이터 중에서 이상으로 판단된 데이터의 수 i를 카운트 하는 단계; 및
상기 i의 값과 상기 k의 값을 이용하여 상기 제n 시점의 이상으로 판단된 데이터의 빈도를 산출하는 단계를 포함하는,
거짓 경보 감소 방법. - 제3항에 있어서,
거짓 경보의 누적 확률을 산출하는 단계는,
제n+h 시점의 데이터부터 제n+h-k+1 시점의 데이터까지 총 k개의 데이터 중에서 이상으로 판단된 데이터의 수 j를 카운트 하는 단계; 및
상기 j의 값과 상기 k의 값을 이용하여 상기 제n+h 시점의 이상으로 판단된 데이터의 빈도를 산출하는 단계를 포함하는,
거짓 경보 감소 방법. - 제1항에 있어서,
상기 거짓 경보의 분포는 이항 분포이고,
상기 거짓 경보의 누적 확률을 산출하는 단계는,
상기 이항 분포의 누적 확률 함수의 수식인,
에 의해 상기 이상으로 판단된 데이터의 빈도에 대한 상기 거짓 경보의 누적 확률을 산출하는 것이되,
k는 이상으로 판단된 데이터의 빈도 수, n은 모니터링 대상이 된 데이터의 수, p는 상기 이항 분포의 거짓 경보 확률인,
거짓 경보 감소 방법. - 제1항에 있어서,
상기 거짓 경보의 분포는 포아송 분포이고,
상기 거짓 경보의 누적 확률을 산출하는 단계는,
상기 포아송 분포의 누적 확률 함수의 수식인,
에 의해 상기 이상으로 판단된 데이터의 빈도에 대한 상기 거짓 경보의 누적 확률을 산출하는 것이되,
k는 이상으로 판단된 데이터의 빈도 수, μ는 상기 포아송 분포의 거짓 경보 확률인,
거짓 경보 감소 방법. - 제5항 또는 제6항 중 어느 한 항에 있어서,
상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는,
1 - Pr(X<k)의 값과 기 설정된 유의 확률 α를 비교하여, 1- PR(X<k)의 값이 α보다 큰 경우 거짓 이상으로 판단하는 단계를 더 포함하는,
거짓 경보 감소 방법. - 제5항 또는 제6항 중 어느 한 항에 있어서,
상기 이상으로 판단된 데이터가 거짓 이상인지 판단하는 단계는,
1 - Pr(X<k)의 값과 기 설정된 유의 확률 α를 비교하여, 1- PR(X<k)의 값이 α보다 작은 경우 참 이상으로 판단하는 단계를 더 포함하는,
거짓 경보 감소 방법. - 제1항에 있어서,
상기 이상으로 판단된 데이터가 거짓 이상이 아닌 참 이상인 경우에 경보를 발생시키는 단계를 더 포함하는,
거짓 경보 감소 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160176940A KR102576390B1 (ko) | 2016-12-22 | 2016-12-22 | 통계 분석에 기반한 거짓 경보 감소 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160176940A KR102576390B1 (ko) | 2016-12-22 | 2016-12-22 | 통계 분석에 기반한 거짓 경보 감소 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180073273A KR20180073273A (ko) | 2018-07-02 |
KR102576390B1 true KR102576390B1 (ko) | 2023-09-07 |
Family
ID=62913916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160176940A KR102576390B1 (ko) | 2016-12-22 | 2016-12-22 | 통계 분석에 기반한 거짓 경보 감소 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102576390B1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109917213B (zh) * | 2019-04-09 | 2021-09-17 | 湘潭大学 | 一种基于降维融合与因子分析的接触网检测故障预警方法 |
US11495119B1 (en) | 2021-08-16 | 2022-11-08 | Motorola Solutions, Inc. | Security ecosystem |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101615085B1 (ko) * | 2015-08-20 | 2016-04-26 | 주식회사 베가스 | 설비의 이상 경보 시스템 및 방법 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100928205B1 (ko) | 2007-06-05 | 2009-11-25 | 삼성전자주식회사 | 반도체 제조설비 관리시스템 및 그의 통계적 공정 관리방법 |
US9727049B2 (en) | 2012-09-04 | 2017-08-08 | Taiwan Semiconductor Manufacturing Company, Ltd. | Qualitative fault detection and classification system for tool condition monitoring and associated methods |
-
2016
- 2016-12-22 KR KR1020160176940A patent/KR102576390B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101615085B1 (ko) * | 2015-08-20 | 2016-04-26 | 주식회사 베가스 | 설비의 이상 경보 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20180073273A (ko) | 2018-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460144B (zh) | 一种基于机器学习的煤炭设备故障预警***及方法 | |
CN100489870C (zh) | 用于过程统计控制的方法和多维*** | |
US9146800B2 (en) | Method for detecting anomalies in a time series data with trajectory and stochastic components | |
Vogel-Heuser et al. | Criteria-based alarm flood pattern recognition using historical data from automated production systems (aPS) | |
CN109186813A (zh) | 一种温度传感器自检装置及方法 | |
US20140365179A1 (en) | Method and Apparatus for Detecting and Identifying Faults in a Process | |
JP4046309B2 (ja) | プラント監視装置 | |
JP6200833B2 (ja) | プラントと制御装置の診断装置 | |
US11640328B2 (en) | Predicting equipment fail mode from process trace | |
KR102618023B1 (ko) | 고장유형에 따른 패턴 분석을 통한 고장 예지 진단시스템 및 방법 | |
Zhang et al. | Phase I analysis of multivariate profiles based on regression adjustment | |
Wu et al. | Optimal np control chart with curtailment | |
CN116292367B (zh) | 基于一维卷积的电厂风机***异常工况检测方法 | |
US20090259331A1 (en) | Automated system for checking proposed human adjustments to operational or planning parameters at a plant | |
KR102576390B1 (ko) | 통계 분석에 기반한 거짓 경보 감소 방법 및 장치 | |
JP2017010232A (ja) | プラント診断装置及びプラント診断方法 | |
Yu et al. | Using EWMA control schemes for monitoring wafer quality in negative binomial process | |
Wang et al. | Spatial correlated data monitoring in semiconductor manufacturing using Gaussian process model | |
CN112288126B (zh) | 一种采样数据异常变化在线监测与诊断方法 | |
Chen et al. | Design of multivariate alarm systems based on online calculation of variational directions | |
KR20170050359A (ko) | 거짓 경보 결정 방법 | |
CN116907772A (zh) | 桥梁结构监测传感器的自诊断与故障源鉴别方法及*** | |
Li et al. | Meteorological radar fault diagnosis based on deep learning | |
Chang et al. | Real-time detection of wave profile changes | |
Luca et al. | Anomaly detection using the Poisson process limit for extremes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |