KR20200085490A - 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체 - Google Patents

Abstract

본 발명은 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체에 관한 것으로서, 더욱 상세히는 센서로부터 수집된 데이터를 신경망 모델을 통해 학습시켜 해당 신경망 모델을 통해 센서의 이상 여부를 직관적으로 판단할 수 있는 시각화된 정보를 제공하여 센서의 데이터에 대한 오류 여부 관련 라벨링 편의성 및 정확도를 높이고, 이를 통해 센서의 이상 여부을 판단할 수 있는 센서의 이상 감지를 위한 모델을 신속하고 정확하게 구축할 수 있도록 지원하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체에 관한 것이다.

Description

신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체{Service providing system and method for detecting sensor abnormality using neural network model, and non-transitory computer readable medium having computer program recorded thereon}

본 발명은 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체에 관한 것으로서, 더욱 상세히는 센서로부터 수집된 데이터를 신경망 모델을 통해 학습시켜 해당 신경망 모델을 통해 센서의 이상 여부를 직관적으로 판단할 수 있는 시각화된 정보를 제공하여 센서의 데이터에 대한 오류 여부 관련 라벨링 편의성 및 정확도를 높이고, 이를 통해 센서의 이상 여부을 판단할 수 있는 센서의 이상 감지를 위한 모델을 신속하고 정확하게 구축할 수 있도록 지원하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체에 관한 것이다.

현재 다양한 분야에서 온도, 미세먼지, 인체 감지 등과 같은 다양한 용도의 센서가 사용되고 있으며, 이러한 센서는 목적에 따라 센싱 대상에 대한 측정을 통해 데이터를 생성하여 이러한 센서의 데이터를 필요로 하는 장치나 시스템에 제공하게 되며, 해당 장치나 시스템은 센서로부터 수집된 데이터를 이용하여 사용자에게 각종 정보를 제공하거나 사용자의 편의와 관련된 각종 서비스를 제공할 수 있다.

이러한 센서에서 제공되는 데이터는 장치나 시스템의 신뢰성과 연관되므로 센서의 이상 여부에 대한 관리가 매우 중요하다.

그러나, 이러한 센서를 운영하는 센서 운영 주체는 운영사항을 데이터로 남겨두지 않는 경우가 많을 뿐만 아니라 센서의 이상 여부를 판단하기 위해 센서를 관리하는 별도의 전문 인력이 상황에 따른 분석 방법을 사용하여 불규칙하게 수작업으로 비정상 여부를 판단하므로 이상 발생 센서에 대한 신속한 대처가 어려운 문제가 있다.

최근 이러한 문제를 개선하여 센서 이상 여부에 대한 판단을 자동화하기 위한 방식이 일부 등장하고 있으나, 이러한 기존 방식 역시 일부 선별된 데이터를 이용해 센서 상태(정상 혹은 비정상)와 그때의 데이터 패턴을 분석하여 특징을 도출하한 후 도출된 특징을 센서로부터 제공되는 데이터의 패턴과 단순 비교하여 센서의 이상 여부를 판단하는 정도에 그치므로, 센서의 이상 여부 판단을 위한 기준 패턴 도출에 이용되는 데이터가 극히 한정되어 해당 기준 패턴에 대한 신뢰도를 보장하기 어려울 뿐더러 이러한 한정된 데이터를 기반으로 도출된 소수의 기준 패턴으로 비정상 센서를 구분하는데 한계가 있어 기존 방식은 센서의 이상 여부 판단에 대한 정확도 및 신뢰도가 크게 떨어지는 문제가 있다.

이를 개선하여, 최근 신경망(딥러닝) 기반 지도 학습 모델의 발전과 더불어 센서의 이상 여부를 자동 판단하도록 지도 학습 모델을 이용한 방법이 시도되고 있다.

그러나, 해당 지도 학습 모델이 센서의 이상 여부를 판단하도록 하기 위해서는 센서의 실측 데이터에 오류 여부를 라벨링한 라벨링 데이터를 지도 학습 모델에 학습시키는 과정이 필요하나 센서가 운영된 기간이 짧거나 센서의 교체가 이루어진 경우 이러한 라벨링된 데이터 뿐만 아니라 실측 데이터 역시 수집량이 지극히 작아 지도 학습 모델이 일정 수준 이상의 정확도를 가지도록 학습시키기에 충분치 않을 뿐만 아니라 학습에 충분한 라벨링 데이터를 수집하기 위해서 기존에는 해당 라벨링된 데이터를 센서의 실측 데이터를 기반으로 다수의 전문 인력이 수작업으로 생성하여야 하는데 전문 인력 각자가 서로 상이한 주관적 판단에 의해 라벨링된 데이터를 생성하므로 일관성이 떨어지며 이로 인해 지도 학습 모델의 신뢰성 및 정확도를 보장하기 어려운 문제가 있다.

한국등록특허 제10-0748699호

본 발명은 센서의 이상 감지를 위한 신경망 기반 지도 학습 모델의 학습에 필요한 센서의 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 부족한 상태에서 센서의 실측 데이터를 복수의 신경망 모델에 학습시켜 센서의 실측 데이터별로 오류 여부에 대한 결과와 오류 판정 이유에 대한 근거를 포함하는 시각화 정보를 제공하여 사용자가 이상이 발생한 센서를 객관적으로 명확하게 구분할 수 있도록 지원함과 아울러 이러한 시각화 정보를 통해 사용자 입력에 따라 센서의 오류 여부와 관련되어 신뢰성 있는 라벨링된 데이터의 수를 신속하게 증가시켜 이상 발생 센서의 검출을 위한 지도 학습 모델을 학습시키는데 필요한 라벨링 데이터를 신속하고 용이하게 확보할 수 있도록 지원함으로써, 해당 지도 학습 모델의 구축에 필요한 시간을 단축함과 아울러 라벨링 데이터의 지도 학습 모델에 대한 학습을 통해 센서 관리에 대한 편의성 및 신뢰도를 높이는데 그 목적이 있다.

본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법은, 데이터 수집부가 센서로부터 실측 데이터를 수집하고, 수집된 실측 데이터 중 미리 설정된 조건에 따라 비정상 데이터를 필터링하여 제외하는 수집 단계와, 라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 데이터 분석부가 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하는 출력 단계 및 상기 데이터 분석부가 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 라벨링 단계를 포함할 수 있다.

본 발명과 관련된 일 예로서, 상기 비지도 학습 모델은 LSTM이며, 상기 생성 모델은 GAN, AnoGAN 또는 VAE인 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 수집 단계는 상기 데이터 수집부가 데이터 클러스터링을 통해 생성된 군집을 기준으로 비정상 데이터를 필터링하는 클러스터링 검사, 물리 한계 검사, 단계 검사, 지속성 검사 및 중앙값 필터 검사 중 적어도 하나를 통해 상기 센서로부터 수신되는 실측 데이터 중 비정상 데이터를 필터링하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 수집 단계는 상기 데이터 수집부가 상기 비정상 데이터 관련 필터링 정보를 생성하여 제공하는 단계 및 상기 출력 단계는 상기 데이터 분석부가 상기 데이터 수집부로부터 제공되는 필터링 정보를 상기 시각화 정보에 포함시켜 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 출력 단계는 상기 데이터 분석부가 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시키는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 라벨링 단계는 상기 데이터 수집부에 의해 수집되어 누적 저장된 실측 데이터를 대상으로 상기 데이터 분석부가 상기 오류 확인 정보를 기초로 오류로 확인된 실측 데이터를 오류 데이터로 라벨링하여 저장하고, 상기 오류 데이터 이외의 상기 실측 데이터를 정상 데이터로 라벨링하여 저장하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법은 신경망 모델인 지도 학습 모델이 구성된 지도 학습부가 상기 오류 데이터 및 정상 데이터 중 어느 하나로 라벨링된 실측 데이터를 포함하는 라벨링 데이터를 상기 지도 학습 모델을 통해 학습하여 상기 센서의 이상 여부에 대한 분석 정보를 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 지도 학습부에 구성된 지도 학습 모델은 덴스넷(DenseNet)인 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 서비스 제공 장치의 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법은, 서비스 제공 장치가 센서로부터 실측 데이터를 수집하고, 미리 설정된 조건에 따른 오류 데이터를 필터링하는 단계와, 라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 서비스 제공 장치가 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하는 단계 및 서비스 제공 장치가 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 컴퓨터로 읽을 수 있는 비휘발성 기록매체에는 상술한 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법을 수행하도록 컴퓨터를 기능시키기 위한 컴퓨터 프로그램이 기록될 수 있다.

본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템은, 센서로부터 데이터를 수집하고, 미리 설정된 조건에 따라 오류 데이터를 필터링하는 데이터 수집부 및 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하며, 라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하고, 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 데이터 분석부를 포함할 수 있다.

본 발명은 센서의 교체가 이루어지거나 센서의 최초 동작 시점부터 경과된 시간이 오래 되지 않아 센서로부터 제공된 실측 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 충분히 수집되지 않은 상태여서 센서의 비정상 여부를 판정하기 위한 신경망 기반 지도 학습 모델을 학습시키 어려운 상황에서 센서에서 제공되는 실측 데이터에 대한 오류 여부를 사용자가 용이하게 판단할 수 있는 오류 근거가 포함된 시각화 정보를 제공하여 사용자의 오류 판정에 따른 센서의 실측 데이터에 대한 오류 여부 관련 라벨링을 통해 객관적 신뢰성이 있는 라벨링 데이터를 용이하고 신속하게 수집함으로써 지도 학습 모델의 센서 이상 여부 판단에 필요한 다수의 라벨링 데이터를 용이하고 신속하게 확보할 수 있도록 지원하고, 이를 통해 해당 라벨링 데이터를 기반으로 센서의 비정상 여부를 판단하는 지도 학습 모델을 학습시켜 지도 학습 모델의 비정상 센서에 대한 식별 정확도를 높일 수 있도록 지원함으로써 비정상 센서를 구분하기 위한 신경망 기반 지도 학습 모델을 신속하게 구축할 수 있도록 지원함과 아울러 이러한 지도 학습 모델을 통해 비정상 센서의 식별에 대한 편의성 및 정확도를 높일 수 있는 효과가 있다.

또한, 본 발명은 라벨링 데이터의 학습을 통해 센서의 이상 여부를 판정하는 지도 학습 모델의 판정 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 라벨링 데이터의 개수를 수집하는데 요구되는 기간을 단축시켜 지도 학습 모델의 구축 기간을 크게 단축함과 아울러 사용자의 실측 데이터에 대한 오류 판정 과정에서 근거 자료를 통해 사용자가 오류 여부를 선택할 수 있도록 지원하여 사용자의 주관을 최대한 배제한 라벨링 데이터를 수집함으로써 라벨링 데이터를 기반으로 학습하여 센서의 이상 여부를 판단하는 신경망 기반 지도 학습 모델의 센서 관련 이상 여부 판단에 대한 정확도 및 신뢰도를 크게 향상시키는 효과가 있다.

도 1은 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 상세 구성도.
도 3 및 도 4는 본 발명의 실시예에 따른 QC부의 데이터 필터링 과정을 도시한 예시도.
도 5는 본 발명의 실시예에 따른 데이터 분석부의 상세 구성도 및 상세 동작 실시예를 나타낸 도면.
도 6 및 도 7은 본 발명의 실시예에 따른 비지도 학습부의 동작 예시도.
도 8은 본 발명의 실시예에 따른 생성 모델 학습부의 동작 예시도.
도 9는 본 발명의 실시예에 따른 시각화 정보의 예시도.
도 10은 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법의 순서도.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 구성도로서, 도시된 바와 같이 데이터 수집부(100)와, 데이터 분석부(200) 및 사용자 인터페이스부(300)를 포함하여 구성될 수 있다.

이때, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템이 구현될 수도 있다.

또한, 상기 데이터 수집부(100)와, 데이터 분석부(200) 및 사용자 인터페이스부(300) 각각은 개별 서버로 구성될 수도 있으며, 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300) 상호 간 통신망을 통해 연결되어 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템을 구성할 수도 있다.

이때, 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템은 단일 서비스 제공 장치로 구성될 수 있으며, 해당 서비스 제공 장치에 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함되어 구성될 수 있다.

한편, 데이터 수집부(100)는 하나 이상의 센서와 연결되어 하나 이상의 센서 각각으로부터 센서가 생성한 실측 데이터를 수신하여 수집할 수 있다.

이때, 데이터 수집부(100)는 통신망을 통해 센서와 연결되거나 통신 선로를 통해 센서와 연결될 수도 있다.

또한, 데이터 수집부(100)는 센서의 실측 데이터를 이용하여 정보를 제공하는 외부 장치와 통신망을 통해 연결되거나 유선 연결되어 해당 센서의 실측 데이터를 외부 장치로부터 수신할 수도 있음은 물론이다.

또한, 데이터 수집부(100)는 하나 이상의 센서 각각으로부터 수신되는 실측 데이터를 수집하여 상기 데이터 분석부(200)로 제공할 수 있다.

이때, 데이터 수집부(100)는 미리 설정된 하나 이상의 조건에 따라 비정상 데이터를 필터링할 수 있으며, 이를 통해 실측 데이터 중에서 센서가 배치되는 환경이나 데이터 전송 환경에서 발생하는 요인에 의해 발생하는 비정상 데이터를 필터링할 수 있다.

한편, 데이터 분석부(200) 또는 데이터 수집부(100)는 DB(400)를 포함하여 구성될 수 있으며, 데이터 분석부(200)가 데이터 수집부(100)로부터 수신되는 실측 데이터를 해당 DB(400)에 누적 저장하거나 데이터 수집부(100)가 실측 데이터를 해당 DB(400)에 누적 저장할 수 있다.

이때, 데이터 분석부(200) 또는 데이터 수집부(100)는 비정상 데이터를 DB(400)에 저장하지 않을 수 있다.

또한, 데이터 분석부(200)는 신경망 모델(딥러닝(Deep learning) 모델)인 비지도 학습 모델과 생성 모델을 포함하여 구성될 수 있다.

이에 따라, 데이터 분석부(200)는 DB(400)에 누적 저장된 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 상기 데이터 수집부(100)로부터 수신된 센서의 실측 데이터를 비지도 학습 모델 및 생성 모델에 학습시킬 수 있으며, 상기 데이터 분석부(200)는 실측 데이터를 기반으로 센서(또는 실측 데이터)의 데이터 패턴이 학습된 비지도 학습 모델을 통해 상기 데이터 수집부(100)로부터 수신되는 실측 데이터별로 오류 여부를 출력할 수 있다.

이때, 데이터 분석부(200)는 DB(400)에 누적 저장되는 실측 데이터에 대한 오류 여부를 라벨링한 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 비지도 학습 모델 및 생성 모델을 지속적으로 학습시켜 하기에서 설명하는 동작을 통해 라벨링 데이터의 수를 신속하게 증가시킬 수 있다.

또한, 본 발명에서 설명하는 현재 개수는 누적 개수를 의미할 수 있으며, 현재 합산 용량은 누적 합산 용량을 의미할 수 있다.

또한, 데이터 분석부(200)는 실측 데이터의 학습을 통해 실측 데이터의 데이터 패턴과 유사한 유사 데이터 패턴을 생성하는(또는 학습하는) 생성 모델을 통해 해당 유사 데이터 패턴을 기초로 현재 시점 이후에 출력될 것으로 예상되는 데이터에 대한 인공 데이터(가상 데이터)인 추정 데이터를 생성하여 출력할 수 있다.

이때, 데이터 분석부(200)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터 관련 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 해당 생성 모델을 통해 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 할 수 있다.

이를 통해, 데이터 분석부(200)는 생성 모델에 생성된(학습된) 유사 데이터 패턴을 추정 데이터별 오류 여부에 따라 가변시키면서 유사 데이터 패턴에 의해 산출되는 추정 데이터와 정상 상태인 센서의 데이터 패턴에 따른 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 정상 상태의 센서에서 출력되는 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 상태인 센서의 실측 데이터에 근접한 추정 데이터가 생성 모델을 통해 지속적으로 산출되도록 할 수 있다.

즉, 데이터 분석부(200)는 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시킬 수 있다.

한편, 데이터 분석부(200)는 비지도 학습 모델을 통해 센서의 실측 데이터별 오류 여부를 생성하고, 생성 모델을 통해 출력되는 추정 데이터별로 동일 시점의 실측 데이터와의 편차를 포함하는 비교 정보를 생성할 수 있다.

또한, 데이터 분석부(200)는 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차와 상기 실측 데이터별 오류 여부를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성할 수 있다.

이때, 시각화 정보는 상기 데이터 분석부(200)에 의해 생성되는 상기 실측 데이터별 오류 여부에 대한 결과 정보와 상기 비교 정보를 포함할 수 있으며, 해당 비교 정보는 시간별 추정 데이터와, 시간별 추정 데이터와 상호 매칭되는 시간별 실측 데이터 및 추정 데이터별로 동일 시점의 실측 데이터와의 편차 등을 포함할 수 있다.

또한, 시각화 정보는 그래픽 정보로 구성될 수 있다.

즉, 데이터 분석부(200)는 비지도 학습 모델을 통해 실측 데이터의 시계열적 데이터 패턴과 미리 설정된 기준치 이상의 오차를 나타내는지에 따라 실측 데이터에 대한 오류 여부를 판단하여 데이터 수집부(100)에 의해 수집된 실측 데이터별 오류 여부를 사용자에게 시각화 정보를 통해 제공함과 아울러 생성 모델을 통해 해당 실측 데이터의 데이터 패턴과 유사 데이터 패턴을 학습하면서 정상 센서의 데이터 변화에 따른 추후 예상되는 시계열 추정 데이터를 출력하여 시점별로 실측 데이터와 이러한 생성 모델을 통해 출력되는 추정 데이터 사이의 편차 정도를 사용자가 확인할 수 있도록 해당 시각화 정보를 통해 제공할 수 있다.

다시 말해, 데이터 분석부(200)는 센서의 실측 데이터별로 오류 여부를 사용자가 판정할 수 있도록 시각화 정보를 제공할 수 있다.

상술한 구성에서, 데이터 분석부(200)는 DB(400)에 누적 저장된 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델과 생성 모델에 학습시킬 수 있으며, 상기 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 상기 시각화 정보를 생성할 수 있다.

이를 통해, 데이터 분석부(200)는 실측 데이터의 학습이 일정 수준 이상 이루어져 비지도 학습 모델과 생성 모델에 대해 일정 수준 이상의 정확도를 기대할 수 있을 만큼의 실측 데이터가 DB(400)에 수집된 경우에 시각화 정보를 제공할 수 있다.

이때, 데이터 분석부(200)는 실측 데이터의 수집 개수(수집량)에 관계 없이 시각화 정보를 생성하여 제공할 수도 있음은 물론이다.

한편, 사용자 인터페이스부(300)는 데이터 분석부(200)로부터 제공되는 시각화 정보를 표시할 수 있으며, 사용자 입력을 기초로 시각화 정보에 포함된 실측 데이터들 중에서 사용자에 의해 오류로 판정된 실측 데이터인 오류 데이터 관련 오류 확인 정보를 생성하여 데이터 분석부(200)에 제공할 수 있다.

이때, 오류 확인 정보에는 오류로 판정된 실측 데이터가 하나 이상 포함될 수 있다.

이에 따라, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 DB(400)에 저장된 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 저장할 수 있다.

이때, 데이터 분석부(200)는 실측 데이터에 오류 확인 정보에 따른 오류 여부에 대한 라벨링 관련 라벨링 정보를 포함시켜 라벨링 정보를 포함하는 실측 데이터를 라벨링 데이터로 DB(400)에 저장하거나, 오류 확인 정보를 기초로 특정 실측 데이터의 오류 여부를 라벨링하기 위한 라벨링 식별 데이터를 해당 특정 실측 데이터와 별도로 생성한 후 상기 특정 실측 데이터와 매칭하여 한 쌍으로 DB(400)에 저장할 수도 있다.

여기서, 라벨링 데이터는 상기 라벨링 식별 데이터와 매칭되는 특정 실측 데이터 및 해당 라벨링 식별 데이터를 포함할 수 있다.

또한, DB(400)에 저장되는 라벨링 데이터는 특정 실측 데이터의 라벨링(오류 데이터 또는 정상 데이터) 관련 라벨링 정보와, 해당 특정 실측 데이터를 포함하여 구성될 수 있다.

또한, 상기 데이터 수집부(100)에 의해 수집되어 DB(400)에 누적 저장된 실측 데이터를 대상으로 상기 데이터 분석부(200)는 상기 오류 확인 정보를 기초로 오류로 확인된 실측 데이터를 오류 데이터로 라벨링하여 저장하고, 상기 오류 데이터 이외의 상기 실측 데이터를 정상 데이터로 라벨링하여 저장할 수 있다.

일례로, 데이터 분석부(200)는 DB(400)에 누적 저장된 하나 이상의 실측 데이터를 대상으로 확인하여 오류 확인 정보에 따른 오류 데이터에 대응되는 실측 데이터의 생성 시점을 기준으로 이전에 생성(수집)되고 라벨링되지 않은 실측 데이터가 DB(400)에 존재하는 경우 오류 데이터인 실측 데이터의 생성 시점을 기준으로 이전에 생성된(수집된) 라벨링되지 않은 실측 데이터를 대상으로 사용자에 의해 오류로 판정되지 않은 실측 데이터를 자동으로 정상 데이터로 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 저장할 수 있으며, 이를 통해 정상인 실측 데이터에 대한 자동 라벨링을 수행할 수 있다.

한편, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성된 딥러닝(Deep Learning) 알고리즘으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.

상술한 구성을 통해, 본 발명은 센서의 교체가 이루어지거나 센서의 최초 동작 시점부터 경과된 시간이 오래 되지 않아 센서로부터 제공된 실측 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 충분히 수집되지 않은 상태여서 센서의 비정상 여부를 판정하기 위한 신경망 기반 지도 학습 모델을 학습시키 어려운 상황에서 센서에서 제공되는 실측 데이터에 대한 오류 여부를 사용자가 용이하게 판단할 수 있는 오류 근거가 포함된 시각화 정보를 제공하여 사용자의 오류 판정에 따른 센서의 실측 데이터에 대한 오류 여부 관련 라벨링을 통해 객관적 신뢰성이 있는 라벨링 데이터를 용이하고 신속하게 수집함으로써 지도 학습 모델의 센서 이상 여부 판단에 필요한 다수의 라벨링 데이터를 확보할 수 있도록 지원하고, 이를 통해 해당 라벨링 데이터를 기반으로 센서의 비정상 여부를 판단하는 지도 학습 모델을 학습시켜 지도 학습 모델의 비정상 센서에 대한 식별 정확도를 높일 수 있도록 지원함으로써 비정상 센서를 구분하기 위한 신경망 기반 지도 학습 모델을 신속하게 구축할 수 있도록 지원함과 아울러 이러한 지도 학습 모델을 통해 비정상 센서의 식별에 대한 편의성 및 정확도를 높일 수 있다.

상술한 구성을 토대로 이하 도면을 참고하여 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 상세 동작 실시예를 설명한다.

도 2는 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템의 상세 구성도이다.

이때, 상술한 바와 같이 본 발명의 실시예에 따른 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함된 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템은 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300) 각각이 개별 서버로 구성되거나 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함된 하나의 서비스 제공 장치로 구성될 수 있다.

한편, 데이터 수집부(100)는 도시된 바와 같이 QC(Quality control)부(110)와, 클러스터링(Clustering)부(120)를 포함하여 구성될 수 있다.

데이터 수집부(100)는 복수의 센서로부터 데이터를 수집하여 QC부(110) 및 클러스터링부(120)로 제공할 수 있다.

QC부(110)는 센서로부터 수신되는 데이터의 품질을 판단하기 위한 하나 이상의 조건이 미리 설정되며, 해당 조건을 만족하지 않는 데이터를 비정상 데이터로 판단하여 데이터 분석부(200)로 제공하지 않고 필터링하여 제외시킬 수 있다.

또한, 데이터 수집부(100)는 QC부(110)에 의해 제외된 비정상 데이터인 실측 데이터를 DB(400)에 저장하지 않을 수 있다.

이때, QC부(110)는 물리한계 검사, 단계 검사, 지속성 검사 및 중앙값 필터 검사 중 적어도 하나를 포함하는 조건이 미리 설정될 수 있다.

도 3 및 도 4를 통해 상기 QC부(110)의 데이터 필터링 과정을 설명하면, 우선 물리 한계 검사는 센서가 허용할 수 있는 관측값의 범위에 대한 오류 여부를 검사하는 알고리즘으로서, QC부(110)는 해당 알고리즘을 통해 실측 데이터가 미리 지정된 물리한계 범위 내에 있으면 "정상", 그 범위를 벗어나면 "비정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다.

또한, 단계 검사는 시계열 데이터의 시간변동량을 점검하는 검사로서, QC부(110)는 현재의 실측 데이터와 바로 이전의 실측 데이터 사이의 변동값이 미리 정한 문턱값(즉, 최대변동량)보다 크면 "비정상", 작으면 "정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다. 이때, QC부(110)는 문턱값으로 사용되는 값을 센서의 과거 실측 데이터 대한 통계분석을 통하여 산출할 수 있다.

또한, 지속성 검사는 풍향계가 얼거나 강우량계의 수구 막힘 등과 같이 센서의 장애가 발생하여 변화가 없는 실측 데이터를 필터링하기 위한 검사로서, QC부(110)는 센서로부터 수신되는 실측 데이터를 기초로 미리 설정된 시간 동안에 변동값을 검출하고, 변동값이 미리 설정된 최소변동량보다 작으면 "비정상", 최소변동량보다 크면 "정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다. 이때, QC부(110)는 지속성 검사에 필요한 최소변동량을 센서의 과거 관측자료 관련 과거 실측 데이터에 대한 통계분석을 통해 산출할 수 있다.

또한, 중앙값 필터 검사는 관측값(실측 데이터)의 변동이 짧은 시간 동안 매우 급격하게 일어나는 경우와 같은 임펄스 잡음에 해당하는 실측 데이터를 필터링 하기 위한 검사로서, 예를 들면, 레이더나 수직측풍장비의 경우, 바람의 시선속도값을 측정할 때 지형에코와 같은 요인에 의하여 비정상적인 값들이 산출되기도 하며 이를 필터링하기 위한 검사이다. 즉, QC부(110)는 중앙값 필터 검사를 통해 실측 데이터의 변동량을 파악하고, 해당 변동량의 짧은 시간 동안 미리 설정된 기준값 이상인 경우 해당 변동량 산출에 이용된 복수의 실측 데이터를 임펄스 잡음으로 판단하고, 임펄스 잡음으로 판단된 해당 복수의 실측 데이터를 비정상 데이터로 필터링하여 제외시킬 수 있다.

한편, 클러스터링부(120)는 미리 설정된 조건에 따라 데이터 수집부(100)를 통해 수집된 센서의 실측 데이터를 클러스터링하여 군집 분석을 통해 군집과 미리 설정된 기준거리 이상 이격되어 있는 데이터를 비정상 데이터로 필터링하여 제외시킬 수 있다.

상술한 구성을 통해, 데이터 수집부(100)는 복수의 센서로부터 수신되는 실측 데이터들 중에서 미리 설정된 하나 이상의 조건에 따라 비정상 데이터를 필터링하여 데이터 분석부(200)에 제공할 수 있다.

데이터 분석부(200)는 도 2에 도시된 바와 같이, 비지도 학습부(210) 및 생성 모델 학습부(220)를 포함하여 구성될 수 있다.

데이터 분석부(200)는 실측 데이터에 대한 오류 여부를 라벨링하여 생성되는 DB(400)에 누적 저장된 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 데이터 수집부(100)로부터 센서의 실측 데이터를 수신하며, 해당 센서의 실측 데이터를 비지도 학습부(210) 및 생성 모델 학습부(220)에 제공할 수 있다.

비지도 학습부(210)는 신경망 모델인 비지도 학습 모델을 포함하여 구성되며, 비지도 학습부(210)는 센서의 실측 데이터를 비지도 학습 모델에 학습시켜 센서의 시계열 데이터 패턴이 학습되도록 할 수 있다.

또한, 비지도 학습부(210)는 센서의 시계열 데이터 패턴이 학습된 비지도 학습 모델을 통해 센서의 실측 데이터별로 오류 여부를 출력할 수 있다.

일례로, 비지도 학습부(210)는 시계열 데이터 패턴이 학습된 비지도 학습 모델을 통해 데이터 패턴의 시계열 범위와 실측 데이터 사이의 차이(편차)에 따라 실측 데이터별 오류 여부에 대한 결과 정보를 출력할 수 있다.

또한, 생성 모델 학습부(220)는 신경망 모델인 생성 모델을 포함하여 구성될 수 있으며, 생성 모델 학습부(220)는 센서의 실측 데이터를 생성 모델에 학습시켜 센서의 시계열 데이터 패턴과 유사한 유사 데이터 패턴이 생성되도록 학습시킬 수 있다.

이를 통해, 생성 모델 학습부(220)는 센서의 시계열 데이터 패턴과 유사한 유사 데이터 패턴이 생성된(학습된) 생성 모델을 통해 현재 시점을 기준으로 다음 시점의 실측 데이터에 대응되며 센서의 데이터 패턴과 유사한 유사 데이터 패턴에 기반하여 다음 시점에 예상되는 데이터인 추정 데이터를 생성하여 출력할 수 있다.

상술한 구성에 따라, 데이터 분석부(200)는 비지도 학습부(210)를 통해 제공되는 실측 데이터별 오류 여부를 포함하고, 생성 모델을 통해 제공되는 시계열 추정 데이터를 동일시점의 실측 데이터와 비교한 비교 정보를 포함하는 시각화 정보를 센서에 대응되어 생성할 수 있으며, 해당 시각화 정보를 사용자 인터페이스부(300)에 제공할 수 있다.

또한, 사용자 인터페이스부(300)는 디스플레이부(310)와, 인터페이스 제어부(320) 및 입력부(330)를 포함하여 구성될 수 있다.

사용자 인터페이스부(300)에 구성된 인터페이스 제어부(320)는 디스플레이부(310)와 입력부(330)를 제어하도록 구성되며, 사용자 인터페이스부(300)는 사용자 단말로서 구성될 수도 있다.

이때, 사용자 인터페이스부(300)는 데이터 분석부(200)와 통신하거나 상호 인터페이스하기 위한 통신부가 구성될 수 있으며, 해당 통신부를 통해 사용자 인터페이스부(300)의 인터페이스 제어부(320)가 데이터 분석부(200)와 상호 통신할 수 있다.

또한, 사용자 단말은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, 텔레비전(Television), 3D 텔레비전, 홈 시어터(Home Theater) 시스템, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기를 포함할 수 있다.

한편, 사용자 인터페이스부(300)의 인터페이스 제어부(320)는 데이터 분석부(200)로부터 시각화 정보를 수신하여 디스플레이부(310)를 통해 표시할 수 있다.

또한, 인터페이스 제어부(320)는 사용자 입력을 수신하며 사용자 인터페이스부(300)에 구성된 입력부(330)를 통한 사용자 입력을 기초로 디스플레이부(310)에 표시된 시각화 정보에 포함되는 하나 이상의 실측 데이터 중 오류가 발생한 데이터를 오류 데이터로 선택한 오류 확인 정보를 생성할 수 있다.

이때, 오류 확인 정보에는 오류가 발생한 오류 데이터로 사용자에 의해 선택된 하나 이상의 실측 데이터가 포함될 수 있다.

또한, 인터페이스 제어부(320)는 사용자 인터페이스부(300)를 통해 오류 확인 정보를 데이터 분석부(200)에 제공할 수 있다.

이에 따라, 데이터 분석부(200)는 사용자 인터페이스부(300)로부터 수신되는 오류 확인 정보를 기초로 센서로부터 수집되어 DB(400)에 저장된 실측 데이터별로 라벨링을 수행하여 DB(400)에 저장할 수 있다.

일례로, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 저장할 수 있다.

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 하나 이상의 실측 데이터를 대상으로 확인하여 오류 확인 정보에 따른 오류 데이터에 대응되는 실측 데이터의 생성 시점을 기준으로 이전에 생성(수집)되고 라벨링되지 않은 실측 데이터가 DB(400)에 존재하는 경우 오류 데이터인 실측 데이터의 생성 시점을 기준으로 이전에 생성된(수집된) 라벨링되지 않은 실측 데이터를 대상으로 사용자에 의해 오류로 판정되지 않은 실측 데이터를 자동으로 정상 데이터로 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 저장할 수 있으며, 이를 통해 정상인 실측 데이터에 대한 자동 라벨링을 수행할 수 있다.

상술한 구성을 통해, 본 발명은 센서가 교체되거나 센서 운영 기간이 충분치 않아(오래 되지 않아) 센서의 이상 여부를 신경망 기반 지도 학습 모델을 통해 판단하도록 하기 위해 지도 학습 모델에 학습시키기 위한 오류 여부가 라벨링된 센서의 데이터가 부족한 상태에서 센서로부터 수신되는 실측 데이터를 별도의 복수 신경망에 학습시켜 센서의 데이터 패턴에 기반하여 실측 데이터에 대한 오류 판정 결과와 더불어 정상 상태의 센서 관련 유사 데이터 패턴을 기반으로 시점별로 추정한 데이터와 실측 데이터 사이의 비교를 통해 실측 데이터의 오류 판정에 대한 근거 자료를 포함하는 시각화 정보를 사용자에게 제공하여 사용자가 오류 데이터를 신속하고 정확하게 라벨링할 수 있도록 지원할 수 있다.

이를 통해, 본 발명은 라벨링 데이터의 학습을 통해 센서의 오류 여부를 판정하는 지도 학습 모델의 판정 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 라벨링 데이터의 개수를 수집하는데 요구되는 기간을 단축시켜 지도 학습 모델의 구축 기간을 크게 단축함과 아울러 사용자의 실측 데이터에 대한 오류 판정 과정에서 근거 자료를 통해 사용자가 오류 여부를 선택할 수 있도록 지원하여 사용자의 주관을 최대한 배제한 라벨링 데이터를 수집함으로써 라벨링 데이터를 기반으로 학습하여 센서의 이상 여부를 판단하는 신경망 기반 지도 학습 모델의 센서 관련 이상 여부 판단에 대한 정확도 및 신뢰도를 크게 향상시킬 수 있다.

도 5는 본 발명의 실시예에 따른 데이터 분석부(200)의 상세 구성도 및 상세 동작 실시예를 나타낸 도면이다.

도시된 바와 같이, 데이터 분석부(200)는 상술한 비지도 학습부(210)와 생성 모델 학습부(220)를 포함하고, 데이터 누적부(250) 및 라벨 데이터 생성부(260)를 더 포함하여 구성될 수 있다.

또한, 데이터 분석부(200)에 구성된 데이터 누적부(250)가 데이터 분석부(200)의 전반적인 제어 기능을 수행하는 제어 모듈로서 구성될 수 있으나, 이에 한정되지 않고 데이터 분석부(200)에 구성된 다른 구성부가 제어 모듈로서 구성될 수도 있다. 본 발명에서 설명하는 데이터 분석부(200)의 기능은 데이터 누적부(250)에 의해 수행되는 것으로 설명될 수 있다.

또한, 데이터 누적부(250)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 상태에서 비지도 학습부(210)의 비지도 학습 모델과 생성 모델 학습부(220)의 생성 모델에 DB(400)에 누적 저장된 실측 데이터를 제공하여 비지도 학습 모델 및 생성 모델이 학습되도록 할 수 있다.

또한, 비지도 학습부(210)는 신경망 모델인 비지도 학습 모델을 포함하여 구성되며, 해당 비지도 학습 모델은 LSTM(Long Short Term Memory) 기반 모델로 구성될 수 있다.

도 6 및 도 7을 참고하여 비지도 학습 모델의 상세 동작 구성을 설명하면, 도시된 바와 같이 LSTM으로 구성된 비지도 학습 모델은 센서의 실측 데이터와 같이 시계열 데이터를 모델링하는데 적합한 딥러닝 모델 구조로서, 과거 t-1, t-2,..., t-n시점의 데이터를 이용하여 센서의 시계열 데이터 패턴을 학습하도록 구성된다.

또한, 비지도 학습 모델은 일반적인 시계열 데이터의 패턴을 학습하여 과거 t-1, t-2,..,t-n시점의 데이터를 이용해 t 시점의 기준 데이터를 산출할 수 있다.

이에 따라, 비지도 학습 모델은 LSTM 기반으로 산출한 t 시점의 기준 데이터와 해당 t 시점의 센서로부터 제공된 실측 데이터 사이의 편차(residual error)를 산출하여 해당 편차가 데이터 패턴에 따른 제 3 기준치 이상인 경우 실측 데이터를 오류 데이터로 판정하고, 제 3 기준치 이하인 경우 실측 데이터를 정상 데이터로 판정할 수 있다.

즉, 도 7에 도시된 바와 같이 비지도 학습부(210)는 편차(residual error)를 이용해 예외점(anomaly point)이 발생한 실측 데이터를 오류 데이터로 판정하는 LSTM 기반의 비지도 학습 모델을 통해 실측 데이터의 오류 여부에 대한 결과 정보를 출력할 수 있다.

한편, 생성 모델 학습부(220)는 신경망 모델인 생성 모델을 포함하여 구성될 수 있으며, 해당 생성 모델은 GAN(Generative Adversarial Network), VAE(Variational Auto-Encoder) 및 AnoGAN(Anomaly detection with GAN) 중 어느 하나를 기반으로 하는 신경망 모델로 구성될 수 있다.

생성 모델은 데이터가 생성되는 과정을 확률분포 형태로 학습하는 모델로서, 입력 데이터의 패턴을 학습하여 이와 유사한 패턴을 가진 새로운 데이터를 생성할 수 있는 모델이다.

즉, 생성 모델은 실측 데이터의 학습을 통해 센서의 데이터 패턴을 학습하며, 이를 통해 센서의 데이터 패턴과 유사한 유사 데이터 패턴을 산출하고 이를 기반으로 미래 시점의 센서 관련 데이터를 인공적으로 생성할 수 있으며, 이러한 인공적으로 생성한 센서 관련 데이터를 추정 데이터로 생성할 수 있다.

이때, 생성 모델 학습부(220)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터의 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 생성 모델을 통해 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 하여 추정 데이터와 정상 센서에서 제공되는 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 정상 센서에서 제공되는 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 센서의 데이터 패턴과 차이가 미미한 추정 데이터 기반 데이터 패턴이 학습된 생성 모델을 통해 지속적으로 정상 센서의 시계열 실측 데이터에 근접한 시계열 추정 데이터가 산출되도록 할 수 있다.

이에 따라, 생성 모델 학습부(220)는 생성 모델이 생성하는 추정 데이터와 데이터 수집부(100)로부터 제공되는 실측 데이터를 상호 비교한 비교 정보를 생성할 수 있다.

이때, 생성 모델 학습부(220)는 도 8(a)에 도시된 바와 같이 정상 센서에 대해서 시계열 추정 데이터 관련 추정값들의 제 1 변화 패턴과 센서의 실측 데이터 관련 실제 측정값들의 제 2 변화 패턴이 거의 유사한 비교 정보를 출력할 수 있으며, 도 8(b)에 도시된 바와 같이 비정상 센서에 대해서는 제 1 변화 패턴과 제 2 변화 패턴이 서로 상이한 비교 정보를 출력할 수 있다.

또한, 생성 모델 학습부(220)는 제 1 변화 패턴과 제 2 변화 패턴 간의 차이를 이상 징후 점수로 정량화하여 비교 정보에 포함시킬 수 있으며, 비정상 상태일 가능성이 클수록 높은 이상 징후 점수를 산출할 수 있다.

한편, 데이터 누적부(250)는 상술한 바와 같이 비지도 학습부(210)가 생성한 결과 정보와 생성 모델 학습부(220)가 생성한 비교 정보를 포함하는 시각화 정보를 생성하여 사용자 인터페이스부(300)로 제공할 수 있다.

이에 대한 일례를 도 9를 참조하여 설명하면, 데이터 누적부(250)는 비지도 학습 모델(LSTM)을 통해 산출된 결과 정보와 생성 모델(AnoGAN)을 통해 산출된 비교 정보를 포함하는 시각화 정보를 사용자 인터페이스부(300)에 제공하여 사용자 인터페이스부(300)를 통해 해당 시각화 정보가 표시되도록 할 수 있다.

또한, 데이터 수집부(100)는 QC부(110) 및 클러스터링부(120)를 통해 센서로부터 수신되는 실측 데이터 중에서 비정상 데이터로 판정되어 필터링된 실측 데이터와 관련된 필터링 정보를 생성할 수 있으며, 이를 데이터 분석부(200)로 제공할 수 있다.

이때, 데이터 수집부(100)는 미리 설정된 룰(Rule) 기반으로 센서로부터 수신되는 다수의 실측 데이터 중 비정상 데이터를 필터링하거나 수집율 분석을 통해 다수의 실측 데이터 중 비정상 데이터를 필터링하여 이에 대한 정보를 상술한 필터링 정보에 포함시킬 수도 있다.

또한, 데이터 누적부(250)는 데이터 수집부(100)로부터 실측 데이터와 함께 제공되는 필터링 정보를 시각화 정보에 포함시켜 사용자 인터페이스부(300)에 제공할 수 있으며, 이를 통해 비정상 데이터로 판정된 실측 데이터의 필터링 이유를 시각적으로 확인가능하도록 제공할 수 있다.

또한, 데이터 누적부(250)는 사용자 인터페이스부(300)로부터 시각화 정보를 기초로 사용자가 오류 데이터로 선택한 하나 이상의 실측 데이터를 포함하는 오류 확인 정보를 수신할 수 있다.

한편, 데이터 누적부(250)는 데이터 수집부(100)로부터 실측 데이터를 수신하여 해당 실측 데이터를 비지도 학습부(210)와 생성 모델 학습부(220)에 제공하여 학습시킬 수 있으며, 해당 실측 데이터를 DB(400)에 누적 저장할 수 있다.

상술한 구성에서, 데이터 누적부(250)는 데이터 분석부(200)에 포함된 비지도 학습부(210)와 생성 모델 학습부(220)가 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델 및 생성 모델에 학습만 시키도록 동작시킬 수 있으며, DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 비지도 학습 모델 및 생성 모델을 통해 상기 시각화 정보를 생성하도록 제어할 수 있다.

또한, 해당 시각화 정보는 비지도 학습부(210), 생성 모델 학습부(220) 또는 데이터 누적부(250)에 의해 생성될 수 있으며, 비지도 학습부(210), 생성 모델 학습부(220) 및 데이터 누적부(250) 중 어느 하나가 데이터 분석부(200)에 구성되는 다른 구성부를 제어하도록 동작할 수 있으나, 데이터 누적부(250)가 데이터 분석부(200)의 모든 구성부를 제어하는 것으로 설명한다.

또한, 데이터 누적부(250)는 데이터 분석부(200)에 의해 사용자 인터페이스부(300)에 제공된 시각화 정보에 대응되어 사용자 인터페이스부(300)로부터 수신되는 오류 확인 정보를 데이터 분석부(200)에 포함된 라벨 데이터 생성부(260)에 제공할 수 있다.

이에 따라, 라벨 데이터 생성부(260)는 DB(400)에 저장된 복수의 실측 데이터를 대상으로 오류 확인 정보에 따라 오류로 판정된 실측 데이터를 오류 데이터로 라벨링할 수 있다.

또한, 라벨 데이터 생성부(260)는 DB(400)에 저장된 실측 데이터들 중 오류 데이터로 라벨링된 실측 데이터의 생성 시점 이전에 생성된 오류 데이터로 라벨링되지 않은 실측 데이터를 정상 데이터로 자동 라벨링할 수 있으며, 이와 같은 실측 데이터의 자동 라벨링을 통해 오류 데이터 또는 정상 데이터로 라벨링된 실측 데이터(또는 라벨링 데이터)의 수를 크게 증가시킬 수 있다.

한편, 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템은 지도 학습부(500)를 더 포함하여 구성될 수 있다.

지도 학습부(500)는 별도의 신경망 모델인 지도 학습 모델을 포함하여 구성될 수 있으며, 지도 학습부(500)에 구성된 지도 학습 모델은 DenseNet으로 구성될 수 있다.

이에 따라, 지도 학습부(500)는 DB(400)에 저장된 라벨링 데이터를 지도 학습부(500)에 포함된 지도 학습 모델에 학습시켜 정상 센서의 데이터 패턴과 비정상 센서의 데이터 패턴 또는 센서의 데이터 패턴을 학습할 수 있으며, 이를 통해 지도 학습부(500)는 데이터 수집부(100)를 통해 특정 센서에 대응되어 수집되는 다수의 시계열 실측 데이터를 데이터 수집부(100)로부터 수신하거나 DB(400)로부터 추출하여 수신하고, 시계열 실측 데이터를 기반으로 생성한 특정 센서의 데이터 패턴을 미리 학습된 정상 센서 및 비정상 센서 각각의 데이터 패턴 또는 미리 학습된 센서의 데이터 패턴과 상호 비교하여 해당 특정 센서의 정상 또는 비정상을 판단하고, 이에 따른 특정 센서의 이상 여부에 대한 분석 정보를 제공할 수 있다.

상술한 바와 같이, 본 발명은 센서의 이상 여부를 판단하는 신경망 모델의 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 개수만큼의 라벨링 데이터를 용이하고 신속하게 수집하여 센서의 이상 여부를 판단하는 신경망 모델의 구축 용이성 및 편의성을 보장할 수 있다.

도 10은 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법에 대한 순서도이다.

도시된 바와 같이, 데이터 수집부(100)는 하나 이상의 센서와 연결되어 하나 이상의 센서 각각으로부터 센서가 생성한 실측 데이터를 수신하여 수집할 수 있다(S1).

이때, 데이터 수집부(100)는 통신망을 통해 센서와 연결되거나 통신 선로를 통해 센서와 연결될 수도 있다.

또한, 데이터 수집부(100)는 센서의 실측 데이터를 이용하여 정보를 제공하는 외부 장치와 통신망을 통해 연결되거나 유선 연결되어 해당 센서의 실측 데이터를 외부 장치로부터 수신할 수도 있음은 물론이다.

또한, 데이터 수집부(100)는 하나 이상의 센서 각각으로부터 수신되는 실측 데이터를 수집하여 상기 데이터 분석부(200)로 제공할 수 있다.

이때, 데이터 수집부(100)는 미리 설정된 조건에 따라 비정상 데이터를 필터링할 수 있으며, 이를 통해 센서가 배치되는 환경이나 데이터 전송 환경에서 발생하는 요인에 의해 발생하는 비정상 데이터를 필터링할 수 있다.

한편, 데이터 분석부(200)는 DB(400)를 포함하여 구성될 수 있으며, 데이터 수집부(100)로부터 수신되는 데이터를 센서별로 해당 DB(400)에 저장할 수 있다.

또한, 데이터 분석부(200)는 신경망 모델(딥러닝(Deep learning) 모델)인 비지도 학습 모델과 생성 모델을 포함하여 구성될 수 있다.

이에 따라, 데이터 분석부(200)는 DB(400)에 누적 저장되는 실측 데이터에 대한 오류 여부를 라벨링한 모든 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)를 확인하여 해당 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우(S2) 상기 데이터 분석부(200)에 포함된 비지도 학습 모델과 생성 모델을 지속적으로 학습시킬 수 있다(S3, S4).

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우(S2) 상기 데이터 분석부(200)는 실측 데이터 수신시마다 센서의 데이터 패턴이 학습된 비지도 학습 모델에 실측 데이터를 적용하여 상기 데이터 수집부(100)로부터 수신되는 실측 데이터별 오류 여부가 포함된 결과 정보를 비지도 학습 모델을 통해 출력(생성)할 수 있다(S5).

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우(S2) 실측 데이터의 학습을 통해 실측 데이터의 데이터 패턴과 유사한 유사 데이터 패턴을 생성하는 생성 모델을 통해 해당 유사 데이터 패턴을 기초로 현재 시점 이후에 출력될 것으로 예상되는 데이터에 대한 인공 데이터(가상 데이터)인 추정 데이터를 생성하여 출력할 수 있다(S6).

이때, 데이터 분석부(200)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터의 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 하여 추정 데이터와 정상 센서에 의해 생성된 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 센서에 의해 생성된 실측 데이터에 근접한 추정 데이터가 생성 모델을 통해 지속적으로 산출되도록 할 수 있다.

즉, 데이터 분석부(200)는 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시킬 수 있다.

한편, 데이터 분석부(200)는 비지도 학습 모델을 통해 센서의 실측 데이터별 오류 여부를 생성하고, 생성 모델을 통해 출력되는 추정 데이터별로 동일 시점의 실측 데이터와의 편차를 포함하는 비교 정보를 생성할 수 있다.

또한, 데이터 분석부(200)는 상기 결과 정보 및 비교 정보를 기초로 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차 및 상기 실측 데이터별 오류 여부를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 사용자 인터페이스부(300)에 제공할 수 있다(S7).

이때, 시각화 정보는 상기 데이터 분석부(200)에 의해 생성되는 상기 실측 데이터별 오류 여부에 대한 결과 정보와 상기 비교 정보를 포함할 수 있으며, 해당 비교 정보는 시간별 추정 데이터와, 시간별 추정 데이터와 상호 매칭되는 시간별 실측 데이터 및 추정 데이터별로 동일 시점의 실측 데이터와의 편차 등을 포함할 수 있다.

또한, 시각화 정보는 그래픽 정보로 구성될 수 있다.

즉, 데이터 분석부(200)는 비지도 학습 모델을 통해 실측 데이터의 시계열적 데이터 패턴과 미리 설정된 기준치 이상의 오차를 나타내는 실측 데이터에 대한 오류 여부를 사용자에게 시각화 정보를 통해 제공함과 아울러 생성 모델을 통해 해당 실측 데이터의 데이터 패턴과 유사 데이터 패턴을 학습하여 추후 예상되는 정상 센서의 데이터 변화에 대한 시계열 추정 데이터를 출력하여 시점별로 실측 데이터가 이러한 생성 모델을 통해 출력되는 추정 데이터와의 편차 정도를 사용자가 확인할 수 있도록 해당 시각화 정보를 통해 제공할 수 있다.

다시 말해, 데이터 분석부(200)는 센서의 실측 데이터별로 오류 여부를 사용자가 판정할 수 있도록 시각화 정보를 제공할 수 있다.

상술한 구성에서, 데이터 분석부(200)는 DB(400)에 저장된 모든 실측 데이터의 개수(또는 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델과 생성 모델에 학습시킬 수 있으며, 상기 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 상기 시각화 정보를 생성할 수 있다.

한편, 사용자 인터페이스부(300)는 데이터 분석부(200)로부터 제공되는 시각화 정보를 표시할 수 있으며, 사용자 입력을 기초로 시각화 정보에 포함된 실측 데이터들 중에서 사용자에 의해 오류로 판정된 실측 데이터인 오류 데이터 관련 오류 확인 정보를 생성하여 데이터 분석부(200)에 제공할 수 있다(S8).

이에 따라, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 저장할 수 있다(S9).

이때, 데이터 분석부(200)는 실측 데이터에 오류 확인 정보에 따른 오류 여부에 대한 라벨링 관련 라벨링 정보를 포함시켜 라벨링 정보를 포함하는 실측 데이터를 라벨링 데이터로 DB(400)에 저장하거나, 특정 실측 데이터의 오류 여부를 라벨링하기 위한 라벨링 식별 데이터를 해당 특정 실측 데이터와 별도로 생성한 후 상기 특정 실측 데이터와 매칭하여 한 쌍으로 DB(400)에 저장할 수도 있다.

여기서, 라벨링 데이터는 상기 라벨링 식별 데이터와 매칭되는 특정 실측 데이터 및 해당 라벨링 식별 데이터를 포함할 수 있다.

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 하나 이상의 실측 데이터를 대상으로 확인하여 오류 확인 정보에 따른 오류 데이터에 대응되는 실측 데이터의 생성 시점을 기준으로 이전에 생성(수집)되고 라벨링되지 않은 실측 데이터가 DB(400)에 존재하는 경우 오류 데이터인 실측 데이터의 생성 시점을 기준으로 이전에 생성된(수집된) 라벨링되지 않은 실측 데이터를 대상으로 사용자에 의해 오류로 판정되지 않은 실측 데이터를 자동으로 정상 데이터로 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 저장할 수 있으며, 이를 통해 정상인 실측 데이터에 대한 자동 라벨링을 수행할 수 있다.

상술한 바와 같이, 본 발명은 센서의 이상 감지를 위한 신경망 기반 지도 학습 모델의 학습에 필요한 센서의 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 부족한 상태에서 센서의 실측 데이터를 복수의 신경망 모델 비지도 학습 방식으로 학습시켜 센서의 실측 데이터별로 오류 여부에 대한 결과와 오류 판정 이유에 대한 근거를 포함하는 시각화 정보를 제공하여 사용자가 이상이 발생한 센서를 객관적으로 명확하게 구분할 수 있도록 지원함과 아울러 이러한 시각화 정보를 통해 사용자 입력에 따라 센서의 오류 여부 관련되어 신뢰성 있는 라벨링된 데이터의 수를 신속하게 증가시켜 이상 발생 센서의 검출을 위한 지도 학습 모델을 학습시키는데 필요한 라벨링 데이터를 신속하고 용이하게 확보할 수 있도록 지원함으로써, 해당 지도 학습 모델의 구축에 필요한 시간을 단축함과 아울러 라벨링 데이터의 지도 학습 모델에 대한 학습을 통해 센서 관리에 대한 편의성 및 신뢰도를 높일 수 있다.

한편, 상술한 구성에서 사용자 인터페이스부(300)가 사용자 단말로서 구성되는 경우 해당 사용자 단말은 입력부(330), 통신부, 저장부, 표시부, 음성 출력부 및 제어부로 구성된다. 사용자 단말의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 사용자 단말의 구성 요소보다 많은 구성 요소에 의해 사용자 단말이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 사용자 단말이 구현될 수도 있다.

이때, 표시부는 디스플레이부(310)로 구성될 수 있으며, 제어부는 인터페이스 제어부(320)로 구성될 수 있다.

통신부는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 외부의 임의의 단말기는 데이터 분석부(200) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 통신부는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 통신부는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.

또한, 통신부는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), 5G 이동통신 서비스 등에 따라 구축된 이동 통신망 상에서 외부 장치와 무선 신호를 송수신한다.

또한, 통신부는 제어부의 제어에 의해, 데이터 분석부(200)로부터 전송되는 각종 정보를 수신한다.

저장부는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.

또한, 저장부는 사용자 단말이 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

즉, 저장부는 사용자 단말에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션), 사용자 단말의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서비스 제공 장치로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 사용자 단말의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 사용자 단말 상에 존재할 수 있다. 한편, 응용 프로그램은 저장부에 저장되고, 사용자 단말에 설치되어, 제어부에 의하여 사용자 단말의 동작(또는 기능)을 수행하도록 구동될 수 있다.

또한, 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 사용자 단말은 인터넷(internet)상에서 저장부의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 웹 스토리지와 관련되어 동작할 수도 있다.

또한, 저장부는 제어부의 제어에 의해 통신부를 통해 수신된 해당 인터페이스 관련 정보, 웹 페이지 관련 정보, 컨텐츠 또는 결제 정보를 저장할 수 있다.

표시부는 제어부의 제어에 의해 저장부에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 표시부에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 표시부는 터치 스크린 일 수 있다.

또한, 표시부는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.

또한, 표시부는 입체영상을 표시하는 입체 디스플레이부(310)로서 구성될 수 있다.

입체 디스플레이부(310)에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.

음성 출력부는 제어부에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 음성 출력부에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

또한, 음성 출력부는 제어부에 의해 생성된 안내 음성을 출력한다.

또한, 음성 출력부는 제어부의 제어에 의해 통신부를 통해 수신된 정보에 대응하는 음성 정보를 출력할 수 있다.

제어부는 사용자 단말의 전반적인 제어 기능을 실행한다.

또한, 제어부는 저장부에 저장된 프로그램 및 데이터를 이용하여 사용자 단말의 전반적인 제어 기능을 실행한다. 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부에 액세스하여, 저장부에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

또한, 사용자 단말은 해당 사용자 단말에 연결되는 모든 외부기기와의 인터페이스 역할을 수행하는 인터페이스부를 더 포함할 수도 있다. 예를 들면, 인터페이스부는 유/무선 헤드셋 포트(Headset Port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(Memory Card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등으로 구성될 수 있다. 여기서, 식별 모듈은 사용자 단말의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identity Module: UIM), 가입자 인증 모듈(Subscriber Identity Module: SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module: USIM) 등을 포함할 수 있다. 또한, 식별 모듈이 구비된 장치는 스마트 카드(Smart Card) 형식으로 제작될 수 있다. 따라서, 식별 모듈은 포트를 통하여 사용자 단말과 연결될 수 있다. 이와 같은 인터페이스부는 외부 기기로부터 데이터를 수신하거나 전원을 수신하여 사용자 단말 내부의 각 구성 요소에 전달하거나 사용자 단말 내부의 데이터가 외부 기기로 전송되도록 한다.

또한, 인터페이스부는 사용자 단말이 외부 크래들(Cradle)과 연결될 때 크래들로부터의 전원이 해당 사용자 단말에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 해당 사용자 단말로 전달되는 통로가 될 수 있다. 크래들로부터 입력되는 각종 명령 신호 또는 해당 전원은 사용자 단말이 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

또한, 사용자 단말은 사용자에 의한 버튼 조작 또는 임의의 기능 선택에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신하기 위한 입력부(330)를 더 포함할 수도 있다.

입력부(330)는 사용자의 명령, 선택, 데이터, 정보 중에서 적어도 하나를 입력 받기 위한 수단으로서, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다.

또한, 입력부(330)는 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치 스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen) 등의 다양한 장치가 사용될 수 있다. 특히, 표시부가 터치스크린 형태로 형성된 경우, 입력의 기능 중 일부 또는 전부는 표시부를 통해 수행될 수 있다.

또한, 사용자 단말의 각각의 구성부(또는 모듈)는 사용자 단말의 메모리(또는 저장부) 상에 저장되는 소프트웨어일 수 있다. 메모리는 사용자 단말의 내부 메모리 일 수 있으며, 외장형 메모리 또는 다른 형태의 저장 장치일 수 있다. 또한, 메모리는 비휘발성 메모리일 수 있다. 메모리 상에 저장되는 소프트웨어는 실행 시 사용자 단말로 하여금 특정 동작을 수행하도록 하는 명령어 세트를 포함할 수 있다.

이상에서 설명된 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.

또한, 실시예들에서 설명된 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

이해의 편의를 위하여, 구성요소는 각각 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.

예를 들어, 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치를 원하는 대로 동작하도록 하거나 독립적으로 또는 결합적으로(collectively) 명령할 수 있다.

소프트웨어 및/또는 데이터는, 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치에 의하여 해석되거나 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.

소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

상술한 실시예에서 설명한 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 브라우저와 어플리케이션 상호 간 사용자 매칭을 위한 서비스 제공 방법을 수행하도록 기능시키기 위한 프로그램(컴퓨터 프로그램)이 기록된 컴퓨터로 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법을 구현할 수 있다.

정보저장매체는 자기 기록매체, 광 기록매체를 포함한다. 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법을 구현하는 컴퓨터 프로그램은 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치 등에 장착될 수도 있다.

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 데이터 수집부 110: QC부
120: 클러스터링부 200: 데이터 분석부
210: 비지도 학습부 220: 생성 모델 학습부
250: 데이터 누적부 260: 라벨 데이터 생성부
300: 사용자 인터페이스부 310: 디스플레이부
320: 인터페이스 제어부 330: 입력부
400: DB 500: 지도 학습부

Claims (11)

1. 데이터 수집부가 센서로부터 실측 데이터를 수집하고, 수집된 실측 데이터 중 미리 설정된 조건에 따라 비정상 데이터를 필터링하여 제외하는 수집 단계;
   라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 데이터 분석부가 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하는 출력 단계; 및
   상기 데이터 분석부가 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 라벨링 단계를 포함하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
2. 제 1항에 있어서,
   상기 비지도 학습 모델은 LSTM이며, 상기 생성 모델은 GAN, AnoGAN 또는 VAE인 것을 특징으로 하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
3. 제 1항에 있어서,
   상기 수집 단계는 상기 데이터 수집부가 데이터 클러스터링을 통해 생성된 군집을 기준으로 비정상 데이터를 필터링하는 클러스터링 검사, 물리 한계 검사, 단계 검사, 지속성 검사 및 중앙값 필터 검사 중 적어도 하나를 통해 상기 센서로부터 수신되는 실측 데이터 중 비정상 데이터를 필터링하는 것을 특징으로 하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
4. 제 3항에 있어서,
   상기 수집 단계는 상기 데이터 수집부가 상기 비정상 데이터 관련 필터링 정보를 생성하여 제공하는 단계; 및
   상기 출력 단계는 상기 데이터 분석부가 상기 데이터 수집부로부터 제공되는 필터링 정보를 상기 시각화 정보에 포함시켜 제공하는 단계를 더 포함하는 것을 특징으로 하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
5. 제 1항에 있어서,
   상기 출력 단계는 상기 데이터 분석부가 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시키는 것을 특징으로 하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
6. 제 1항에 있어서,
   상기 라벨링 단계는 상기 데이터 수집부에 의해 수집되어 누적 저장된 실측 데이터를 대상으로 상기 데이터 분석부가 상기 오류 확인 정보를 기초로 오류로 확인된 실측 데이터를 오류 데이터로 라벨링하여 저장하고, 상기 오류 데이터 이외의 상기 실측 데이터를 정상 데이터로 라벨링하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
7. 제 1항에 있어서,
   신경망 모델인 지도 학습 모델이 구성된 지도 학습부가 상기 오류 데이터 및 정상 데이터 중 어느 하나로 라벨링된 실측 데이터를 포함하는 라벨링 데이터를 상기 지도 학습 모델을 통해 학습하여 상기 센서의 이상 여부에 대한 분석 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
8. 제 7항에 있어서,
   상기 지도 학습부에 구성된 지도 학습 모델은 덴스넷(DenseNet)인 것을 특징으로 하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
9. 서비스 제공 장치의 서비스 제공 방법에 있어서,
   서비스 제공 장치가 센서로부터 실측 데이터를 수집하고, 미리 설정된 조건에 따른 오류 데이터를 필터링하는 단계;
   라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 서비스 제공 장치가 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하는 단계; 및
   서비스 제공 장치가 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 단계를 포함하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 방법.
10. 제 1항 및 제 9항 중 어느 한 항에 따른 방법을 수행하도록 컴퓨터를 기능시키기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 비휘발성 기록매체.
11. 센서로부터 데이터를 수집하고, 미리 설정된 조건에 따라 오류 데이터를 필터링하는 데이터 수집부; 및
    신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하며, 라벨링된 데이터의 개수가 미리 설정된 기준치 이하인 상태에서 상기 데이터 수집부에 의해 수집된 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성하여 제공하고, 상기 시각화 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 데이터 분석부를 포함하는 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템.

Images