KR102198224B1 - Anomaly detection apparatus using artificial neural network - Google Patents

Anomaly detection apparatus using artificial neural network Download PDF

Info

Publication number
KR102198224B1
KR102198224B1 KR1020190042747A KR20190042747A KR102198224B1 KR 102198224 B1 KR102198224 B1 KR 102198224B1 KR 1020190042747 A KR1020190042747 A KR 1020190042747A KR 20190042747 A KR20190042747 A KR 20190042747A KR 102198224 B1 KR102198224 B1 KR 102198224B1
Authority
KR
South Korea
Prior art keywords
data
module
classification
vector
spatial
Prior art date
Application number
KR1020190042747A
Other languages
Korean (ko)
Other versions
KR20200075712A (en
Inventor
차길환
김철운
유재홍
유재현
Original Assignee
주식회사 알고리고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알고리고 filed Critical 주식회사 알고리고
Priority to KR1020190042747A priority Critical patent/KR102198224B1/en
Publication of KR20200075712A publication Critical patent/KR20200075712A/en
Application granted granted Critical
Publication of KR102198224B1 publication Critical patent/KR102198224B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 인공신경망을 이용한 비정상 데이터 구분 장치 및 방법에 관한 것이다. 이를 위하여, 잠재 변수를 기초로 정상인 시계열 분포 데이터의 다차원 벡터인 정상 벡터를 생성하도록 학습된 비정상 데이터 구분 모듈의 일구성인 생성 모듈이 생성 벡터를 생성하는 생성 벡터 단계; 비정상 데이터 구분의 대상이 되는 구분 대상 데이터의 다차원 벡터인 구분 대상 벡터를 수신하는 구분 대상 벡터 단계; 생성 벡터와 구분 대상 벡터의 차이를 기초로 손실값인 비정상 데이터 스코어를 출력하는 비정상 데이터 스코어 출력 단계; 및 비정상 데이터 스코어가 낮아지는 방향으로 잠재 변수를 조절하는 잠재 변수 조절 단계;가 제공될 수 있다. The present invention relates to an apparatus and method for classifying abnormal data using an artificial neural network. To this end, a generation vector step of generating a generation vector by a generation module that is a component of the abnormal data classification module learned to generate a normal vector, which is a multidimensional vector of normal time series distribution data based on a latent variable; A classification object vector step of receiving a classification object vector that is a multidimensional vector of classification object data to be classified as abnormal data; An abnormal data score output step of outputting an abnormal data score that is a loss value based on a difference between the generated vector and the vector to be classified; And a latent variable adjusting step of adjusting the latent variable in a direction in which the abnormal data score is lowered.

Description

공간 데이터를 기초로 한 인공신경망을 이용한 비정상 데이터 구분 장치{Anomaly detection apparatus using artificial neural network}Anomaly detection apparatus using artificial neural network based on spatial data

본 발명은 미세 변화 데이터 및 공간 데이터를 기초로 한 인공신경망을 이용한 비정상 데이터 구분 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for classifying abnormal data using an artificial neural network based on fine change data and spatial data.

m x n의 압력센서 매트릭스로 구성된 스마트 좌석에서 발생되는 Time series 매트릭스 형태의 시계열 압력 분포 데이터를 토대로 좌석에 착석한 사용자의 자세를 분류하는 모델을 개발하려는 경우, ConvNet(Convolutional Neural Network)이 이용될 수 있다. 도 1은 압력 분포 데이터를 도시한 분포도, 도 2는 시간에 따른 압력 크기 변화를 도시한 그래프이다. 도 1, 2에 도시된 바와 같이, 매트릭스 형태로 구성한 복수개의 압력 센서에서 도 1과 같은 압력 분포 데이터가 생성될 수 있고, 각각의 압력 센서들은 시간 차원에 대해 도 2와 같은 시계열적인 압력 크기 변화를 센싱하도록 나타낼 수 있다. 도 3은 시계열 압력 분포 데이터의 예시도이다. 도 3에 도시된 바와 같이, 시계열 압력 분포 데이터는 도 2와 같이 각각의 압력 센서가 생성하는 시계열 압력 크기 변화를 기초로 생성되는 시간 차원에서 연속되는 복수개의 압력 분포 데이터를 의미할 수 있다. ConvNet (Convolutional Neural Network) can be used to develop a model that classifies the posture of a user sitting in a seat based on time series pressure distribution data in the form of a time series matrix generated from a smart seat composed of an mxn pressure sensor matrix. . 1 is a distribution diagram showing pressure distribution data, and FIG. 2 is a graph showing a change in pressure magnitude with time. As shown in Figs. 1 and 2, pressure distribution data as shown in Fig. 1 may be generated from a plurality of pressure sensors configured in a matrix form, and each of the pressure sensors has a time-series pressure magnitude change as shown in Fig. 2 with respect to the time dimension. Can be expressed to sense 3 is an exemplary diagram of time series pressure distribution data. As shown in FIG. 3, the time series pressure distribution data may mean a plurality of continuous pressure distribution data in a time dimension generated based on a change in the magnitude of the time series pressure generated by each pressure sensor as shown in FIG. 2.

자세 분류를 위해 압력 분포 데이터를 기초로 학습된 ConvNet이 이용되는 경우, 해당 ConvNet은 적어도 하나 이상의 자세로 Labeling 혹은 Tagging 된 압력 분포 데이터를 기초로 지도 학습(Supervised Learning)될 수 있다. ConvNet의 정확도를 향상시키기 위해 지도 학습에서 중요한 것 중 하나가 학습되는 데이터의 양과 질이라 할 수 있다. 따라서, 양질의 데이터를 최대한 많이 수집하여 ConvNet을 학습시킬수록 ConvNet의 자세 분류 정확도가 향상되는 것이 명백하기 때문에, 서비스가 운영되는 과정에서 발생되는 사용자의 실제 압력 분포 데이터들을 ConvNet의 학습에 활용하는 것이 필요하다.When a ConvNet learned based on pressure distribution data is used for posture classification, the ConvNet may be supervised learning based on pressure distribution data labeled or tagged with at least one posture. In order to improve the accuracy of ConvNet, one of the important things in supervised learning is the quantity and quality of the data to be learned. Therefore, it is clear that the accuracy of ConvNet's attitude classification improves as the ConvNet is learned by collecting as much quality data as possible. Therefore, it is necessary to use the actual pressure distribution data of the user generated during the operation of the service for the learning of ConvNet. need.

대한민국 공개특허 10-2016-0034814, 삼성전자주식회사, 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템, 2016.03.30.Korean Patent Application Publication No. 10-2016-0034814, Samsung Electronics Co., Ltd., a client device involving a neural network and a system including the same, 2016.03.30.

하지만, 사용자들이 서비스를 이용하면서 입력되는 실제 압력 분포 데이터는 비정상 데이터, 예를 들어, 사물에 의한 압력분포일 가능성이나 사용자의 비정상적인 이용에 의한 압력분포일 가능성 등에 의해 데이터의 질을 보장할 수 없기 때문에 이러한 비정상 데이터를 ConvNet의 학습에 이용하기 전에 구분할 필요가 있다. However, the actual pressure distribution data inputted while users use the service cannot guarantee the quality of the data due to the possibility of abnormal data, for example, pressure distribution due to an object or pressure distribution due to abnormal use of the user. Therefore, it is necessary to classify these abnormal data before using it for ConvNet learning.

이러한 비정상 데이터는 예상치 못한 상황에서 발생되는 경우가 대부분이므로, 기존의 일반적인 통계적 접근 또는 Manual Feature Engineering으로 Labeling을 통해 딥러닝 분류 모델을 구축하는 것이 매우 어렵다. Since these abnormal data are mostly generated in unexpected situations, it is very difficult to construct a deep learning classification model through labeling with conventional statistical approaches or manual feature engineering.

따라서, 본 발명의 목적은 사용자에 의해 입력되는 비정상 데이터를 높은 정확도로 구분하여 정상 데이터만을 ConvNet의 학습에 이용하기 위해 인공신경망을 이용한 비정상 데이터 구분 장치 및 방법을 제공하는 데에 있다. Accordingly, an object of the present invention is to provide an apparatus and method for classifying abnormal data using an artificial neural network in order to classify abnormal data input by a user with high accuracy and use only normal data for ConvNet learning.

이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.Hereinafter, specific means for achieving the object of the present invention will be described.

본 발명의 목적은, 시계열 분포 데이터를 입력받아 비정상 데이터인지 여부를 구분하는 비정상 데이터 스코어를 출력하는 비정상 데이터 구분 모듈의 프로그램 코드를 저장하는 메모리 모듈; 및 상기 비정상 데이터 구분 모듈의 프로그램 코드를 처리하는 처리 모듈;을 포함하고, 상기 비정상 데이터 구분 모듈의 상기 프로그램 코드는, 잠재 변수를 기초로 정상인 상기 시계열 분포 데이터의 다차원 벡터인 정상 벡터를 생성하도록 학습된 상기 비정상 데이터 구분 모듈의 일구성인 생성 모듈이 생성 벡터를 생성하는 생성 벡터 단계; 비정상 데이터 구분의 대상이 되는 구분 대상 데이터의 다차원 벡터인 구분 대상 벡터를 수신하는 구분 대상 벡터 단계; 상기 생성 벡터와 상기 구분 대상 벡터의 차이를 기초로 손실값인 비정상 데이터 스코어를 출력하는 비정상 데이터 스코어 출력 단계; 및 상기 비정상 데이터 스코어가 낮아지는 방향으로 상기 잠재 변수를 조절하는 잠재 변수 조절 단계; 를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 비정상 데이터 구분 모듈은, 상기 잠재 변수 조절 단계에서 상기 잠재 변수의 조절에 의해 낮아진 상기 비정상 데이터 스코어가 특정 값 이상인 경우 상기 구분 대상 데이터가 상기 비정상 데이터인 것으로 구분하는 것을 특징으로 하는, 인공신경망을 이용한 비정상 데이터 구분 장치를 제공하여 달성될 수 있다. An object of the present invention is a memory module for storing a program code of an abnormal data classification module that receives time series distribution data and outputs an abnormal data score for distinguishing whether or not the data is abnormal; And a processing module that processes the program code of the abnormal data classification module; wherein the program code of the abnormal data classification module is trained to generate a normal vector, which is a multidimensional vector of the normal time series distribution data based on a latent variable. A generation vector step in which a generation module, which is a component of the abnormal data classification module, generates a generation vector; A classification object vector step of receiving a classification object vector that is a multidimensional vector of classification object data to be classified as abnormal data; An abnormal data score output step of outputting an abnormal data score that is a loss value based on a difference between the generated vector and the classification object vector; And a latent variable adjusting step of adjusting the latent variable in a direction in which the abnormal data score is lowered. Including a configuration to be performed on a computer, the abnormal data classification module, when the abnormal data score lowered by the adjustment of the latent variable in the latent variable adjustment step is greater than or equal to a specific value, the classification object data is determined to be the abnormal data. It can be achieved by providing a device for classifying abnormal data using an artificial neural network, characterized in that the classification is performed.

또한, 상기 메모리 모듈은 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 미세 변화를 표현하는 미세 변화 데이터를 출력하는 미세 변화 모듈을 더 포함하고, 상기 처리 모듈은 상기 미세 변화 모듈의 프로그램 코드를 더 처리하며, 상기 미세 변화 모듈의 상기 프로그램 코드는, 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 수신하는 수신 단계; 수신된 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 분포의 변화량에 대한 데이터인 변화량 데이터를 생성하는 변화량 데이터 생성 단계; 상기 변화량 데이터를 매트릭스 형태인 변화량 분포 데이터로 변환하는 변화량 분포 데이터 생성 단계; 및 시간에 따른 상기 변화량 분포 데이터를 기초로 미세 변화 데이터를 생성하는 미세 변화 데이터 생성 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 정상 벡터는 상기 시계열 분포 데이터의 상기 미세 변화 데이터를 포함하도록 구성되고, 상기 구분 대상 벡터는 상기 구분 대상 데이터의 상기 미세 변화 데이터를 포함하도록 구성되는 것을 특징으로 할 수 있다. In addition, the memory module further includes a fine change module for outputting fine change data representing a fine change of the time series distribution data or the classification target data, and the processing module further processes a program code of the minute change module The program code of the fine change module may include a receiving step of receiving the time series distribution data or the classification target data; A change amount data generating step of generating change amount data, which is data about a change amount of a distribution of the received time series distribution data or the classification target data; Generating change amount distribution data converting the change amount data into change amount distribution data in a matrix form; And a fine change data generation step of generating fine change data based on the change amount distribution data over time, wherein the normal vector is configured to be performed on a computer, wherein the normal vector includes the minute change data of the time series distribution data. And, the classification object vector may be configured to include the fine change data of the classification object data.

또한, 상기 메모리 모듈은 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 동적인 움직임에 의한 분포 변화를 의미하는 공간 데이터를 출력하는 공간 데이터 모듈을 더 포함하고, 상기 처리 모듈은 상기 공간 데이터 모듈의 프로그램 코드를 더 처리하며, 상기 공간 데이터 모듈의 상기 프로그램 코드는, 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 수신하는 수신 단계; 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 ConvNet으로 구성된 임베딩 네트워크에 입력하여 Feature Map을 이용해 분포의 공간적 특징을 추출하는 공간적 특징 추출 단계; 및 상기 공간적 특징을 LSTM(Long-Short Term Memory)에 입력하여 시간적 특징인 시퀀스를 임베딩하고 공간 데이터를 생성하는 공간 데이터 생성 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 정상 벡터는 상기 시계열 분포 데이터의 상기 공간 데이터를 포함하도록 구성되고, 상기 구분 대상 벡터는 상기 구분 대상 데이터의 상기 공간 데이터를 포함하도록 구성되는 것을 특징으로 할 수 있다. In addition, the memory module further includes a spatial data module for outputting spatial data indicating a distribution change due to a dynamic movement of the time series distribution data or the classification target data, wherein the processing module includes a program code of the spatial data module And the program code of the spatial data module further comprises: a receiving step of receiving the time series distribution data or the classification object data; A spatial feature extraction step of extracting a spatial feature of a distribution using a feature map by inputting the time series distribution data or the classification target data into an embedding network composed of ConvNet; And a spatial data generation step of embedding a sequence that is a temporal feature and generating spatial data by inputting the spatial feature into a Long-Short Term Memory (LSTM), and generating spatial data, wherein the normal vector is the time series distribution. It may be configured to include the spatial data of data, and the classification object vector may be configured to include the spatial data of the classification object data.

본 발명의 다른 목적은, 생성 벡터 모듈이, 시계열 분포 데이터를 입력받아 비정상 데이터인지 여부를 구분하는 비정상 데이터 스코어를 출력하는 비정상 데이터 구분 모듈의 일구성인 생성 모듈이 생성 벡터를 생성하는 생성 벡터 단계; 구분 대상 벡터 모듈이, 비정상 데이터 구분의 대상이 되는 구분 대상 데이터의 다차원 벡터인 구분 대상 벡터를 수신하는 구분 대상 벡터 단계; 비정상 데이터 스코어 출력 모듈이, 상기 생성 벡터와 상기 구분 대상 벡터의 차이를 기초로 손실값인 비정상 데이터 스코어를 출력하는 비정상 데이터 스코어 출력 단계; 및 잠재 변수 조절 모듈이, 상기 비정상 데이터 스코어가 낮아지는 방향으로 상기 잠재 변수를 조절하는 잠재 변수 조절 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 생성 모듈은, 잠재 변수를 기초로 정상인 상기 시계열 분포 데이터의 다차원 벡터인 정상 벡터를 생성하도록 학습되며, 상기 비정상 데이터 구분 모듈은, 상기 잠재 변수 조절 단계에서 상기 잠재 변수의 조절에 의해 낮아진 상기 비정상 데이터 스코어가 특정 값 이상인 경우 상기 구분 대상 데이터가 상기 비정상 데이터인 것으로 구분하는 것을 특징으로 하는, 인공신경망을 이용한 비정상 데이터 구분 방법을 제공하여 달성될 수 있다. Another object of the present invention is a generation vector step in which a generation module, which is a component of an abnormal data classification module, that receives time series distribution data and outputs an abnormal data score that distinguishes whether or not it is abnormal data, generates a generation vector. ; A classification object vector step of receiving, by the classification object vector module, a classification object vector, which is a multidimensional vector of classification object data to be classified as abnormal data; An abnormal data score output step of outputting, by an abnormal data score output module, an abnormal data score that is a loss value based on a difference between the generated vector and the classification object vector; And a latent variable control step of adjusting the latent variable in a direction in which the abnormal data score is lowered, by the latent variable control module, wherein the generation module includes the normal time series based on the latent variable. It is trained to generate a normal vector, which is a multidimensional vector of distribution data, and the abnormal data classification module, when the abnormal data score lowered by the adjustment of the latent variable in the latent variable adjustment step is higher than a specific value, the classification object data is It can be achieved by providing a method for classifying abnormal data using an artificial neural network, characterized in that the data is classified as abnormal data.

상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.As described above, the present invention has the following effects.

첫째, 본 발명의 일실시예에 따르면, 데이서 수집 시 예상하지 못한 비정상 데이터를 구분하고 수집할 수 있게 되는 효과가 발생된다. 비정상 데이터는 예상치 못한 상황에서 발생되는 경우가 대부분이므로, 기존의 일반적인 통계적 접근 또는 Manual Feature Engineering으로 Labeling을 통해 딥러닝 분류 모델을 구축하는 것이 매우 어렵다. First, according to an embodiment of the present invention, when data is collected, unexpected abnormal data can be classified and collected. Since abnormal data is mostly generated in unexpected situations, it is very difficult to construct a deep learning classification model through labeling with conventional statistical approaches or manual feature engineering.

둘째, 본 발명의 일실시예에 따르면, 비정상 데이터에 대한 별도의 Labeling이나 Tagging 없이 비정상 데이터의 구분, 분류, 검출에 대한 Unsupervised Learning이 가능해지는 효과가 발생된다. Second, according to an embodiment of the present invention, there is an effect that unsupervised learning for classification, classification, and detection of abnormal data is possible without separate labeling or tagging of abnormal data.

셋째, 본 발명의 일실시예에 따르면, 미세 변화 데이터 모듈에 의해 일반적인 딥러닝 시스템에 의해 노이즈로 처리되어 Vanishing 되는 미세한 변화의 특징을 자세 분류 및 비정상 데이터 구분에 이용할 수 있게 되는 효과가 발생된다. Third, according to an embodiment of the present invention, a characteristic of a minute change vanished by being processed as noise by a general deep learning system by a minute change data module can be used for posture classification and abnormal data classification.

넷째, 본 발명의 일실시예에 따르면, 공간 데이터 모듈과 미세 변화 데이터 모듈의 결합에 의해 외부 환경에 의한 진동이나 노이즈가 발생하는 경우에도 사용자의 동적인 움직임에 의한 자세 변화 및 미세 변화의 특징을 자세 분류 및 비정상 데이터 구분에 이용할 수 있게 되는 효과가 발생된다. 일반적인 딥러닝 시스템을 이용하여 두 데이터를 동시에 추출하려는 경우 매우 모호한 특징이 추출되어 분류 정확도가 저감되는 문제가 발생된다. Fourth, according to an embodiment of the present invention, even when vibration or noise occurs due to an external environment due to the combination of the spatial data module and the fine change data module, the characteristics of posture change and minute change due to the dynamic movement of the user The effect of being able to be used for posture classification and abnormal data classification occurs. When two data are simultaneously extracted using a general deep learning system, a very ambiguous feature is extracted and classification accuracy is reduced.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 압력 분포 데이터를 도시한 분포도,
도 2는 시간에 따른 압력 크기 변화를 도시한 그래프,
도 3은 시계열 압력 분포 데이터의 예시도,
도 4는 본 발명의 일실시예에 따른 비정상 데이터 구분 장치를 도시한 모식도,
도 5는 본 발명의 일실시예에 따른 전처리 예시를 도시한 모식도,
도 6은 본 발명의 일실시예에 따른 전처리 흐름 예시를 도시한 흐름도,
도 7은 본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)의 미세 변화 데이터 생성 방법을 도시한 흐름도,
도 8은 본 발명의 일실시예에 따른 공간 데이터 모듈(12)의 공간 데이터 생성 방법을 도시한 흐름도,
도 9는 본 발명의 일실시예에 따른 자세 분류 모듈(13)의 자세 카테고리 분류를 도시한 흐름도,
도 10은 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 학습 과정을 도시한 모식도,
도 11은 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 비정상 데이터 구분 과정을 도시한 모식도이다. The following drawings attached to the present specification illustrate preferred embodiments of the present invention, and serve to further understand the technical idea of the present invention together with the detailed description of the present invention, so the present invention is limited to the matters described in such drawings. And should not be interpreted.
1 is a distribution diagram showing pressure distribution data,
2 is a graph showing the change in pressure magnitude over time,
3 is an exemplary diagram of time series pressure distribution data,
4 is a schematic diagram showing an apparatus for classifying abnormal data according to an embodiment of the present invention;
5 is a schematic diagram showing an example of pretreatment according to an embodiment of the present invention,
6 is a flowchart showing an example of a preprocessing flow according to an embodiment of the present invention;
7 is a flow chart illustrating a method of generating fine change data of the fine change data module 11 according to an embodiment of the present invention.
8 is a flowchart illustrating a spatial data generation method of the spatial data module 12 according to an embodiment of the present invention.
9 is a flowchart showing the classification of a posture category of the posture classification module 13 according to an embodiment of the present invention;
10 is a schematic diagram showing a learning process of the abnormal data classification module 14 according to an embodiment of the present invention;
11 is a schematic diagram showing an abnormal data classification process of the abnormal data classification module 14 according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, exemplary embodiments in which the present invention can be easily implemented by those of ordinary skill in the art will be described in detail with reference to the accompanying drawings. However, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, the same reference numerals are used for parts having similar functions and functions throughout the drawings. Throughout the specification, when a specific part is said to be connected to another part, this includes not only the case that it is directly connected, but also the case that it is indirectly connected with another element interposed therebetween. In addition, the inclusion of a specific component does not exclude other components unless specifically stated to the contrary, but means that other components may be further included.

아래에서는 설명의 편의를 위해 압력 분포 데이터를 기초로 사용자의 자세를 분류하는 모듈을 기초로 발명을 설명하고 있으나, 발명의 범위는 이에 한정되지 아니하고, 시계열 분포 데이터를 기초로 특정 카테고리를 분류하는 장치나 시계열 분포 데이터를 기초로 특정 카테고리를 분류하는 장치에서 비정상 데이터를 분류하는 특징을 포함하는 범위를 포함할 수 있다. In the following, for convenience of explanation, the invention is described based on a module that classifies a user's posture based on pressure distribution data, but the scope of the invention is not limited thereto, and an apparatus for classifying a specific category based on time series distribution data B. A range including features for classifying abnormal data in a device classifying a specific category based on time series distribution data may be included.

인공신경망을 이용한 비정상 데이터 구분 장치Abnormal data classification device using artificial neural network

인공신경망을 이용한 비정상 데이터 구분 장치의 구성과 관련하여, 도 4는 본 발명의 일실시예에 따른 비정상 데이터 구분 장치를 도시한 모식도이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공신경망을 이용한 비정상 데이터 구분 장치(1)는 전처리 모듈(10), 미세 변화 데이터 모듈(11), 공간 데이터 모듈(12), 자세 분류 모듈(13), 비정상 데이터 구분 모듈(14)를 포함할 수 있다. Regarding the configuration of an abnormal data classification apparatus using an artificial neural network, FIG. 4 is a schematic diagram illustrating an abnormal data classification apparatus according to an embodiment of the present invention. As shown in FIG. 4, the apparatus 1 for classifying abnormal data using an artificial neural network according to an embodiment of the present invention includes a preprocessing module 10, a fine change data module 11, a spatial data module 12, and a posture. A classification module 13 and an abnormal data classification module 14 may be included.

전처리 모듈(10)은 복수개의 압력 센서 데이터를 수신하고, 수신한 압력 센서 데이터에 대해 Time window setting, 노이즈 제거, 정규화 및 센서 편향 제거 등을 수행하여 도 3과 같은 시계열 압력 분포 데이터를 생성하는 모듈이다. 전처리 모듈(10)에 의해 전처리된 압력 센서 데이터가 시계열 데이터로 임베딩된 시계열 압력 분포 데이터로 처리되어, 인공신경망으로 구성된 분류 모듈에 의한 분류의 정확도가 향상되는 효과가 발생된다. 도 5는 본 발명의 일실시예에 따른 전처리 예시를 도시한 모식도, 도 6은 본 발명의 일실시예에 따른 전처리 흐름 예시를 도시한 흐름도이다. 도 5, 6에 도시된 바와 같이, 전처리 모듈(10)은 Time window setting, 노이즈 제거, 정규화 및 센서 편향 제거 등을 수행하여 수신한 압력 센서 데이터를 기초로 다차원 벡터(전처리 데이터)를 출력할 수 있고, 시퀀스를 가지는 복수개의 다차원 벡터(전처리 데이터)를 이용하여 시계열 압력 분포 데이터를 생성하도록 구성될 수 있다. The preprocessing module 10 receives a plurality of pressure sensor data, and generates time-series pressure distribution data as shown in FIG. 3 by performing time window setting, noise removal, normalization and sensor deflection removal on the received pressure sensor data. to be. The pressure sensor data preprocessed by the pre-processing module 10 is processed as time-series pressure distribution data embedded as time-series data, so that the accuracy of classification by the classification module composed of an artificial neural network is improved. 5 is a schematic diagram showing an example of preprocessing according to an embodiment of the present invention, and FIG. 6 is a flowchart showing an example of preprocessing flow according to an embodiment of the present invention. 5 and 6, the preprocessing module 10 can output a multidimensional vector (preprocessed data) based on the received pressure sensor data by performing time window setting, noise removal, normalization, and sensor deflection removal. In addition, it may be configured to generate time series pressure distribution data using a plurality of multidimensional vectors (pre-processed data) having a sequence.

미세 변화 데이터 모듈(11)은 전처리 모듈(10)에서 생성된 시계열 압력 분포 데이터를 기초로 미세 변화 데이터를 생성하는 모듈이다. 본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)은 시계열 압력 분포 데이터를 기초로 압력 분포의 변화량에 대한 데이터인 변화량 데이터를 생성하고, 변화량 데이터를 매트릭스 형태인 변화량 분포 데이터로 변환하며, 시간에 따른 변화량 분포 데이터를 기초로 미세 변화 데이터를 생성하게 된다. 구체적으로, 도 7은 본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)의 미세 변화 데이터 생성 방법을 도시한 흐름도이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)은 전처리된 시계열 압력 분포 데이터(S)를 입력으로 하여 센서 분포의 각 위치(i, j) 및 시간(t)에 따른 변화량 데이터(ΔSij t=Sij t+1 - Sij t)를 계산할 수 있다. 이러한 변화량 데이터를 기초로 히스토그램을 통해 압력 분포 변화의 분포인 변화량 분포 데이터(P)가 생성되고, 이 과정에서 변화에 대한 공간적인 정보는 사라지게 되고 변화에 대한 분포 정보만 남게 된다. 변화량 분포 데이터 P를 기초로 한 미세 변화 데이터의 생성은, KL divergence(Kullback-Leibler divergence) 또는 Jensen-shannon divergence 등으로 Pt+1과 Pt의 거리(Dt=KL(Pt+1||Pt)를 계산하여 시간에 따른 변화량 분포 데이터(D)를 생성한 뒤, 시간에 따른 변화량 분포 데이터(D)를 차례로 출력 벡터의 원소(element)로 사용하여 미세 변화 데이터인 출력 벡터(O)를 생성 및 출력하게 된다. The minute change data module 11 is a module that generates minute change data based on the time series pressure distribution data generated by the preprocessing module 10. The minute change data module 11 according to an embodiment of the present invention generates change amount data, which is data on the change amount of the pressure distribution based on time series pressure distribution data, and converts the change amount data into change amount distribution data in a matrix form, Fine change data is generated based on the distribution data of the amount of change over time. Specifically, FIG. 7 is a flowchart illustrating a method of generating fine change data by the fine change data module 11 according to an embodiment of the present invention. As shown in FIG. 7, the minute change data module 11 according to an embodiment of the present invention receives the preprocessed time series pressure distribution data S as inputs to each position (i, j) and time ( Change amount data (ΔS ij t =S ij t+1 -S ij t ) according to t ) can be calculated. The change amount distribution data P, which is the distribution of the pressure distribution change, is generated through the histogram based on the change amount data, and in this process, spatial information about the change disappears and only distribution information about the change remains. The generation of minute change data based on the change amount distribution data P is the distance between P t +1 and P t (D t =KL(P t+1 | After calculating |P t ) to generate the distribution data (D) over time, the distribution data over time (D) is sequentially used as an element of the output vector, and the output vector (O ) Will be created and printed.

본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)에 따르면, 압력 분포 변화의 분포가 계산되고, 공간적인 정보는 사라지게 되며, 미세 변화의 전체적인 분포 정보가 미세 변화 데이터로서 남게 된다. 미세 변화 데이터 모듈(11)에 의해 미세 변화 특징 및 공간적 특징의 혼재에 의해 추후 전파될 수 있는 모호한 정보의 표현을 방지하게 되는 효과가 발생된다. According to the minute change data module 11 according to an embodiment of the present invention, the distribution of the pressure distribution change is calculated, spatial information disappears, and the overall distribution information of the minute change remains as minute change data. An effect of preventing the expression of ambiguous information that may be propagated later is generated by the mixture of the fine change features and spatial features by the micro change data module 11.

공간 데이터 모듈(12)은 전처리 모듈(10)에서 생성된 시계열 압력 분포 데이터를 기초로 사용자의 동적인 움직임에 의한 자세 변화를 의미하는 공간 데이터를 생성하는 모듈이다. 공간 데이터의 생성과 관련하여, 공간 데이터 모듈(12)은 압력 분포의 공간적인 특징을 추출하고 다수의 시퀀스(sequence)에 대한 처리를 통해 공간적 특징을 임베딩하여 공간 데이터를 생성하게 된다. 구체적으로, 도 8은 본 발명의 일실시예에 따른 공간 데이터 모듈(12)의 공간 데이터 생성 방법을 도시한 흐름도이다. 도 8에 도시된 바와 같이, 공간 데이터 모듈(12)은 복수개의 전처리 데이터로 구성된 전처리 된 시계열 압력 분포 데이터를 ConvNet으로 구성된 임베딩 네트워크에 입력하여 Feature Map을 이용하여 압력 분포의 공간적인 특징을 추출하고, LSTM(Long-Short Term Memory)을 통해 시간적 특징인 시퀀스를 임베딩하여 공간 데이터로 출력하게 된다. The spatial data module 12 is a module that generates spatial data indicating a change in posture due to a dynamic movement of a user based on the time series pressure distribution data generated by the preprocessing module 10. Regarding the generation of spatial data, the spatial data module 12 extracts the spatial features of the pressure distribution and embeds the spatial features through processing of a plurality of sequences to generate spatial data. Specifically, FIG. 8 is a flowchart illustrating a method of generating spatial data by the spatial data module 12 according to an embodiment of the present invention. As shown in FIG. 8, the spatial data module 12 inputs preprocessed time series pressure distribution data composed of a plurality of preprocessed data into an embedding network composed of ConvNet, and extracts spatial features of the pressure distribution using a Feature Map. , Through LSTM (Long-Short Term Memory), a sequence that is a temporal feature is embedded and output as spatial data.

이때, 본 발명의 일실시예에 따른 공간 데이터 모듈(12)은 출력된 임베딩 벡터인 공간 데이터를 ConvNet으로 구성된 검증 네트워크의 입력으로 하여 전처리 데이터의 평균 분포가 출력되도록 구성될 수 있다. 이에 따르면, 임베딩된 벡터인 공간 데이터가 압력 분포의 공간적인 특징을 잘 내포하고 있는지 확인할 수 있는 효과가 발생되며, 공간 데이터 모듈(12)에 의해 출력되는 공간 데이터가 자세 분류 모듈(13)에서의 카테고리 분류만을 위한 공간적인 특징을 갖는 것이 아닌, 비정상 데이터 구분을 위한 특징도 내포할 수 있게 되는 효과가 발생된다. 또한, 검증 네트워크를 통해 임베딩되는 과정에서 정보 손실이 없도록 학습되도록 하여, 다양한 특징 추출이 임베딩 과정에서 이루어지는 효과가 발생된다. 따라서, 공간 데이터 모듈(12)의 검증 네트워크에 의하면 예상치 못한 비정상 데이터의 새로운 특징도 추출할 수 있도록 대비할 수 있게 된다. 또한, 임베딩된 벡터(공간 데이터 모듈(12)의 출력)는 '검증 네트워크', '자세 분류 모듈(13)' 그리고 '비정상 데이터 구분 모듈(14)'에서 각각 서로 다른 Task 를 위해 사용(공유)될 수 있다. 이는 Multi-task(유사한 여러 작업)를 위해 임베딩된 벡터(공간 데이터 모듈(12)의 출력)가 학습되도록 하여, 좀 더 일반화된 특징 추출이 잘 이루어지도록 하는 효과가 발생된다.In this case, the spatial data module 12 according to an embodiment of the present invention may be configured to output the average distribution of preprocessed data by using the output spatial data, which is an embedding vector, as an input of a verification network composed of ConvNet. According to this, an effect of checking whether spatial data, which is an embedded vector, contains the spatial characteristics of the pressure distribution well, is generated, and the spatial data output by the spatial data module 12 is generated in the posture classification module 13. The effect of being able to contain not only spatial features for categorization but also features for classifying abnormal data occurs. In addition, the learning is performed so that there is no loss of information in the process of embedding through the verification network, so that various features are extracted during the embedding process. Therefore, according to the verification network of the spatial data module 12, it is possible to prepare for extracting new features of unexpected abnormal data. In addition, the embedded vector (output of the spatial data module 12) is used (shared) for different tasks in the'verification network', the'posture classification module 13' and the'abnormal data classification module 14'. Can be. This causes the vector (output of the spatial data module 12) embedded for the multi-task (similar tasks) to be learned, thereby generating an effect that more generalized feature extraction is performed well.

자세 분류 모듈(13)은 미세 변화 데이터 모듈(11)에서 생성된 미세 변화 데이터, 공간 데이터 모듈(12)에서 생성된 공간 데이터를 입력받아 자세 카테고리 분류를 수행하여 자세 분류 데이터를 생성하는 모듈이다. 구체적으로, 본 발명의 일실시예에 따른 자세 분류 모듈(13)은 미세 변화 데이터 및 공간 데이터를 기초로 비선형 연산을 통해 임베딩하여 특징을 추출하고, 선형 알고리즘을 통해 자세 카테고리 분류를 수행하도록 구성될 수 있다. 도 9는 본 발명의 일실시예에 따른 자세 분류 모듈(13)의 자세 카테고리 분류를 도시한 흐름도이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 자세 분류 모듈(13)은 Convolution layer의 역할을 수행하는 ConvNet(CNN, Convolutional Neural Network)과 Fully connected layer 의 역할을 수행하는 FFNN(Feed-Foward Neural Network)을 포함할 수 있고, CNN에 미세 변화 데이터 및 공간 데이터가 입력되고 CNN을 통해 비선형적인 특징이 추출되고 시공간적인 특징을 바탕으로 자세 카테고리 분류에 필요한 형태로 임베딩되어 임베딩된 벡터가 출력되고, CNN을 통해 임베딩된 벡터는 FFNN의 입력이 되어 FFNN을 통해 자세 카테고리 분류가 수행되게 된다. The posture classification module 13 is a module that receives micro-change data generated by the micro-change data module 11 and spatial data generated by the spatial data module 12, performs posture category classification, and generates posture classification data. Specifically, the posture classification module 13 according to an embodiment of the present invention is configured to extract features by embedding through a nonlinear operation based on fine change data and spatial data, and to perform posture category classification through a linear algorithm. I can. 9 is a flowchart illustrating the classification of a posture category by the posture classification module 13 according to an embodiment of the present invention. 9, the posture classification module 13 according to an embodiment of the present invention is a ConvNet (Convolutional Neural Network) that serves as a convolution layer and a FFNN (Feed) that serves as a fully connected layer. -Foward Neural Network), micro-change data and spatial data are input to CNN, nonlinear features are extracted through CNN, and embedded vectors are embedded in the form necessary for classification of posture categories based on spatiotemporal features The vector outputted and embedded through the CNN becomes the input of the FFNN, and the attitude category classification is performed through the FFNN.

비정상 데이터 구분 모듈(14)은 미세 변화 데이터 모듈(11)에서 생성된 미세 변화 데이터, 공간 데이터 모듈(12)에서 생성된 공간 데이터, 자세 분류 모듈(13)에서 생성된 자세 분류 데이터를 통합한 다차원 벡터를 입력받아 비정상 데이터 구분 장치(1)에 입력되는 복수개의 압력 센서 데이터의 비정상 데이터 여부를 구분하는 모듈이다. 구체적으로, 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)에서는 생성 모듈과 구분 모듈을 포함할 수 있고, 구분 모듈을 이용하여 생성 모듈이 Random noise(Z)를 입력받아 정상적인 미세 변화 데이터, 공간 데이터 및 자세 분류 데이터를 통합한 다차원 벡터인 정상 벡터를 생성하도록 생성 모듈을 학습한 뒤, 생성 모듈의 손실 함수 출력값 L(Loss)을 비정상 데이터 스코어로 활용하여 생성 모듈에 입력되는 Random noise(Z)의 변화에 따라 L이 특정 값 이하로 낮아지는지 여부를 기초로 비정상 데이터 구분 장치(1)에 입력되는 데이터의 비정상 데이터 여부를 구분할 수 있다. The abnormal data classification module 14 is a multi-dimensional integrating fine change data generated by the fine change data module 11, spatial data generated by the spatial data module 12, and posture classification data generated by the posture classification module 13 A module that receives a vector and classifies whether or not a plurality of pressure sensor data input to the abnormal data classification device 1 is abnormal data. Specifically, the abnormal data classification module 14 according to an embodiment of the present invention may include a generation module and a classification module. Using the classification module, the generation module receives random noise (Z) to receive normal fine change data. , After learning the generation module to generate a normal vector, which is a multidimensional vector in which spatial data and posture classification data are integrated, the random noise input to the generation module is used as an abnormal data score using the loss function output L (Loss) of the generation module. Based on whether L decreases below a specific value according to the change of Z), it is possible to distinguish whether data input to the abnormal data classification device 1 is abnormal data.

본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 생성 모듈은 인코더와 디코더로 구성되어 정상 벡터를 생성하도록 구성될 수 있고, 생성 모듈의 인코더는 정상적인 미세 변화 데이터, 공간 데이터 및 자세 분류 데이터를 통합한 m x n x 3의 표준화 된 다차원 벡터를 수신하여 1 x 1 x k의 잠재변수로 인코딩하는 복수개의 연속된 ConvNet으로 구성될 수 있으며, 포즈 전이 모듈(4)의 디코더는 1 x 1 x k의 잠재변수를 m x n x 3의 다차원 벡터로 출력하도록 디코딩하는 복수개의 연속된 네트워크로 구성될 수 있다. 이때, 정상 벡터인 다차원 벡터를 입력하여 정상 벡터에 가까운 다차원 벡터를 출력하도록 생성 모듈이 학습될 수 있고, 생성 모듈에 의해 출력되는 다차원 벡터의 정상 벡터인지 여부를 구분하는 구분 모듈에 의해 학습될 수 있다. The generation module of the abnormal data classification module 14 according to an embodiment of the present invention may be configured to generate a normal vector composed of an encoder and a decoder, and the encoder of the generation module classifies normal fine change data, spatial data, and posture. It can be composed of a plurality of contiguous ConvNets that receive a standardized multidimensional vector of mxnx 3 integrating data and encode it into a 1 x 1 xk latent variable, and the decoder of the pose transfer module (4) has a potential of 1 x 1 xk. It may consist of a plurality of continuous networks that decode variables to be output as mxnx 3 multidimensional vectors. At this time, the generation module may be trained to input a multidimensional vector, which is a normal vector, to output a multidimensional vector close to the normal vector, and may be learned by a classification module that distinguishes whether or not the multidimensional vector output by the generation module is a normal vector. have.

본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 구분 모듈은, CONCAT 함수와 복수개의 인코더를 통해 생성 모듈에 의해 출력되는 다차원 벡터의 정상 벡터인지 여부를 구분하도록 구성될 수 있다. The classification module of the abnormal data classification module 14 according to an embodiment of the present invention may be configured to distinguish whether or not it is a normal vector of a multidimensional vector output by a generation module through a CONCAT function and a plurality of encoders.

비정상 데이터 구분 모듈(14)의 학습과 관련하여, 도 10은 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 학습 과정을 도시한 모식도이다. 도 10에 도시된 바와 같이, 생성 모듈은 구분 모듈과 MinMax game을 구성하도록 Loss Function이 구성될 수 있고, 동시에 학습될 수 있다. 이하 수학식 1은 생성 모듈과 구분 모듈의 Loss Function이다. Regarding the learning of the abnormal data classification module 14, FIG. 10 is a schematic diagram showing a learning process of the abnormal data classification module 14 according to an embodiment of the present invention. As shown in FIG. 10, the generation module may have a loss function configured to constitute a division module and a MinMax game, and may be simultaneously learned. Equation 1 below is the loss function of the generation module and the division module.

Figure 112019037443296-pat00001
Figure 112019037443296-pat00001

위 수학식 1에서 G는 생성 모듈, D는 구분 모듈을 의미하며, z는 잠재 변수로서 입력되는 Random noise, y는 정상적인 미세 변화 데이터, 공간 데이터 및 자세 분류 데이터를 통합한 다차원 벡터인 정상 벡터, G(x)는 생성된 다차원 벡터인 생성 벡터를 의미한다. 따라서, 수학식 1에 따르면 생성 모듈 및 구분 모듈의 Loss function은, 생성 모듈이 충분히 학습되지 않아서 구분 모듈이 잠재 변수인 랜덤 노이즈 z를 통해 y와 G(z)를 완벽하게 구분해내는 경우에는 D(z,y)=1, D(z,G(z))=0에 의해 0의 max 값을 갖고, 생성 모듈의 학습 후에 구분 모듈이 랜덤 노이즈 z를 통해 y와 G(z)를 구분해내지 못하는 경우 D(z,y)=1/2, D(z,G(z))=1/2에 의해 -log4의 min 값을 갖는다. 즉, 위 Loss function에 의해 생성 모듈이 랜덤 노이즈 z를 통해 생성한 다차원 벡터인 생성 벡터 G(z)와 정상적인 미세 변화 데이터, 공간 데이터 및 자세 분류 데이터를 통합한 다차원 벡터인 정상 벡터인 y가 동일할 때, 생성 모듈은 Global minimum을 갖게 되고, 이러한 방향으로 생성 모듈 및 구분 모듈이 학습되게 된다. 생성 모듈과 구분 모듈은 상호 적대적 의존 관계에 의해 생성 모듈을 빠르게 최적화 할 수 있는 효과가 발생된다. In Equation 1 above, G denotes a generation module, D denotes a classification module, z denotes random noise input as a latent variable, y denotes a normal vector, which is a multidimensional vector in which normal fine change data, spatial data, and posture classification data are integrated, G(x) means a generated vector, which is a generated multidimensional vector. Therefore, according to Equation 1, the loss function of the generation module and the classification module is D when the generation module is not sufficiently learned and the classification module completely separates y and G(z) through random noise z, which is a latent variable. It has a max value of 0 by (z,y)=1, D(z,G(z))=0, and after learning of the generation module, the classifying module divides y and G(z) through random noise z. If not, it has a min value of -log4 by D(z,y)=1/2 and D(z,G(z))=1/2. In other words, the generation vector G(z), which is a multidimensional vector generated by the generation module through random noise z by the above Loss function, and y, which is a multidimensional vector integrating normal fine change data, spatial data, and posture classification data, are the same. When doing so, the generation module has a global minimum, and the generation module and the classification module are learned in this direction. The generating module and the classifying module have the effect of quickly optimizing the generating module due to the mutually hostile dependency relationship.

또한, 본 발명의 일실시예에 따르면, 정상 벡터에 가까운 다차원 벡터 G(z)의 생성이 구역 별로 더 정교하게 진행되도록 생성 모듈의 Loss function에 각 구역 별로 구분 모듈이 입력되는 정상 벡터와 생성 모듈에 의해 생성되는 생성 벡터의 비교를 통해 생성 벡터의 정상 또는 비정상을 구분하는 구역 손실 함수를 더 포함할 수 있다. 본 발명의 일실시예에 따른 구역 손실 함수는 다음 수학식과 같이 구성될 수 있다. In addition, according to an embodiment of the present invention, a normal vector and a generation module in which a division module is input for each area in the loss function of the generation module so that the generation of the multidimensional vector G(z) close to the normal vector proceeds more precisely for each area. It may further include a zone loss function for distinguishing normal or abnormal of the generated vector through comparison of the generated vector generated by. The area loss function according to an embodiment of the present invention may be configured as the following equation.

Figure 112019037443296-pat00002
Figure 112019037443296-pat00002

위 수학식 2에서 LBP(G,D)는 각 구역에 대한 손실 함수인 구역 손실 함수, i는 구분 모듈의 i번째 레이어, T는 구분 모듈의 전체 레이어, Ni는 i번째 레이어에서의 구역 feature의 개수를 의미할 수 있다. 이에 따라, 구분 모듈이 생성 벡터의 특정 레이어에서 특정 구역의 정상 or 비정상을 정확하게 구분해내면 ||D(z,y)-D(z,G(z))||=1 이 되고, 정상 벡터 y와 생성 벡터 G(z)의 특정 레이어에서의 특정 구역이 구분 모듈에 의해 구분되지 않으면 ||D(z,y)-D(z,G(z))||=0이 된다. 따라서, 위와 같은 구역 손실함수를 적용한 비정상 데이터 구분 모듈(14)의 손실함수는 다음과 같이 구성될 수 있다. In Equation 2 above, L BP (G,D) is the area loss function, which is a loss function for each area, i is the i-th layer of the division module, T is the entire layer of the division module, and N i is the area in the i-th layer It can mean the number of features. Accordingly, if the classification module correctly identifies the normal or abnormality of a specific area in a specific layer of the generated vector, ||D(z,y)-D(z,G(z))||=1 becomes a normal vector. If y and a specific area in a specific layer of the generation vector G(z) are not separated by the division module, ||D(z,y)-D(z,G(z))||=0. Accordingly, the loss function of the abnormal data classification module 14 to which the above-described area loss function is applied may be configured as follows.

Figure 112019037443296-pat00003
Figure 112019037443296-pat00003

위 수학식 3에서, λ는 가중치 상수, LBP는 수학식 2의 구역 손실함수를 의미할 수 있고, 생성 모듈은 구역 손실함수를 최소화 하는 방향으로 학습되게 된다. 이에 의해 보다 정교하게 정상 벡터에 가까운 생성 벡터가 출력되도록 생성 모듈이 학습되게 된다. In Equation 3 above, λ is a weight constant, and L BP may mean the region loss function of Equation 2, and the generation module is learned in a direction to minimize the region loss function. Accordingly, the generation module is trained to output a generated vector closer to the normal vector more precisely.

또한, 다차원 벡터의 시퀀스 변화 순서 고려하기 위하여, 생성 모듈이 프레임 순서를 고려할 수 있도록 Loss function을 구성할 수 있다. 본 발명의 일실시예에 따르면 생성 모듈은 특정 시간 t에서의 잠재 변수 zt와 이전 시간인 t-1에서의 생성 벡터인 G(zt-1)을 입력데이터로 하여 시간 t에서의 생성 벡터인 G(zt)를 출력하도록 구성될 수 있다. 결국, 구분 모듈은 (zt-1, zt)를 통해 Fake sequence인 (G(zt-1), G(zt))와 Real sequence인 (yt-1, yt)를 구분하도록 구성되며, 이를 위한 비정상 데이터 구분 모듈(14)의 시퀀스 손실함수는 아래의 수학식과 같이 구성될 수 있다. In addition, in order to consider the sequence change order of the multidimensional vector, a Loss function may be configured so that the generation module may consider the frame order. According to one embodiment of the present invention generation module generates vector at a certain time the latent variables in t z t and the previous time, the t-1 generation vector of G time t to a (z t-1) to the input data in the It can be configured to output G(z t ). End, separated module to distinguish Fake sequence of (G (z t-1) , G (z t)) and Real sequence of (y t-1, y t ) through (z t-1, z t ) It is configured, and the sequence loss function of the abnormal data classification module 14 for this may be configured as shown in the following equation.

Figure 112019037443296-pat00004
Figure 112019037443296-pat00004

위 수학식 4와 같은 시퀀스 손실함수에 따르면 생성 모듈에 의해 출력되는 생성 벡터의 시퀀스가 정상 벡터와 매우 유사하게 정교해지는 효과가 발생된다. According to the sequence loss function as in Equation 4 above, the sequence of the generated vector outputted by the generation module is elaborated very similar to the normal vector.

비정상 데이터 구분 모듈(14)의 비정상 데이터 구분과 관련하여, 도 11은 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 비정상 데이터 구분 과정을 도시한 모식도이다. 도 11에 도시된 바와 같이, 생성 모듈은 랜덤 노이즈 z를 수신하여 정상 벡터에 가까운 다차원 벡터(생성 벡터)를 생성하게 되고, 입력되는 사용자 데이터(비정상 데이터인지 여부를 구분하는 대상인 구분 대상 데이터)의 다차원 벡터(구분 대상 벡터)와 생성 벡터와의 차이를 기초로 입력되는 사용자 데이터(구분 대상 데이터)의 정상 또는 비정상 여부를 구분하게 된다. With respect to the abnormal data classification by the abnormal data classification module 14, FIG. 11 is a schematic diagram illustrating a process of classifying abnormal data by the abnormal data classification module 14 according to an embodiment of the present invention. As shown in FIG. 11, the generation module generates a multidimensional vector (generated vector) close to the normal vector by receiving the random noise z, and the input user data (classification target data that is an object to distinguish whether or not abnormal data) is Based on the difference between the multidimensional vector (the vector to be classified) and the generated vector, the input user data (the data to be classified) is determined to be normal or abnormal.

또한, 본 발명의 일실시예에 따른 생성 모듈은 학습 이후에 파라미터가 고정되도록 구성될 수 있고, G(z)와 y의 차이인 구분 손실함수(L)가 줄어들도록 Back Propagation을 통해 잠재 변수인 랜덤 노이즈 z를 조절하도록 구성될 수 있다. 아래 수학식 5는 G(z)와 y의 차이에 대한 구분 손실함수(L), 수학식 6은 잠재 변수인 랜덤 노이즈의 조절에 관한 것이다. In addition, the generation module according to an embodiment of the present invention may be configured such that the parameter is fixed after learning, and the potential variable, which is a latent variable, through Back Propagation so that the division loss function L, which is the difference between G(z) and y, is reduced. It can be configured to adjust the random noise z. Equation 5 below relates to the discrimination loss function (L) for the difference between G(z) and y, and Equation 6 relates to the control of random noise, which is a latent variable.

Figure 112019037443296-pat00005
Figure 112019037443296-pat00005

Figure 112019037443296-pat00006
Figure 112019037443296-pat00006

위 수학식 5, 6에서 L은 정상 벡터와 가깝게 생성된 생성 벡터와 사용자 데이터(구분 대상 데이터)의 다차원 벡터(구분 대상 벡터)와의 차이인 구분 손실함수, G(z)는 생성 벡터, z는 잠재 변수인 랜덤 노이즈, y는 사용자 데이터(구분 대상 데이터)의 다차원 벡터(구분 대상 벡터), η는 학습률(Learning rate)을 의미한다. 이에 따르면, 사용자 데이터(구분 대상 데이터)의 다차원 벡터 y(구분 대상 벡터)가 정상 데이터인 경우에는 생성 모듈 G의 파라미터를 고정한 상태로 구분 손실함수 L을 줄이기 위해 z를 조절하면 L의 손실값이 특정 값 이하로 낮아지게 된다. 또한, 사용자 데이터(구분 대상 데이터)의 다차원 벡터 y(구분 대상 벡터)가 비정상 데이터인 경우에는 생성 모듈 G의 파라미터를 고정한 상태로 구분 손실함수 L을 줄이기 위해 z를 조절하더라도 L의 손실값이 특정 값 이하로 낮아지지 않게 된다. 즉, y가 비정상 데이터인 경우의 Loss L은 y가 정상 데이터인 경우의 L보다 상대적으로 높은 값을 가지게 된다. 따라서, L을 비정상 데이터 스코어(anomaly score)로 사용하여 비정상 데이터의 분류, 비정상 데이터의 구분, 비정상 데이터의 검출(detection)을 수행할 수 있게 되는 효과가 발생된다. In Equations 5 and 6 above, L is the discrimination loss function, which is the difference between the generated vector generated close to the normal vector and the multidimensional vector (separated target vector) of user data (separated target data), G(z) is the generated vector, z is The latent variable, random noise, y is a multidimensional vector of user data (classified data), and η is a learning rate. According to this, if the multidimensional vector y (classification target vector) of the user data (classification target data) is normal data, the loss value of L is reduced by adjusting z to reduce the classification loss function L while the parameters of the generation module G are fixed. It goes down below a certain value. In addition, if the multidimensional vector y (classification target vector) of user data (classification target data) is abnormal data, the parameter of the generation module G is fixed and the loss value of L is specified even if z is adjusted to reduce the classification loss function L. It will not go below the value. That is, Loss L when y is abnormal data has a relatively higher value than L when y is normal data. Accordingly, an effect of being able to perform classification of abnormal data, classification of abnormal data, and detection of abnormal data occurs by using L as an anomaly score.

본 발명의 일실시예에 따르면, 데이서 수집 시 예상하지 못한 비정상 데이터를 구분하고 수집할 수 있게 되는 효과가 발생된다. 비정상 데이터는 예상치 못한 상황에서 발생되는 경우가 대부분이므로, 기존의 일반적인 통계적 접근 또는 Manual Feature Engineering으로 Labeling을 통해 딥러닝 분류 모델을 구축하는 것이 매우 어렵다. 또한, 비정상 데이터에 대한 별도의 Labeling이나 Tagging 없이 비정상 데이터의 구분, 분류, 검출에 대한 Unsupervised Learning이 가능해지는 효과가 발생된다. 또한, 다른 딥러닝 모델 및 Clustering 알고리즘을 바탕으로 비정상 데이터의 구분, 분류, 검출을 시도하게 되면 추상적 공간으로 임베딩 된 벡터 간의 거리를 anomaly score로 사용할 수 밖에 없다. 기존의 방식으로는 정상 데이터와 비정상 데이터가 추상적 공간에서 거리가 멀도록하는 Constraint가 없으며, 임베딩 된 벡터 사이의 거리의 정도가 사용자 데이터(구분 대상 데이터)의 비정상적인 정도를 표현한다고 하기에 부정확하다. 본 발명의 일실시예에 따른 비정상 데이터 구분 장치는 딥러닝의 특징 추출 성능을 효과적으로 사용하며 동시에 정상 데이터를 만드는 생성 모듈 G 를 포함하기 때문에 사용자 데이터(구분 대상 데이터)의 비정상적인 정도의 의미가 anomaly score 에 표현되는 효과가 발생된다.According to an embodiment of the present invention, when data is collected, an effect of distinguishing and collecting unexpected abnormal data is generated. Since abnormal data is mostly generated in unexpected situations, it is very difficult to construct a deep learning classification model through labeling with conventional statistical approaches or manual feature engineering. In addition, there is an effect that unsupervised learning for classification, classification, and detection of abnormal data is possible without separate labeling or tagging for abnormal data. In addition, when attempting to classify, classify, and detect abnormal data based on other deep learning models and clustering algorithms, the distance between vectors embedded in the abstract space must be used as an anomaly score. In the conventional method, there is no constraint that makes the normal data and the abnormal data distant from the abstract space, and it is inaccurate to say that the degree of distance between the embedded vectors expresses the abnormal degree of user data (classified data). Since the abnormal data classification apparatus according to an embodiment of the present invention effectively uses the feature extraction performance of deep learning and includes a generation module G that creates normal data at the same time, the meaning of the abnormal degree of user data (classified data) is anomaly score. The effect expressed in occurs.

이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.As described above, those skilled in the art to which the present invention pertains will appreciate that the present invention can be implemented in other specific forms without changing the technical spirit or essential features thereof. Therefore, the above-described embodiments are illustrative in all respects and should be understood as non-limiting. The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and equivalent concepts should be interpreted as being included in the scope of the present invention.

본 명세서 내에 기술된 특징들 및 장점들은 모두를 포함하지 않으며, 특히 많은 추가적인 특징들 및 장점들이 도면들, 명세서, 및 청구항들을 고려하여 당업자에게 명백해질 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 읽기 쉽도록 그리고 교시의 목적으로 선택되었고, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않을 수도 있다는 것을 주의해야 한다.The features and advantages described herein are not all inclusive, and in particular many additional features and advantages will become apparent to those skilled in the art in view of the drawings, specification, and claims. Moreover, it should be noted that the language used herein has been selected primarily for readability and for teaching purposes, and may not be chosen to describe or limit the subject matter of the invention.

본 발명의 실시예들의 상기한 설명은 예시의 목적으로 제시되었다. 이는 개시된 정확한 형태로 본 발명을 제한하거나, 빠뜨리는 것 없이 만들려고 의도한 것이 아니다. 당업자는 상기한 개시에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.The above description of embodiments of the present invention has been presented for purposes of illustration. It is not intended to be exhaustive or to limit the invention to the precise form disclosed. Those skilled in the art will understand that many modifications and variations are possible in light of the above disclosure.

그러므로 본 발명의 범위는 상세한 설명에 의해 한정되지 않고, 이를 기반으로 하는 출원의 임의의 청구항들에 의해 한정된다. 따라서, 본 발명의 실시예들의 개시는 예시적인 것이며, 이하의 청구항에 기재된 본 발명의 범위를 제한하는 것은 아니다.Therefore, the scope of the invention is not limited by the detailed description, but by any claims in the application on which it is based. Accordingly, the disclosure of the embodiments of the present invention is illustrative and does not limit the scope of the present invention described in the following claims.

1: 인공신경망을 이용한 비정상 데이터 구분 장치
10: 전처리 모듈
11: 미세 변화 데이터 모듈
12: 공간 데이터 모듈
13: 자세 분류 모듈
14: 비정상 데이터 구분 모듈1: Device for classifying abnormal data using artificial neural network
10: pretreatment module
11: fine change data module
12: spatial data module
13: posture classification module
14: abnormal data classification module

Claims (1)

시계열 분포 데이터를 입력받아 비정상 데이터인지 여부를 구분하여 비정상 데이터 스코어를 출력하는 비정상 데이터 구분 모듈의 프로그램 코드를 저장하는 메모리 모듈; 및
상기 비정상 데이터 구분 모듈의 프로그램 코드를 처리하는 처리 모듈;
을 포함하고,
상기 비정상 데이터 구분 모듈의 상기 프로그램 코드는,
잠재 변수를 기초로 정상인 상기 시계열 분포 데이터의 다차원 벡터인 정상 벡터를 생성하도록 학습된 상기 비정상 데이터 구분 모듈의 일구성인 생성 모듈이 생성 벡터를 생성하는 생성 벡터 생성 단계;
비정상 데이터 구분의 대상이 되는 구분 대상 데이터의 다차원 벡터인 구분 대상 벡터를 수신하는 구분 대상 벡터 수신 단계;
상기 생성 벡터와 상기 구분 대상 벡터의 차이를 기초로 손실값인 비정상 데이터 스코어를 출력하는 비정상 데이터 스코어 출력 단계; 및
상기 비정상 데이터 스코어가 낮아지는 방향으로 상기 잠재 변수를 조절하는 잠재 변수 조절 단계;
를 포함하여 컴퓨터 상에서 수행되도록 구성되고,
상기 비정상 데이터 구분 모듈은, 상기 잠재 변수 조절 단계에서 상기 잠재 변수의 조절에 의해 낮아진 상기 비정상 데이터 스코어가 특정 값 이상인 경우 상기 구분 대상 데이터가 상기 비정상 데이터인 것으로 구분하며,
상기 메모리 모듈은 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 동적인 움직임에 의한 분포 변화를 의미하는 공간 데이터를 출력하는 공간 데이터 모듈의 프로그램 코드를 더 포함하고, 상기 처리 모듈은 상기 공간 데이터 모듈의 상기 프로그램 코드를 더 처리하며,
상기 공간 데이터 모듈의 상기 프로그램 코드는,
상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 수신하는 수신 단계;
상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 ConvNet으로 구성된 임베딩 네트워크에 입력하여 Feature Map을 이용해 분포의 공간적 특징을 추출하는 공간적 특징 추출 단계; 및
상기 공간적 특징을 LSTM(Long-Short Term Memory)에 입력하여 시간적 특징인 시퀀스를 임베딩하고 공간 데이터를 생성하는 공간 데이터 생성 단계;
를 포함하여 컴퓨터 상에서 수행되도록 구성되고,
상기 정상 벡터는 상기 시계열 분포 데이터의 상기 공간 데이터를 포함하도록 구성되고, 상기 구분 대상 벡터는 상기 구분 대상 데이터의 상기 공간 데이터를 포함하도록 구성되며,
상기 공간 데이터 모듈은, 상기 공간 데이터 생성 단계에서 생성된 상기 공간 데이터를 ConvNet으로 구성된 검증 네트워크의 입력으로 하여 상기 시계열 분포 데이터의 평균 분포가 출력되도록 구성되는 것을 특징으로 하는,
공간 데이터를 기초로 한 인공신경망을 이용한 비정상 데이터 구분 장치.
A memory module configured to store a program code of an abnormal data classification module that receives time series distribution data and identifies whether the data is abnormal data and outputs abnormal data scores; And
A processing module that processes a program code of the abnormal data classification module;
Including,
The program code of the abnormal data classification module,
A generation vector generation step of generating a generation vector by a generation module that is a component of the abnormal data classification module, which is learned to generate a normal vector that is a multidimensional vector of the normal time series distribution data based on a latent variable;
A classification object vector receiving step of receiving a classification object vector, which is a multidimensional vector of classification object data to be classified as abnormal data;
An abnormal data score output step of outputting an abnormal data score that is a loss value based on a difference between the generated vector and the classification object vector; And
A latent variable adjusting step of adjusting the latent variable in a direction in which the abnormal data score is lowered;
It is configured to be performed on a computer including,
The abnormal data classification module, when the abnormal data score lowered by the adjustment of the latent variable in the latent variable adjustment step is equal to or greater than a specific value, classifies the classification target data as the abnormal data,
The memory module further includes a program code of a spatial data module for outputting spatial data indicating a distribution change due to a dynamic movement of the time series distribution data or the classification target data, and the processing module includes the Further process the program code,
The program code of the spatial data module,
A receiving step of receiving the time series distribution data or the classification target data;
A spatial feature extraction step of extracting a spatial feature of a distribution using a feature map by inputting the time series distribution data or the classification target data into an embedding network composed of ConvNet; And
A spatial data generation step of embedding a sequence as a temporal feature by inputting the spatial feature into a long-short term memory (LSTM) and generating spatial data;
It is configured to be performed on a computer including,
The normal vector is configured to include the spatial data of the time series distribution data, and the classification object vector is configured to include the spatial data of the classification object data,
The spatial data module is configured to output the average distribution of the time series distribution data by using the spatial data generated in the spatial data generating step as an input of a verification network composed of ConvNet,
A device for classifying abnormal data using artificial neural networks based on spatial data.
KR1020190042747A 2019-04-11 2019-04-11 Anomaly detection apparatus using artificial neural network KR102198224B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190042747A KR102198224B1 (en) 2019-04-11 2019-04-11 Anomaly detection apparatus using artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190042747A KR102198224B1 (en) 2019-04-11 2019-04-11 Anomaly detection apparatus using artificial neural network

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161380A Division KR101971278B1 (en) 2018-12-13 2018-12-13 Anomaly detection apparatus using artificial neural network

Publications (2)

Publication Number Publication Date
KR20200075712A KR20200075712A (en) 2020-06-26
KR102198224B1 true KR102198224B1 (en) 2021-01-05

Family

ID=71136566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190042747A KR102198224B1 (en) 2019-04-11 2019-04-11 Anomaly detection apparatus using artificial neural network

Country Status (1)

Country Link
KR (1) KR102198224B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10202008469RA (en) * 2020-09-01 2020-10-29 Ensign Infosecurity Pte Ltd A deep embedded self-taught learning system and method for detecting suspicious network behaviours
KR102440752B1 (en) * 2022-04-08 2022-09-07 주식회사 알고리고 Device and method for monitoring driver's biometric information abnormality through multi-sampling sensor fusion

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014142697A (en) 2013-01-22 2014-08-07 Hitachi Ltd Abnormality diagnostic method and device of the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014142697A (en) 2013-01-22 2014-08-07 Hitachi Ltd Abnormality diagnostic method and device of the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Li, Dan, et al. Anomaly detection with generative adversarial networks for multivariate time series. arXiv preprint arXiv:1809.04758. 2018.9.13.*
Luo, Weixin, Wen Liu, and Shenghua Gao. Remembering history with convolutional lstm for anomaly detection. Multimedia and Expo (ICME), 2017 IEEE International Conference on. IEEE, 2017.*

Also Published As

Publication number Publication date
KR20200075712A (en) 2020-06-26

Similar Documents

Publication Publication Date Title
KR101971278B1 (en) Anomaly detection apparatus using artificial neural network
US20210089895A1 (en) Device and method for generating a counterfactual data sample for a neural network
KR102036963B1 (en) Method and system for robust face dectection in wild environment based on cnn
US10242289B2 (en) Method for analysing media content
JP6781415B2 (en) Neural network learning device, method, program, and pattern recognition device
KR20160096460A (en) Recognition system based on deep learning including a plurality of classfier and control method thereof
JP7007829B2 (en) Information processing equipment, information processing methods and programs
US11403878B2 (en) Apparatus and method with user verification
JP5591178B2 (en) Method for classifying objects in test images
US10062013B2 (en) Method of image processing
Nair et al. Covariate shift: A review and analysis on classifiers
KR20200052453A (en) Apparatus and method for training deep learning model
CN116994069B (en) Image analysis method and system based on multi-mode information
KR102198224B1 (en) Anomaly detection apparatus using artificial neural network
CN104395913A (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an ADABOOST learning algorithm
CN113111968A (en) Image recognition model training method and device, electronic equipment and readable storage medium
KR20190004429A (en) Method and apparatus for determining training of unknown data related to neural networks
JP2020052520A (en) Determination device, determination method, and program
CN116018621A (en) System and method for training multi-class object classification model using partially labeled training data
JP2019117556A (en) Information processing apparatus, information processing method and program
KR102119891B1 (en) Anomaly detection apparatus using artificial neural network
CN111435457B (en) Method for classifying acquisitions acquired by sensors
JP2019023801A (en) Image recognition device, image recognition method and image recognition program
CN116994049A (en) Full-automatic flat knitting machine and method thereof
CN115982573A (en) Multifunctional feeder and control method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant