KR102332183B1 - Method and Apparatus for Detecting Anomaly from Security Video - Google Patents

Method and Apparatus for Detecting Anomaly from Security Video Download PDF

Info

Publication number
KR102332183B1
KR102332183B1 KR1020210082991A KR20210082991A KR102332183B1 KR 102332183 B1 KR102332183 B1 KR 102332183B1 KR 1020210082991 A KR1020210082991 A KR 1020210082991A KR 20210082991 A KR20210082991 A KR 20210082991A KR 102332183 B1 KR102332183 B1 KR 102332183B1
Authority
KR
South Korea
Prior art keywords
video
anomaly
appearance
abnormal
pattern
Prior art date
Application number
KR1020210082991A
Other languages
Korean (ko)
Other versions
KR20210082412A (en
Inventor
이병원
마춘페이
양승지
최준향
최충환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020210082991A priority Critical patent/KR102332183B1/en
Publication of KR20210082412A publication Critical patent/KR20210082412A/en
Application granted granted Critical
Publication of KR102332183B1 publication Critical patent/KR102332183B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

보안 비디오(security video)에 대한 어노말리(anomaly) 검출장치 및 방법을 개시한다.
본 실시예는, 보안 비디오에 대하여 기 정의된 어노말리 패턴 및 미정의되었으나 의심스러운 어노말리 패턴을 검출하고, 다양한 어노말리 패턴이 누적된 데이터베이스를 생성한다. 생성된 데이터베이스를 기반으로 검출 모델에 대한 재학습을 수행함으로써 검출 성능을 지속적으로 향상시키는 것이 가능한 어노말리 검출장치 및 방법을 제공하는 데 목적이 있다.Disclosed are an anomaly detection apparatus and method for security video.
According to the present embodiment, a predefined anomaly pattern and an undefined but suspicious anomaly pattern are detected with respect to a security video, and a database in which various anomaly patterns are accumulated is generated. An object of the present invention is to provide an anomalous detection apparatus and method capable of continuously improving detection performance by re-learning a detection model based on a generated database.

Figure R1020210082991
Figure R1020210082991

Description

보안 비디오에 대한 어노말리 검출장치 및 방법{Method and Apparatus for Detecting Anomaly from Security Video}{Method and Apparatus for Detecting Anomaly from Security Video}

본 발명은 보안 비디오(security video)에 대한 어노말리(anomaly) 검출장치 및 방법에 관한 것이다.The present invention relates to an anomaly detection apparatus and method for security video.

이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다. The content described below merely provides background information related to the present invention and does not constitute the prior art.

보안(security) 분야에서 어노말리(anomaly: 이상 징후, 이상 상황, 또는 이상 행동 등을 포함) 검출(detection)은 관심이 높은 기술이다. 피감시 현장에 설치된 다수의 CCTV(Closed Circuit TV: 폐쇄회로 TV) 영상을 관리자가 항상 감시하는 것는 매우 어렵다. 따라서, 의심스러운 상황을 필터링하여 관리자의 관제로 연결하는 과정이 필요하다. 또한, 어노말리 검출 기술을 채택함으로써, 보안 업체는 물리보안(physical security) 시장 구조 측면에서 인건비 절감을 시도할 수 있고, 동시에 어노말리 검출 기술의 보유에 따른 기술력 과시도 가능하다.In the field of security, anomaly (including anomaly, abnormal situation, or abnormal behavior) detection is a technique of high interest. It is very difficult for an administrator to always monitor multiple CCTV (Closed Circuit TV) images installed at the monitored site. Therefore, it is necessary to filter the suspicious situation and connect it to the manager's control. In addition, by adopting the anomaly detection technology, a security company can try to reduce labor costs in terms of the physical security market structure, and at the same time, it is possible to show off the technology according to the possession of the anomaly detection technology.

어노말리 상황은 폭행, 도난, 화재, 총격, 붕괴 등 매우 다양하므로, 어노말리 상황의 발생 여부를 판단하는 것은 기술적으로 매우 어렵다. 어노말리 검출은 대체로 두 가지 방향으로 접근되고 있다.Since the anomalous situation is very diverse, such as assault, theft, fire, shooting, collapse, etc., it is technically very difficult to determine whether an anomalous situation has occurred. Anomaly detection is generally approached in two directions.

도 4에 도시된 바와 같이, 어노말리 상황을 복수의 카테고리(category 또는 클래스)로 정의하고, 정의된 카테고리에 속하는 어노말리 상황을 CCTV 동영상에서 검출하는 행동인식(action recognition) 방식을 들 수 있다. 복수의 구체적인 상황을 정의하고, 이에 해당하는 데이터베이스를 이용하는 지도학습(supervised learning)에 기반하므로, 행동인식 방식은 개별 상황의 인지 측면에서 판단 성능의 향상을 보인다. 그러나 카테고리에는 포함되지만 데이터베이스에는 존재하는 않는 복잡한 상황을 판단하거나, 새로운 어노말리가 추가되는 경우, 행동인식 방식은 판단 성능에 제약이 따른다는 문제점이 존재한다.As shown in FIG. 4 , there is an action recognition method in which an anomalous situation is defined into a plurality of categories (category or class), and an anomalous situation belonging to the defined category is detected from a CCTV video. Because it is based on supervised learning that defines a plurality of specific situations and uses a corresponding database, the behavior recognition method shows improvement in judgment performance in terms of recognizing individual situations. However, when judging a complex situation included in a category but not in the database or adding a new anomaly, the behavior recognition method has a problem in that judgment performance is limited.

다음, 도 5에 도시된 바와 같이, 모든 어노말리 상황을 정상 및 비정상 (normal and abnormal)으로 이진화하여 구분하는 이진분류(binary classification) 방식이 있다. 이진분류 방식은 학습을 위한 GT(Ground Truth) 데이터베이스를 따로 이용하지 않고, 비지도학습(unsupervised learning)에 의존한다. 이진분류 방식은 다양한 비디오에서 인간의(human) 행동패턴을 학습하는 방향으로 많은 연구가 진행되고 있다. 이진분류 방식은 정상 및 비정상 상황에 대한 스코어(score)를 제공하며, 관리자는 제공된 스코어를 이용하여 비디오의 상황을 판단할 수 있다. Next, as shown in FIG. 5 , there is a binary classification method for binarizing and classifying all anomaly situations into normal and abnormal. The binary classification method does not separately use a GT (Ground Truth) database for learning, but relies on unsupervised learning. A lot of research on the binary classification method is being conducted in the direction of learning human behavior patterns from various videos. The binary classification method provides scores for normal and abnormal situations, and the administrator can judge the status of the video using the provided scores.

행동인식 방식과 비교하여 이진분류 방식은 어노말리 전체에 대한 구분 성능을 향상시킨다. 그러나, 개별 카테고리에 대한 판단 성능이 저하되는 특성을 보이고, 지속적으로 변화하는 어노말리 패턴에 대한 처리 능력이 부족하다는 문제점이 존재한다.Compared to the behavior recognition method, the binary classification method improves the classification performance for the entire anomaly. However, there is a problem in that the judgment performance for individual categories is deteriorated, and the processing ability for continuously changing anomaly patterns is insufficient.

전술한 바와 같은 성능 측면의 한계에 더하여, 24 시간 고정된 위치에서 동작하는 CCTV가 생성하는 비디오 데이터가 누적된 데이터베이스에 대하여, 종래의 기술은 데이터베이스에 누적된 정보를 자산처럼 이용하지 못한다는 문제점도 존재한다.In addition to the limitations in terms of performance as described above, with respect to a database in which video data generated by CCTV operating at a fixed location for 24 hours is accumulated, the prior art also has a problem that the information accumulated in the database cannot be used as an asset. exist.

따라서, 누적된 데이터베이스를 이용하여, 어노말리 전체에 대한 구분 성능을 유지하면서도 개별 카테고리에 대한 판단 성능을 향상시키는 것이 가능한 어노말리 검출방법이 요구된다. Therefore, there is a need for an anomaly detection method capable of improving the judgment performance for individual categories while maintaining the classification performance for the entire anomaly using the accumulated database.

비특허문헌 1: C. Feichtenhofer, H. Fan, J. Malik, and K. He, "SlowFast Networks for Video Recognition," arXiv:1812.03982, 2018.Non-Patent Document 1: C. Feichtenhofer, H. Fan, J. Malik, and K. He, “SlowFast Networks for Video Recognition,” arXiv:1812.03982, 2018. 비특허문헌 2: W. Sultani1, C. Chen2, M. Shah, "Real-world Anomaly Detection in Surveillance Videos," IEEE CVPR, 2018. Non-Patent Document 2: W. Sultani1, C. Chen2, M. Shah, “Real-world Anomaly Detection in Surveillance Videos,” IEEE CVPR, 2018.

본 개시는, 보안 비디오(security video)에 대하여 기 정의된 어노말리(anomaly) 패턴 및 미정의되었으나 의심스러운 어노말리 패턴을 검출하고, 다양한 어노말리 패턴이 누적된 데이터베이스를 생성한다. 생성된 데이터베이스를 기반으로 검출 모델에 대한 재학습을 수행함으로써 검출 성능을 지속적으로 향상시키는 것이 가능한 어노말리 검출장치 및 방법을 제공하는 데 주된 목적이 있다.The present disclosure detects a predefined anomaly pattern and an undefined but suspicious anomaly pattern for a security video, and generates a database in which various anomaly patterns are accumulated. An object of the present invention is to provide an anomalous detection apparatus and method capable of continuously improving detection performance by re-learning a detection model based on a generated database.

본 발명의 실시예에 따르면, 입력 비디오를 획득하고, 상기 입력 비디오를 기반으로 어노말리(anomaly) 상황을 추론하며, 상기 어노말리 상황을 기반으로 상기 입력 비디오를 정상 비디오(normal video) 및 비정상 비디오(abnormal video)로 구별하는 어노말리 구별기; 상기 비정상 비디오를 기반으로 기 정의된 복수의 출현 카테고리(seen category)에 대응되는 어노말리 패턴을 검출하는 행동검출기; 상기 어노말리 구별기의 구별 결과 및 상기 행동검출기의 검출 결과를 기반으로 상기 비정상 비디오를 출현 어노말리 패턴 또는 정상 패턴으로 결정하는 의사결정기; 및 상기 정상 패턴으로 결정된 비디오를 이용하여 증분 학습(incremental learning) 또는 능동 학습(active learning)을 기반으로 상기 어노말리 구별기를 리트레이닝시키는 제1 리트레이닝부를 포함하는 것을 특징으로 하는 어노말리 검출장치를 제공한다. According to an embodiment of the present invention, an input video is acquired, an anomaly situation is inferred based on the input video, and the input video is divided into a normal video and an abnormal video based on the anomaly situation. anomalous discriminator that discriminates by (abnormal video); a behavior detector configured to detect an anomalous pattern corresponding to a plurality of predefined appearing categories based on the abnormal video; a decision maker configured to determine the abnormal video as an appearance anomaly pattern or a normal pattern based on a discrimination result of the anomaly discriminator and a detection result of the behavior detector; and a first retraining unit configured to retrain the anomalous discriminator based on incremental learning or active learning using the video determined as the normal pattern. to provide.

본 발명의 다른 실시예에 따르면, 어노말리 검출장치의 어노말리 검출방법에 있어서, 입력 비디오를 획득하는 과정; 상기 입력 비디오를 사전에 트레이닝된 어노말리 구별기에 입력하여 어노말리(anomaly) 상황을 추론하고, 상기 어노말리 상황을 기반으로 상기 입력 비디오를 정상 비디오(normal video) 및 비정상 비디오(abnormal video)로 구별하는 과정; 상기 비정상 비디오를 사전에 트레이닝된 행동검출기에 입력하여 기 정의된 복수의 출현 카테고리(seen category)에 대응되는 어노말리 패턴을 검출하는 과정; 상기 어노말리 구별기의 구별 결과 및 상기 행동검출기의 검출 결과를 기반으로 상기 비정상 비디오를 출현 어노말리 패턴, 미출현 데이터 및 정상 패턴 중 하나로 결정하는 과정; 및 상기 정상 패턴으로 결정된 비디오를 이용하여 증분 학습(incremental learning) 또는 능동 학습(active learning)을 기반으로 상기 어노말리 구별기를 리트레이닝시키는 과정을 포함하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 어노말리 검출방법을 제공한다. According to another embodiment of the present invention, there is provided an anomaly detection method of an anomaly detection apparatus, the method comprising: acquiring an input video; The input video is input to a pre-trained anomaly discriminator to infer an anomaly situation, and the input video is divided into a normal video and an abnormal video based on the anomaly situation. process; inputting the abnormal video into a pre-trained behavior detector to detect an anomalous pattern corresponding to a plurality of predefined see categories; determining the abnormal video as one of an appearance anomaly pattern, non-appearance data, and a normal pattern based on a discrimination result of the anomaly discriminator and a detection result of the behavior detector; and retraining the anomaly discriminator based on incremental learning or active learning using the video determined as the normal pattern. A detection method is provided.

본 발명의 다른 실시예에 따르면, 어노말리 검출방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다. According to another embodiment of the present invention, there is provided a computer program stored in a computer-readable recording medium to execute each step included in the anomaly detection method.

이상에서 설명한 바와 같이 본 실시예에 따르면, 보안 비디오(security video)에 대한 어노말리(anomaly) 패턴이 축적된 데이터베이스를 기반으로 검출 성능을 지속적으로 향상시키는 것이 가능한 어노말리 검출장치 및 방법을 제공함으로써, 보안업체의 물리보안(physical security) 관제 시스템(control system)의 고도화가 가능해지는 효과가 있다. As described above, according to the present embodiment, by providing an anomaly detection apparatus and method capable of continuously improving detection performance based on a database in which anomaly patterns for security video are accumulated. , it has the effect of enabling the advancement of the physical security control system of the security company.

또한 본 실시예에 따르면, 보안 비디오에 대한 어노말리 패턴이 축적된 데이터베이스에 기반하는 어노말리 검출장치 및 방법을 제공함으로써, CCTV 별로 관심 대상에 대한 어노말리 패턴의 검출 성능이 지속적으로 향상되는 효과가 있다. In addition, according to the present embodiment, by providing an anomaly detection apparatus and method based on a database in which anomaly patterns for security video are accumulated, the effect of continuously improving the detection performance of anomaly patterns for each CCTV of interest is obtained. have.

또한 본 실시예에 따르면, 발생 빈도가 낮기 때문에 데이터 누적이 어려운 어노말리 패턴에 대한 데이터베이스를 서버가 통합하여 관리하고, 데이터베이스를 이용하여 서버가 어노말리 검출장치를 재학습함으로써, 검출 성능을 지속적으로 향상시키는 것이 가능해지는 효과가 있다. In addition, according to this embodiment, the server integrates and manages the database for the anomalous pattern, which is difficult to accumulate data because the frequency of occurrence is low, and the server relearns the anomaly detection device using the database, thereby continuously improving the detection performance. There is an effect that it becomes possible to improve.

도 1은 본 발명의 일 실시예에 따른 어노말리 검출장치에 대한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 의사결정기의 의사 결정 과정에 대한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 어노말리 검출방법에 대한 순서도이다.
도 4는 종래의 행동인식 방식에 대한 예시도이다.
도 5는 종래의 이진분류 방식에 대한 예시도이다.1 is a block diagram of an anomaly detection apparatus according to an embodiment of the present invention.
2 is an exemplary diagram of a decision making process of a decision maker according to an embodiment of the present invention.
3 is a flowchart of an anomaly detection method according to an embodiment of the present invention.
4 is an exemplary diagram of a conventional behavior recognition method.
5 is an exemplary diagram of a conventional binary classification scheme.

이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present embodiments, if it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present embodiments, the detailed description thereof will be omitted.

또한, 본 실시예들의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, in describing the components of the present embodiments, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. Throughout the specification, when a part 'includes' or 'includes' a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. . In addition, the '... Terms such as 'unit' and 'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.

첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced.

본 실시예는 보안 비디오(security video)에 대한 어노말리(anomaly) 검출장치에 대한 내용을 개시한다. 보다 자세하게는, 보안 비디오(security video)에 대하여 기 정의된 어노말리(anomaly) 패턴 및 미정의되었으나 의심스러운 어노말리 패턴을 검출하고, 다양한 어노말리 패턴이 누적된 데이터베이스를 생성한다. 생성된 데이터베이스를 기반으로 검출 모델에 대한 재학습을 수행함으로써 검출 성능을 지속적으로 향상시키는 것이 가능한 어노말리 검출장치 및 방법을 제공한다.This embodiment discloses the contents of an anomaly detection apparatus for a security video. In more detail, a predefined anomaly pattern and an undefined but suspicious anomaly pattern for a security video are detected, and a database in which various anomaly patterns are accumulated is generated. Provided are an anomalous detection apparatus and method capable of continuously improving detection performance by re-learning a detection model based on a generated database.

물리보안(physical security) 관제 시스템(control system)은 복수의 CCTV(Closed Circuit TV) 및 본 실시예에 따른 어노말리 검출장치(100)가 탑재되는 서버(미도시) 또는 서버에 준하는 연산 능력을 보유하는 프로그램가능 시스템을 포함하는 것으로 가정한다. 서버는 복수의 CCTV로부터 유선 또는 무선 전송방식을 이용하여 비디오 데이터를 획득하는 것으로 가정한다.Physical security (physical security) control system (control system) has a plurality of CCTV (Closed Circuit TV) and a server (not shown) on which the anomaly detection device 100 according to the present embodiment is mounted, or a computing power equivalent to that of the server It is assumed to include a programmable system that It is assumed that the server acquires video data from a plurality of CCTVs using a wired or wireless transmission method.

이하 어노말리 패턴을 분류한 그룹 각각을 카테고리(category) 또는 클래스(class)로 표현한다. Hereinafter, each group in which the anomaly pattern is classified is expressed as a category or a class.

이하 비디오(video)는 시계열 형태로 묶인 복수의 영상(예컨대, 수십 단위 정도의 영상)을 의미하는 것으로 가정한다. 어노말리 패턴은 하나의 영상에서 관찰되기 어려우므로 시계열 형태로 묶인 복수의 영상, 즉 비디오에서 검출이 시도되는 것으로 가정한다. Hereinafter, it is assumed that a video means a plurality of images (eg, images of about tens of units) grouped in a time series form. Since it is difficult to observe an anomalous pattern in one image, it is assumed that detection is attempted in a plurality of images grouped in a time series, that is, a video.

도 1은 본 발명의 일 실시예에 따른 어노말리 검출장치에 대한 구성도이다.1 is a block diagram of an anomaly detection apparatus according to an embodiment of the present invention.

본 발명의 실시예에 있어서, 어노말리 검출장치(100)는 보안 비디오 입력으로부터 어노말리 패턴을 검출하고, 검출된 어노말리 패턴이 누적된 데이터베이스 생성하며, 생성된 데이터베이스를 기반으로 학습 모델에 대한 재학습을 수행한다. 어노말리 검출장치(100)는 어노말리 비디오 필터(anomaly video filter, 110), 어노말리 비디오 수집기(anomaly video collector, 120) 및 증분 온라인 학습기(incremental online learner, 130)의 전부 또는 일부를 포함한다. In an embodiment of the present invention, the anomaly detection apparatus 100 detects an anomaly pattern from a security video input, generates a database in which the detected anomaly pattern is accumulated, and re-applies to the learning model based on the generated database. carry out learning The anomalous detection apparatus 100 includes all or part of an anomaly video filter 110 , an anomaly video collector 120 , and an incremental online learner 130 .

어노말리 비디오 필터(110)는 입력 비디오를 획득하여 입력 비디오가 어노말리 상황을 포함하는지의 여부를 이분적으로 추론한다. 어노말리 비디오 필터(110)는 어노말리 상황을 포함한다고 추론되는 비정상 비디오를 제공한다. 어노말리 비디오 필터(110)는 어노말리 구별기(anomaly discriminator, 111)를 포함할 수 있다. The anomalous video filter 110 acquires the input video and infers binaryly whether the input video includes an anomalous situation. The anomalous video filter 110 provides anomalous video that is inferred to include an anomalous situation. The anomalous video filter 110 may include an anomaly discriminator 111 .

어노말리 비디오 수집기(120)는, 비정상 비디오를 기반으로 출현 어노말리 패턴, 미출현 데이터 및 정상 패턴에 대한 비디오를 구별하고 보관한다. 어노말리 비디오 수집기(120)는 행동검출기(action detector, 121), 의사결정기(decision maker, 122), 출현 데이터베이스(seen database, 123), 미출현 데이터베이스(unseen database, 124) 및 정밀결정부(fine decision unit, 125)의 전부 또는 일부를 포함할 수 있다.The anomalous video collector 120 discriminates and stores the video for the appeared anomaly pattern, non-appearance data, and the normal pattern based on the abnormal video. The anomalous video collector 120 includes an action detector 121, a decision maker 122, an appearance database 123, an unseen database 124, and a fine decision unit (fine). decision unit, 125) may include all or part of it.

증분 온라인 학습기(130)는 보관된 미출현 데이터 및 정상 패턴에 대한 비디오를 기반으로 어노말리 구별기(111) 및 행동검출기(121)에 대한 온라인 리트레이닝(online retraining)을 수행한다. 증분 온라인 학습기(130)는 제1 리트레이닝부(131) 및 제2 리트레이닝부(132)의 전부 또는 일부를 포함할 수 있다.The incremental online learner 130 performs online retraining of the anomaly discriminator 111 and the behavior detector 121 based on the stored non-appearance data and the video for the normal pattern. The incremental online learner 130 may include all or part of the first retraining unit 131 and the second retraining unit 132 .

여기서, 온라인 리트레이닝은 학습용 데이터가 획득될 때마다 학습 모델에 대한 리트레이닝을 수행하는 것을 의미한다. 이와는 달리 오프라인 리트레이닝(offline retraining)은. 학습용 데이터를 누적하여 저장해 두었다가, 편리한 시점에 학습 모델에 대한 리트레이닝을 수행하는 것을 의미한다. 저장 공간의 효율적인 이용 측면에서, 온라인 트레이닝이 선호된다. 이하 특별한 언급이 없다면 리트레이닝은 온라인 리트레이닝인 것으로 가정하나, 반드시 이에 한정하는 것은 아니다.Here, the online retraining means performing retraining on the learning model whenever data for learning is obtained. In contrast, offline retraining. It means that training data is accumulated and stored, and retraining of the learning model is performed at a convenient time. In terms of efficient use of storage space, online training is preferred. Hereinafter, unless otherwise specified, retraining is assumed to be online retraining, but is not necessarily limited thereto.

본 실시예에 따른 어노말리 검출장치(100)에 포함되는 구성요소가 반드시 이에 한정하는 것은 아니다. 예컨대, 어노말리 검출장치(100) 상에 검출 모델의 트레이닝을 위한 트레이닝부(미도시)를 추가로 구비할 수 있다. 여기서 검출 모델은 어노말리 구별기(111) 및 행동검출기(121)를 포함할 수 있다.Components included in the anomaly detection apparatus 100 according to the present embodiment are not necessarily limited thereto. For example, a training unit (not shown) for training the detection model may be additionally provided on the anomaly detection apparatus 100 . Here, the detection model may include an anomaly discriminator 111 and a behavior detector 121 .

도 1의 도시는 본 실시예에 따른 예시적인 구성이며, 어노말리 구별 방법, 행동 검출방법, 의사 결정 방법 및 리트레이닝 방법에 따라 다른 구성요소 또는 구성요소 간의 다른 연결을 포함하는 구현이 가능하다. The illustration of FIG. 1 is an exemplary configuration according to the present embodiment, and an implementation including other components or other connections between components is possible according to an anomaly discrimination method, a behavior detection method, a decision making method, and a retraining method.

이하 도 1의 도시를 참조하여, 어노말리 검출장치(100)의 세부 구성요소의 동작에 대하여 설명한다.Hereinafter, operations of detailed components of the anomaly detection apparatus 100 will be described with reference to FIG. 1 .

본 실시예에 따른 어노말리 구별기(111)는 입력 비디오를 획득하고, 입력 비디오를 기반으로 어노말리 상황을 추론하며, 어노말리 상황을 기반으로 입력 비디오를 정상 비디오(normal video) 또는 비정상 비디오(abnormal video)로 이분적으로 구별한다. The anomaly discriminator 111 according to the present embodiment acquires an input video, infers an anomaly situation based on the input video, and converts the input video to a normal video or an abnormal video (normal video) based on the anomaly situation. abnormal video).

여기서, 입력 비디오는 물리보안 관제 시스템을 구성하는 복수의 CCTV로부터 획득되는 것으로 가정한다. Here, it is assumed that the input video is obtained from a plurality of CCTVs constituting the physical security control system.

본 실시예에 따른 어노말리 구별기(111)는 기 학습된 딥러닝 모델을 기반으로 구현될 수 있다. GT(Ground Truth)가 없이 수행되는 비지도학습(unsupervised learning) 또는 어노말리 상황의 포함 여부에 대한 단서를 이용하는 약한 지도학습(weakly-supervised learning)을 기반으로, 트레이닝부는 어노말리 구별기(111)는 사전에 트레이닝시킬 수 있다. 어노말리 구별기(111)에 이용되는 딥러닝 모델은 비디오를 입력으로 사용할 수 있고(예컨대, 3차원 CNN(Convolutional Neural Network)), 학습이 가능한 어느 모델이든 될 수 있다. 딥러닝 모델은 종래의 기술을 재사용하는 것이 가능하므로, 구조 및 동작에 대한 자세한 설명은 생략한다.The anomalous discriminator 111 according to the present embodiment may be implemented based on a pre-trained deep learning model. Based on unsupervised learning performed without GT (Ground Truth) or weakly-supervised learning using clues as to whether an anomaly situation is included, the training unit uses an anomaly discriminator (111) can be trained in advance. The deep learning model used in the anomalous discriminator 111 may use a video as an input (eg, a three-dimensional convolutional neural network (CNN)), and may be any model that can be trained. Since the deep learning model can reuse conventional techniques, a detailed description of the structure and operation will be omitted.

어노말리 구별기(111)는 입력 비디오의 어노말리 상황에 대한 비정상 스코어(abnormal score) 및 정상 스코어(normal score)를 추론한다. 어노말리 구별기(111)는 비정상 스코어를 기 설정된 임계치와 비교하여 입력 비디오를 정상 비디오 및 비정상 비디오로 이분적으로 구별한다. The anomaly discriminator 111 infers an abnormal score and a normal score for the anomaly situation of the input video. The anomaly classifier 111 divides the input video into a normal video and an abnormal video by comparing the abnormal score with a preset threshold.

어노말리 구별기(111)는 정상적인 상황보다 어노말리 상황에 더 예민하게 반응하는 것이 보편적이다. 즉, 기 설정된 임계치를 기준으로 모호한 어노말리 상황이 포함된 입력 비디오까지 모두 비정상 비디오로 구별한다. 따라서, 기 설정된 임계치의 크기에 따라서는, 비정상 비디오의 정상 스코어가 비정상 스코어보다 큰 경우가 발생할 수 있다. 추후 의사결정기(122)는 이러한 경우를 의사 결정 과정에 이용하는 것이 가능하다.It is common that the anomaly discriminator 111 reacts more sensitively to an anomaly situation than a normal situation. That is, based on a preset threshold, even an input video including an ambiguous anomaly situation is distinguished as an abnormal video. Therefore, depending on the size of the preset threshold, the normal score of the abnormal video may be greater than the abnormal score. Later, the decision maker 122 can use this case in the decision making process.

어노말리 구별기(111)는 비정상 비디오를 행동검출기(121)로 전달하고, 비정상 비디오에 대한 비정상 스코어 및 정상 스코어가 포함된 구별 결과를 의사결정기(122) 측으로 전달한다.The anomaly discriminator 111 transmits the abnormal video to the behavior detector 121 , and transmits the discrimination result including the abnormal score and the normal score for the abnormal video to the decision maker 122 .

본 실시예에 따른 행동검출기(121)는 비정상 비디오를 기반으로 기 정의된 복수의 출현 카테고리(seen category)에 대응되는 어노말리 패턴을 검출한다. 예컨대, 기 정의된 복수의 출현 카테고리는 도 4에 도시된 바와 같은 항목일 수 있으며, 출현 카테고리의 개수는 변동될 수 있다.The behavior detector 121 according to the present embodiment detects an anomalous pattern corresponding to a plurality of predefined appearing categories based on the abnormal video. For example, a plurality of predefined appearance categories may be items as illustrated in FIG. 4 , and the number of appearance categories may vary.

행동검출기(121)는 기 학습된 딥러닝 모델을 기반으로 구현될 수 있다. 기 정의된 복수의 출현 카테고리에 대응되는 GT를 이용하는 지도학습(supervised learning)을 기반으로, 트레이닝부는 행동검출기(121)를 사전에 트레이닝시킬 수 있다. 행동검출기(121)에 이용되는 딥러닝 모델은 비디오를 입력으로 사용할 수 있고(예컨대, 3차원 CNN(Convolutional Neural Network)), 학습이 가능한 어느 모델이든 될 수 있다. 딥러닝 모델은 종래의 기술을 재사용하는 것이 가능하므로, 구조 및 동작에 대한 자세한 설명은 생략한다.The behavior detector 121 may be implemented based on a pre-trained deep learning model. Based on supervised learning using GTs corresponding to a plurality of predefined appearance categories, the training unit may train the behavior detector 121 in advance. The deep learning model used in the behavior detector 121 may use a video as an input (eg, a three-dimensional convolutional neural network (CNN)), and may be any model capable of learning. Since the deep learning model can reuse conventional techniques, a detailed description of the structure and operation will be omitted.

행동검출기(121)는 비정상 비디오를 기반으로 상기 어노말리 패턴을 검출함에 있어서, 복수의 출현 카테고리 별 신뢰도(confidence)를 생성하고, 생성된 신뢰도가 포함된 검출 결과를 의사결정기(122) 측으로 전달한다.When detecting the anomalous pattern based on the abnormal video, the behavior detector 121 generates confidence for each occurrence category, and transmits the detection result including the generated confidence to the decision maker 122. .

본 실시예에 따른 의사결정기(122)는 어노말리 구별기(111)가 제공한 구별 결과 및 행동검출기(121)가 제공한 검출 결과를 기반으로 비정상 비디오를 출현 어노말리 패턴, 미출현 데이터 및 정상 패턴 중 하나로 결정한다.The decision maker 122 according to the present embodiment generates an abnormal video based on the discrimination result provided by the anomaly discriminator 111 and the detection result provided by the behavior detector 121. An anomaly pattern, non-appearance data, and normal Decide on one of the patterns.

의사결정기(122)는 신뢰도 측면에서 비정상 비디오가 복수의 출현 카테고리에 속하는 경우에는 출현 어노말리 패턴으로 결정한다. 또한 신뢰도 및 비정상 스코어 측면에서 의심스러운 어노말리를 포함한 경우에는 미출현 데이터로, 의심스럽거나 모호한 어노말리조차도 존재하지 않는 경우에는 정상 패턴으로 결정한다. The decision maker 122 determines an occurrence anomaly pattern when the abnormal video belongs to a plurality of occurrence categories in terms of reliability. In addition, in terms of reliability and anomaly scores, if suspicious anomalies are included, it is determined as non-appearing data, and if even suspicious or ambiguous anomalies do not exist, it is determined as a normal pattern.

의사결정기(122)는 출현 어노말리 패턴으로 결정된 비디오를 출현 데이터베이스(123)에 보관하고, 미출현 데이터 또는 정상 패턴으로 결정된 비디오를 미출현 데이터베이스에 보관한다.The decision maker 122 stores the video determined as the appearance anomaly pattern in the appearance database 123, and stores non-appearance data or the video determined as the normal pattern in the non-appearance database.

의사결정기(122)의 의사 결정 과정에 대한 일 예는, 도 2을 참조하여 추후에 설명하기로 한다.An example of the decision making process of the decision maker 122 will be described later with reference to FIG. 2 .

출현 데이터베이스(123)는 복수의 출현 카테고리 별 저장 영역을 포함하고, 출현 어노말리 패턴으로 결정된 비디오를 해당되는 출현 카테고리의 저장 영역에 보관한다.The appearance database 123 includes a storage area for a plurality of appearance categories, and stores the video determined as an appearance anomaly pattern in the storage area of the corresponding appearance category.

미출현 데이터베이스(124)는 미출현 데이터가 보관되는 미출현 카테고리(unseen category) 별 저장 영역을 새로 생성하여 포함할 수 있다. 미출현 데이터베이스(124)는 전달된 미출현 데이터가 기 생성된 미출현 카테고리에 포함될 수 있는지 여부를 확인한다. 포함될 수 있는 경우에는, 전달된 미출현 데이터를 기 생성된 미출현 카테고리에 보관하고, 반대의 경우에는, 신규 미출현 카테고리를 생성하여 전달된 미출현 데이터를 보관한다. The non-appearance database 124 may newly create and include a storage area for each unseen category in which non-appearance data is stored. The non-appearance database 124 checks whether the transmitted non-appearance data can be included in a previously generated non-appearance category. If it can be included, the transmitted non-appearance data is stored in the previously created non-appearance category, and in the opposite case, a new non-appearance category is created and the transmitted non-appearance data is stored.

미출현 데이터베이스(124)는 정상 카테고리(normal category)를 포함하여, 정상 패턴으로 결정된 비디오를 보관할 수 있다.The non-appearance database 124 may store videos determined to be normal patterns, including normal categories.

본 실시예에 따른 미출현 데이터베이스(124)에 보관된 미출현 데이터 및 정상 패턴에 해당하는 비디오는 추후에 어노말리 구별기(111) 및 행동검출기(121)의 리트레이닝에 사용될 수 있다.The non-appearance data stored in the non-appearance database 124 according to the present embodiment and the video corresponding to the normal pattern may be used for retraining of the anomaly discriminator 111 and the behavior detector 121 later.

본 발명의 다른 실시예에 있어서, 출현 어노말리 패턴으로 결정된 비디오의 일부는 행동검출기(121)를 리트레이닝에 이용될 수 있다. 의사결정기(122)의 의사 결정 과정에 대한 기술에서 출현 어노말리 패턴이 리트레이닝에 이용되는 경우를 설명하기로 한다.In another embodiment of the present invention, a portion of the video determined as the appearance anomaly pattern may be used for retraining the behavior detector 121 . In the description of the decision-making process of the decision maker 122, a case in which an emergent anomalous pattern is used for retraining will be described.

정밀결정부(125)는 의사결정기(122)의 결정 사항에 대한 이중 확인을 수행한다. 정밀결정부(125)의 역할은 관리자에 의하여 수행될 수도 있으나, 관리자의 역할을 대치할 수 있는, 의사결정기(123)보다 더 정밀한 프로그램에 의하여 수행될 수 있다. 정밀결정부(125)는 의사결정기(122)에서 발생할 수 있는 오류를 보완하기 위한 부분이므로, 의사결정기(122)의 성능 여하에 따라 생략될 수 있다.The precision decision unit 125 performs double confirmation on the decision of the decision maker 122 . The role of the precision decision unit 125 may be performed by the manager, but it may be performed by a program more precise than the decision maker 123 , which can replace the manager's role. Since the precision decision unit 125 is a part for compensating for errors that may occur in the decision maker 122 , it may be omitted depending on the performance of the decision maker 122 .

본 실시예에 따른 제1 리트레이닝부(131)는 정상 패턴으로 결정된 비디오를 이용하여 증분 학습(incremental learning) 또는 능동 학습(active learning)을 기반으로 어노말리 구별기(111)를 리트레이닝시킬 수 있다.The first retraining unit 131 according to the present embodiment may retrain the anomalous discriminator 111 based on incremental learning or active learning using a video determined as a normal pattern. have.

본 실시예에 따른 제2 리트레이닝부(132)는 미출현 데이터로 결정된 비디오를 이용하여 증분 학습 또는 능동 학습을 기반으로 행동검출기(121)를 리트레이닝시킬 수 있다.The second retraining unit 132 according to the present embodiment may retrain the behavior detector 121 based on incremental learning or active learning using a video determined as non-appearance data.

여기서 증분 학습은 추가된 데이터를 이용하여 리트레이닝을 기반으로 학습 모델의 파라미터를 업데이트하는 학습 방법이다. 일반적으로 증분 학습을 이용하여 학습 모델의 추론 정확도를 높이는 것이 가능하다.Incremental learning is a learning method that updates parameters of a learning model based on retraining using added data. In general, it is possible to increase the inference accuracy of a learning model by using incremental learning.

한편, 능동 학습은 모호하거나 발생 빈도가 적은 데이터를 추가하여 리트레이닝을 기반으로 학습 모델의 파라미터를 업데이트하는 학습 방법이다. 일반적으로 능동 학습을 이용하여 학습 모델의 추론 범위를 확장하는 것이 가능하다.On the other hand, active learning is a learning method that updates the parameters of a learning model based on retraining by adding ambiguous or infrequent data. In general, it is possible to extend the inference scope of a learning model by using active learning.

본 실시예에 따른 어노말리 구별기(111) 및 행동검출기(121)에 대한 리트레이닝에 이용되는 미출현 데이터 및 정상 패턴은 양적 증가 및 발생 빈도에 대한 보완을 모두 해결할 수 있는 데이터이다. 따라서, 본 실시예에 따른 리트레이닝은 증분 학습 및 능동 학습을 병행하여 수행하는 것이 가능하다.Non-appearance data and normal patterns used for retraining of the anomalous discriminator 111 and the behavior detector 121 according to the present embodiment are data that can solve both the quantitative increase and the supplementation for the frequency of occurrence. Accordingly, in the retraining according to the present embodiment, it is possible to perform incremental learning and active learning in parallel.

본 발명의 다른 실시예에서, 제2 리트레이닝부(132)는 출현 어노말리 패턴으로 결정된 비디오의 일부를 이용하여 증분 학습 또는 능동 학습을 기반으로 행동검출기(121)를 리트레이닝시킬 수 있다. 의사결정기(122)의 의사 결정 과정에 대한 기술에서 출현 어노말리 패턴이 리트레이닝에 이용되는 경우를 설명하기로 한다.In another embodiment of the present invention, the second retraining unit 132 may retrain the behavior detector 121 based on incremental learning or active learning using a portion of the video determined as the appearance anomaly pattern. In the description of the decision-making process of the decision maker 122, a case in which an emergent anomalous pattern is used for retraining will be described.

본 발명의 다른 실시예에서, 트레이닝부는 제1 리트레이닝부(131) 및 제2 리트레이닝부(132)를 포함할 수 있다. 따라서 제1 리트레이닝부(131) 및 제2 리트레이닝부(132) 각각은 어노말리 구별기(111) 및 행동검출기(121)를, 전술한 바와 같이 사전에 트레이닝시킬 수 있다. In another embodiment of the present invention, the training unit may include a first retraining unit 131 and a second retraining unit 132 . Therefore, each of the first retraining unit 131 and the second retraining unit 132 may previously train the anomaly discriminator 111 and the behavior detector 121 as described above.

이하 도 2를 참조하여 본 실시예에 따른 의사결정기(122)의 의사 결정 과정의 일 예를 설명한다. 도 2의 도시는 본 실시예에 따른 예시적인 과정이며, 기준치의 설정, 출현 카테고리 및 미출현 카테고리의 운영 방법에 따라 다른 순서 또는 과정을 포함하는 구현이 가능하다. Hereinafter, an example of a decision making process of the decision maker 122 according to the present embodiment will be described with reference to FIG. 2 . The illustration of FIG. 2 is an exemplary process according to the present embodiment, and implementation including a different order or process is possible according to the setting of the reference value, the operation method of the appearing category and the non-appearing category.

도 2는 본 발명의 일 실시예에 따른 의사결정기의 의사 결정 과정에 대한 예시도이다. 2 is an exemplary diagram of a decision making process of a decision maker according to an embodiment of the present invention.

본 실시예에 따른 의사결정기(122)는 어노말리 분류기(111)로부터 분류 결과를 획득하고, 행동검출기로(121)로부터 검출 결과를 획득한다(S201). 전술한 바와 같이, 분류 결과는 비정상 비디오에 대한 비정상 스코어 및 정상 스코어를 포함하며, 검출 결과는 복수의 출현 카테고리 별 신뢰도를 포함한다. 또한 의사 결정 과정의 후처리를 위해 의사결정기(122)는 비정상 비디오를 임시로 보관할 수 있다.The decision maker 122 according to the present embodiment obtains a classification result from the anomaly classifier 111 and obtains a detection result from the behavior detector 121 ( S201 ). As described above, the classification result includes an abnormal score and a normal score for the abnormal video, and the detection result includes the reliability for each of the plurality of appearance categories. Also, for post-processing of the decision-making process, the decision-maker 122 may temporarily store the abnormal video.

의사결정기(122)는 검출 결과를 기반으로 복수의 출현 카테고리 별 신뢰도 중 가장 큰 신뢰도가 기 설정된 제1 기준치보다 크거나 같은지를 확인한다(S202). The decision maker 122 checks whether the highest reliability among the plurality of appearance categories is greater than or equal to a preset first reference value based on the detection result ( S202 ).

가장 큰 신뢰도가 제1 기준치보다 크거나 같으면, 비정상 비디오를 출현 어노말리 패턴으로 분류하고(S208), 출현 데이터베이스(123) 상의 해당되는 출현 카테고리 영역에 보관한다. 예컨대, 제1 기준치를 0.7로 설정하고, 도 2의 신뢰도 예시 1에 따르면, 4 개의 출현 카테고리의 신뢰도가 제1 기준치보다 크거나 같으며, 따라서 비정상 비디오는 제일 큰 신뢰도에 해당되는 출현 카테고리 영역에 보관된다. If the highest reliability is greater than or equal to the first reference value, the abnormal video is classified as an appearance anomaly pattern ( S208 ) and stored in the corresponding appearance category area on the appearance database 123 . For example, the first reference value is set to 0.7, and according to reliability example 1 of FIG. 2 , the reliability of the four appearance categories is greater than or equal to the first reference value, and therefore, the abnormal video is placed in the occurrence category area corresponding to the highest reliability. are kept

반대로 가장 큰 신뢰도가 제1 기준치보다 작으면, 의사결정기(122)는 복수의 출현 카테고리 별 신뢰도 중의 일부가 제2 기준치보다 크거나 같은지를 확인한다(S203). 여기서 제2 기준치는 제1 기준치 이하의 값일 수 있다. 예컨대, 제1 기준치를 0.1로 설정하고, 도 2의 신뢰도 예시 2에 따르면, 다수의 신뢰도가 제2 기준치보다 크거나 같게 된다. 한편, 제1 기준치를 0.25로 설정하면, 모든 신뢰도가 제2 기준치보다 작아지게 된다.Conversely, if the greatest reliability is less than the first reference value, the decision maker 122 checks whether some of the reliability for each of the plurality of appearance categories is greater than or equal to the second reference value (S203). Here, the second reference value may be a value less than or equal to the first reference value. For example, the first reference value is set to 0.1, and according to the reliability example 2 of FIG. 2 , a plurality of reliability values is greater than or equal to the second reference value. On the other hand, when the first reference value is set to 0.25, all reliability values become smaller than the second reference value.

제2 기준치보다 크거나 같은 신뢰도가 존재하면, 의사결정기(122)는 분류 결과를 기반으로 비정상 스코어가 정상 스코어보다 크거나 같은지를 확인한다(S204).If the reliability is greater than or equal to the second reference value, the decision maker 122 determines whether the abnormal score is greater than or equal to the normal score based on the classification result ( S204 ).

비정상 스코어가 정상 스코어보다 크거나 같으면, 비정상 비디오를 출현 어노말리 패턴으로 결정하고(S208), 출현 데이터베이스(123) 상의 해당되는 출현 카테고리 영역에 보관한다. 여기서 해당되는 출현 카테고리는 가장 큰 신뢰도를 기준으로 선정할 수 있다. If the abnormal score is greater than or equal to the normal score, the abnormal video is determined as an appearance anomaly pattern ( S208 ), and is stored in the corresponding appearance category area on the appearance database 123 . Here, the corresponding appearance category may be selected based on the greatest reliability.

반대로 비정상 스코어가 정상 스코어보다 작으면, 비정상 비디오를 미출현 데이터로 결정하고(S207), 미출현 데이터베이스(124) 상에 신규 미출현 카테고리를 생성하여 보관한다. 그러나 기 생성된 미출현 카테고리가 존재하는 경우에는, 신규 미출현 카테고리를 생성하지 않고, 기 생성된 미출현 카테고리를 이용한다.Conversely, if the abnormal score is smaller than the normal score, the abnormal video is determined as non-appearance data (S207), and a new non-appearance category is created and stored on the non-appearance database 124 . However, when a previously generated non-appearing category exists, a new non-appearing category is not generated and a previously generated non-appearing category is used.

모든 신뢰도가 제2 기준치보다 작은 경우에도, 의사결정기(122)는 분류 결과에 기반하여 비정상 스코어가 정상 스코어보다 크거나 같은지를 확인한다(S205).Even when all the reliability values are smaller than the second reference value, the decision maker 122 determines whether the abnormal score is greater than or equal to the normal score based on the classification result ( S205 ).

비정상 스코어가 정상 스코어보다 크거나 같으면, 비정상 비디오를 미출현 데이터로 결정하고(S207), 전술한 바와 같은 방식으로 미출현 데이터베이스(124)에 보관한다.If the abnormal score is greater than or equal to the normal score, the abnormal video is determined as non-appearing data (S207) and stored in the non-appearing database 124 in the same manner as described above.

반대로 비정상 스코어가 정상 스코어보다 작으면, 비정상 비디오를 정상 패턴으로 결정하고(S206), 비정상 비디오를 미출현 데이터베이스(124) 상의 정상 카테고리에 보관한다. Conversely, if the abnormal score is smaller than the normal score, the abnormal video is determined as a normal pattern ( S206 ), and the abnormal video is stored in a normal category on the non-appearance database 124 .

전술한 바와 같이, 본 실시예에 따른 미출현 데이터베이스(124)에 보관된 미출현 데이터와 정상 패턴 각각은 어노말리 구별기(111)와 행동검출기(121)의 리트레이닝에 이용된다. As described above, each of the non-appearance data and the normal pattern stored in the non-appearance database 124 according to the present embodiment is used for retraining the anomaly discriminator 111 and the behavior detector 121 .

본 발명의 다른 실시예에 있어서, 다수의 신뢰도가 제1 기준치보다 크거나 같은 경우에 출현 어노말리 패턴으로 결정된(S202 및 S208 단계) 비디오를 행동검출기(121)의 리트레이닝에 이용할 수 있다. 또한 가장 큰 신뢰도가 제1 기준치보다 작은 경우에 출현 어노말리 패턴으로 결정된(S204 및 S208 단계) 비디오도 행동검출기(121)의 리트레이닝에 이용할 수 있다. 출현 어노말리 패턴을 이용한 리트레이닝을 기반으로 행동검출기(121)의 검출 정확도를 향상시키는 것이 가능하다.In another embodiment of the present invention, when a plurality of reliability is greater than or equal to the first reference value, the video determined as the appearance anomaly pattern (steps S202 and S208) may be used for retraining the behavior detector 121 . In addition, when the highest reliability is smaller than the first reference value, the video determined as the appearance anomaly pattern (steps S204 and S208) may also be used for retraining the behavior detector 121 . It is possible to improve the detection accuracy of the behavior detector 121 based on the retraining using the appearance anomaly pattern.

이상에서 설명한 바와 같이 본 실시예에 따르면, 발생 빈도가 낮기 때문에 데이터 누적이 어려운 어노말리 패턴에 대한 데이터베이스를 서버가 통합하여 관리하고, 데이터베이스를 이용하여 서버가 어노말리 검출장치를 재학습함으로써, 검출 성능을 지속적으로 향상시키는 것이 가능해지는 효과가 있다. As described above, according to this embodiment, the server integrates and manages the database for the anomaly pattern, which is difficult to accumulate data because the frequency of occurrence is low, and the server re-learns the anomaly detection device using the database, thereby detecting There is an effect that it becomes possible to continuously improve the performance.

도 3은 본 발명의 일 실시예에 따른 어노말리 검출방법에 대한 순서도이다.3 is a flowchart of an anomaly detection method according to an embodiment of the present invention.

본 실시예에 따른 어노말리 검출장치(100)는 입력 비디오를 획득한다(S301). 입력 비디오는 물리보안 관제 시스템을 구성하는 복수의 CCTV로부터 획득되는 것으로 가정한다. The anomaly detection apparatus 100 according to the present embodiment acquires an input video (S301). It is assumed that the input video is obtained from a plurality of CCTVs constituting the physical security control system.

입력 비디오를 기반으로 어노말리 분류기(111)는 어노말리 상황을 추론하고, 비정상 비디오를 구별한다(S302). 여기서 어노말리 구별기(111)는 기 학습된 딥러닝 모델을 기반으로 구현될 수 있다.Based on the input video, the anomaly classifier 111 infers an anomaly situation and distinguishes an abnormal video ( S302 ). Here, the anomalous discriminator 111 may be implemented based on a pre-trained deep learning model.

어노말리 구별기(111)는 입력 비디오의 어노말리 상황에 대한 비정상 스코어 및 정상 스코어를 추론한다. 어노말리 구별기(111)는 비정상 비디오를 행동검출기(121)로 전달하고, 비정상 비디오에 대한 비정상 스코어 및 정상 스코어가 포함된 구별 결과를 제공한다.The anomaly discriminator 111 infers an abnormal score and a normal score for the anomaly situation of the input video. The anomaly discriminator 111 transmits the abnormal video to the behavior detector 121 and provides a discrimination result including an abnormal score and a normal score for the abnormal video.

행동 검출기(121)는 비정상 비디오를 기반으로 기 정의된 복수의 출현 카테고리에 대응되는 어노말리 패턴을 검출한다(S303). 행동검출기(121)는 기 학습된 딥러닝 모델을 기반으로 구현될 수 있다. The behavior detector 121 detects an anomalous pattern corresponding to a plurality of predefined appearance categories based on the abnormal video (S303). The behavior detector 121 may be implemented based on a pre-trained deep learning model.

행동검출기(121)는 비정상 비디오를 기반으로 상기 어노말리 패턴을 검출함에 있어서, 복수의 출현 카테고리 별 신뢰도를 생성하고, 생성된 신뢰도가 포함된 검출 결과를 제공한다.When detecting the anomalous pattern based on the abnormal video, the behavior detector 121 generates reliability for each of a plurality of appearance categories, and provides a detection result including the generated reliability.

어노말리 검출장치(100)는 비정상 비디오를 출현 어노말리 패턴, 미출현 데이터 및 정상 패턴 중 하나로 결정한다(S304). 어노말리 구별기(111)가 제공한 구별 결과 및 행동검출기(121)가 제공한 검출 결과를 기반으로 어노말리 검출장치(100)는 비정상 비디오를 분류한다.The anomaly detection apparatus 100 determines the abnormal video as one of an appearance anomaly pattern, non-appearance data, and a normal pattern ( S304 ). Based on the discrimination result provided by the anomalous discriminator 111 and the detection result provided by the behavior detector 121 , the anomalous detecting apparatus 100 classifies the abnormal video.

어노말리 검출장치(100)는 출현 어노말리 패턴으로 결정된 비디오를 출현 데이터베이스(123)에 저장하고, 미출현 데이터 및 정상 패턴으로 결정된 비디오를 미출현 데이터베이스(124)에 저장한다(S305).The anomaly detection apparatus 100 stores the video determined as the appearance anomaly pattern in the appearance database 123 , and stores non-appearance data and the video determined as the normal pattern in the non-appearance database 124 ( S305 ).

미출현 데이터베이스(124)에 보관된 미출현 데이터 및 정상 패턴에 해당하는 비디오는 추후에 어노말리 구별기(111) 및 행동검출기(121)의 리트레이닝에 사용될 수 있다.The non-appearance data stored in the non-appearance database 124 and the video corresponding to the normal pattern may be used for retraining of the anomaly discriminator 111 and the behavior detector 121 later.

어노말리 검출장치(100)는 이전 단계(S304)의 결정에 대한 이중 확인을 수행한다(S306). 이중 확인 단계(S306)는 이전 단계(S304)에서 발생할 수 있는 오류를 보완하기 위한 단계이며, 이전 단계(S304)의 성능 여하에 따라 생략될 수 있다.The anomaly detection apparatus 100 performs double confirmation of the determination of the previous step (S304) (S306). The double check step (S306) is a step to compensate for errors that may occur in the previous step (S304), and may be omitted depending on the performance of the previous step (S304).

어노말리 검출장치(100)는 어노말리 분류기(111) 및 행동검출기에 대한 리트레이닝을 수행한다(S307). The anomaly detection apparatus 100 performs retraining on the anomaly classifier 111 and the behavior detector ( S307 ).

어노말리 검출장치(100)는 정상 패턴으로 결정된 비디오를 이용하여 증분 학습 또는 능동 학습을 기반으로 어노말리 구별기(111)를 리트레이닝시킨다. 어노말리 검출장치(100)는 미출현 데이터로 결정된 비디오를 이용하여 증분 학습 또는 능동 학습을 기반으로 행동검출기(121)를 리트레이닝시킨다.The anomaly detection apparatus 100 retrains the anomaly discriminator 111 based on incremental learning or active learning using the video determined as a normal pattern. The anomaly detection apparatus 100 retrains the behavior detector 121 based on incremental learning or active learning using the video determined as non-appearance data.

이상에서 설명한 바와 같이 본 실시예에 따르면, 보안 비디오(security video)에 대한 어노말리 패턴이 축적된 데이터베이스를 기반으로 검출 성능을 지속적으로 향상시키는 것이 가능한 어노말리 검출장치 및 방법을 제공함으로써, 보안업체의 물리보안 관제 시스템의 고도화가 가능해지는 효과가 있다. As described above, according to the present embodiment, by providing an anomaly detection apparatus and method capable of continuously improving detection performance based on a database in which anomaly patterns for security video are accumulated, a security company It has the effect of enabling the advancement of the physical security control system of

또한 본 실시예에 따르면, 보안 비디오에 대한 어노말리 패턴이 축적된 데이터베이스에 기반하는 어노말리 검출장치 및 방법를 제공함으로써, CCTV 별로 관심 대상에 대한 어노말리 패턴의 검출 성능이 지속적으로 향상되는 효과가 있다. In addition, according to this embodiment, by providing an anomaly detection apparatus and method based on a database in which anomaly patterns for security video are accumulated, there is an effect that the detection performance of anomaly patterns for each CCTV is continuously improved. .

본 실시예에 따른 각 순서도에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 순서도에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것이 적용 가능할 것이므로, 순서도는 시계열적인 순서로 한정되는 것은 아니다.Although it is described that each process is sequentially executed in each flowchart according to the present embodiment, the present invention is not limited thereto. In other words, since it may be applicable to change and execute the processes described in the flowchart or to execute one or more processes in parallel, the flowchart is not limited to a time-series order.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터-판독가능 매체"에 저장된다. Various implementations of the systems and techniques described herein may include digital electronic circuitry, integrated circuits, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), computer hardware, firmware, software, and/or combination can be realized. These various implementations may include being implemented in one or more computer programs executable on a programmable system. The programmable system includes at least one programmable processor (which may be a special purpose processor) coupled to receive data and instructions from, and transmit data and instructions to, a storage system, at least one input device, and at least one output device. or may be a general-purpose processor). Computer programs (also known as programs, software, software applications or code) contain instructions for a programmable processor and are stored on a “computer-readable medium”.

컴퓨터-판독가능 매체는, 명령어들 및/또는 데이터를 프로그래밍가능 프로세서에게 제공하기 위해 사용되는, 임의의 컴퓨터 프로그램 제품, 장치, 및/또는 디바이스(예를 들어, CD-ROM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성 또는 비일시적인 기록매체)를 나타낸다. A computer-readable medium includes any computer program product, apparatus, and/or device (eg, a CD-ROM, ROM, memory card, a non-volatile or non-transitory recording medium such as a hard disk, a magneto-optical disk, and a storage device).

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.Various implementations of the systems and techniques described herein may be implemented by a programmable computer. Here, the computer includes a programmable processor, a data storage system (including volatile memory, non-volatile memory, or other types of storage systems or combinations thereof), and at least one communication interface. For example, a programmable computer may be one of a server, a network appliance, a set-top box, an embedded device, a computer expansion module, a personal computer, a laptop, a Personal Data Assistant (PDA), a cloud computing system, or a mobile device.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and various modifications and variations will be possible by those skilled in the art to which this embodiment belongs without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.

100: 어노말리 검출장치 110: 어노말리 비디오 필터
111: 어노말리 구별기 120: 어노말리 비디오 수집기
121: 행동검출기 122: 의사결정기
130: 증분 온라인 학습기 131: 제1 리트레이닝부
132: 제2 리트레이닝부
100: anomaly detection device 110: anomaly video filter
111: anomaly discriminator 120: anomaly video collector
121: behavior detector 122: decision maker
130: incremental online learner 131: first retraining unit
132: second retraining unit

Claims (15)

입력 비디오를 획득하고, 상기 입력 비디오를 기반으로 어노말리(anomaly) 상황을 추론하며, 상기 어노말리 상황을 기반으로 상기 입력 비디오를 정상 비디오(normal video) 및 비정상 비디오(abnormal video)로 구별하는 어노말리 구별기;
상기 비정상 비디오를 기반으로 기 정의된 복수의 출현 카테고리(seen category)에 대응되는 어노말리 패턴을 검출하는 행동검출기;
상기 어노말리 구별기의 구별 결과 및 상기 행동검출기의 검출 결과를 기반으로 상기 비정상 비디오를 출현 어노말리 패턴 또는 정상 패턴으로 결정하는 의사결정기; 및
상기 정상 패턴으로 결정된 비디오를 이용하여 증분 학습(incremental learning) 또는 능동 학습(active learning)을 기반으로 상기 어노말리 구별기를 리트레이닝시키는 제1 리트레이닝부
를 포함하는 것을 특징으로 하는 어노말리 검출장치.An anomaly for acquiring an input video, inferring an anomaly situation based on the input video, and classifying the input video into a normal video and an abnormal video based on the anomaly situation Mali distinguisher;
a behavior detector configured to detect an anomalous pattern corresponding to a plurality of predefined appearing categories based on the abnormal video;
a decision maker configured to determine the abnormal video as an appearance anomaly pattern or a normal pattern based on a discrimination result of the anomaly discriminator and a detection result of the behavior detector; and
A first retraining unit for retraining the anomalous discriminator based on incremental learning or active learning using the video determined as the normal pattern
Anomaly detection device comprising a. 제1항에 있어서,
상기 어노말리 구별기는 딥러닝 모델을 기반으로 구현되되, GT(Ground Truth)가 없이 수행되는 비지도학습(unsupervised learning) 또는 상기 어노말리 상황의 포함 여부에 대한 단서를 이용하는 약한 지도학습(weakly-supervised learning)을 기반으로 사전에 트레이닝되는 것을 특징으로 하는 어노말리 검출장치.According to claim 1,
The anomaly discriminator is implemented based on a deep learning model, unsupervised learning performed without GT (Ground Truth) or weakly-supervised using a clue as to whether the anomaly situation is included. learning) based on an anomaly detection device, characterized in that it is trained in advance. 제1항에 있어서,
상기 어노말리 구별기는,
상기 입력 비디오의 어노말리 상황에 대해 비정상 스코어(abnormal score) 및 정상 스코어(normal score)를 추론하고, 상기 비정상 스코어를 기 설정된 임계치와 비교하여 상기 입력 비디오를 상기 정상 비디오 또는 비정상 비디오로 구별하며, 상기 비정상 비디오를 상기 행동검출기로 전달하고, 상기 비정상 비디오의 어노말리 상황에 대한 비정상 스코어 및 정상 스코어가 포함된 구별 결과를 상기 의사결정기 측으로 전달하는 것을 특징으로 하는 어노말리 검출장치.According to claim 1,
The anomalous discriminator,
Inferring an abnormal score and a normal score for the anomalous situation of the input video, and comparing the abnormal score with a preset threshold to distinguish the input video as the normal video or the abnormal video, The abnormal video is transferred to the behavior detector, and a discrimination result including an abnormal score and a normal score for the anomaly situation of the abnormal video is transmitted to the decision maker. 제1항에 있어서,
상기 행동검출기는 딥러닝 모델을 기반으로 구현되되, 상기 복수의 출현 카테고리에 대응되는 GT를 이용하는 지도학습(supervised learning)을 기반으로 사전에 트레이닝되는 것을 특징으로 하는 어노말리 검출장치. According to claim 1,
The behavior detector is implemented based on a deep learning model, an anomaly detection apparatus, characterized in that it is trained in advance based on supervised learning using GTs corresponding to the plurality of appearance categories. 제3항에 있어서,
상기 행동검출기는,
상기 비정상 비디오를 기반으로 상기 어노말리 패턴을 검출함에 있어서, 상기 복수의 출현 카테고리 별 신뢰도(confidence)를 생성하고, 상기 신뢰도가 포함된 검출 결과를 상기 의사결정기 측으로 전달하는 것을 특징으로 하는 어노말리 검출장치.4. The method of claim 3,
The behavior detector is
In detecting the anomalous pattern based on the abnormal video, the anomalous detection characterized in that the confidence (confidence) for each of the plurality of appearance categories is generated, and the detection result including the confidence is transmitted to the decision maker. Device. 제5항에 있어서,
상기 의사결정기는,
상기 복수의 카테고리의 신뢰도 중 가장 큰 신뢰도가 기 설정된 제1 기준치 이상이면, 해당되는 비정상 비디오를 상기 출현 어노말리 패턴으로 결정하는 것을 특징으로 하는 어노말리 검출장치.6. The method of claim 5,
The decision maker is
The anomaly detection apparatus of claim 1, wherein when the highest reliability among the plurality of categories is equal to or greater than a preset first reference value, the corresponding abnormal video is determined as the appearance anomaly pattern. 제5항에 있어서,
상기 의사결정기는,
상기 복수의 카테고리 전부의 신뢰도가 기 설정된 제2 기준치보다 작고, 상기 비정상 스코어가 상기 정상 스코어 이상이면, 해당되는 비정상 비디오를 미출현 데이터로 결정하는 것을 특징으로 하는 어노말리 검출장치.6. The method of claim 5,
The decision maker is
If the reliability of all the plurality of categories is less than a preset second reference value and the abnormal score is equal to or greater than the normal score, the abnormal video is determined as non-appearing data. 제5항에 있어서,
상기 의사결정기는,
상기 복수의 카테고리 전부의 신뢰도가 기 설정된 제2 기준치보다 작고, 상기 정상 스코어가 상기 비정상 스코어보다 크면, 해당되는 비정상 비디오를 상기 정상 패턴으로 결정하는 것을 특징으로 하는 어노말리 검출장치.6. The method of claim 5,
The decision maker is
If the reliability of all of the plurality of categories is less than a preset second reference value and the normal score is greater than the abnormal score, the abnormal video is determined as the normal pattern. 제7항에 있어서,
상기 의사결정기는,
상기 복수의 카테고리의 신뢰도 중 일부의 신뢰도가 기 설정된 제2 기준치 이상이면, 상기 정상 스코어와 비정상 스코어 간의 상호 비교 결과에 따라, 해당되는 비정상 비디오를 상기 출현 어노말리 패턴 또는 상기 미출현 데이터로 결정하는 것을 특징으로 하는 어노말리 검출장치.8. The method of claim 7,
The decision maker is
If the reliability of some of the reliability of the plurality of categories is greater than or equal to a preset second reference value, the corresponding abnormal video is determined as the appearance anomaly pattern or the non-appearance data according to a result of mutual comparison between the normal score and the abnormal score Anomaly detection device, characterized in that. 제7항에 있어서,
상기 기 정의된 복수의 출현 카테고리 별로 상기 출현 어노말리 패턴으로 결정된 비디오를 보관하는 출현 데이터베이스; 및
복수의 미출현 카테고리(unseen category)를 포함하여, 상기 복수의 미출현 카테고리 별로 상기 미출현 데이터로 결정된 비디오를 보관하고, 정상 카테고리(normal category)를 더 포함하여, 상기 정상 패턴으로 결정된 비디오를 보관하는 미출현 데이터베이스
를 더 포함하는 것을 특징으로 하는 어노말리 검출장치.8. The method of claim 7,
an appearance database for storing the video determined as the appearance anomaly pattern for each of the plurality of predefined appearance categories; and
Including a plurality of unseen categories, the video determined as the non-appearing data is stored for each of the plurality of non-appearing categories, and further including a normal category, the video determined as the normal pattern is stored. non-appearing database
Anomaly detection device, characterized in that it further comprises. 제7항에 있어서,
상기 미출현 데이터로 결정된 비디오를 이용하여 증분 학습 또는 능동 학습을 기반으로 상기 행동검출기를 리트레이닝시키는 제2 리트레이닝부를 더 포함하는 것을 특징으로 하는 어노말리 검출장치.8. The method of claim 7,
The anomaly detection apparatus further comprising a second retraining unit for retraining the behavior detector based on incremental learning or active learning using the video determined as the non-appearance data. 어노말리 검출장치의 어노말리 검출방법에 있어서,
입력 비디오를 획득하는 과정;
상기 입력 비디오를 사전에 트레이닝된 어노말리 구별기에 입력하여 어노말리(anomaly) 상황을 추론하고, 상기 어노말리 상황을 기반으로 상기 입력 비디오를 정상 비디오(normal video) 및 비정상 비디오(abnormal video)로 구별하는 과정;
상기 비정상 비디오를 사전에 트레이닝된 행동검출기에 입력하여 기 정의된 복수의 출현 카테고리(seen category)에 대응되는 어노말리 패턴을 검출하는 과정;
상기 어노말리 구별기의 구별 결과 및 상기 행동검출기의 검출 결과를 기반으로 상기 비정상 비디오를 출현 어노말리 패턴, 미출현 데이터 및 정상 패턴 중 하나로 결정하는 과정; 및
상기 정상 패턴으로 결정된 비디오를 이용하여 증분 학습(incremental learning) 또는 능동 학습(active learning)을 기반으로 상기 어노말리 구별기를 리트레이닝시키는 과정
을 포함하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 어노말리 검출방법.In the anomalous detection method of the anomalous detection device,
acquiring an input video;
The input video is input to a pre-trained anomaly discriminator to infer an anomaly situation, and the input video is divided into a normal video and an abnormal video based on the anomaly situation. process;
inputting the abnormal video into a pre-trained behavior detector to detect an anomalous pattern corresponding to a plurality of predefined see categories;
determining the abnormal video as one of an appearance anomaly pattern, non-appearance data, and a normal pattern based on a discrimination result of the anomaly discriminator and a detection result of the behavior detector; and
Retraining the anomalous discriminator based on incremental learning or active learning using the video determined as the normal pattern
Anomalous detection method implemented on a computer, characterized in that it comprises a. 제12항에 있어서,
상기 기 정의된 복수의 출현 카테고리 별로 상기 출현 어노말리 패턴으로 결정된 비디오를 출현 데이터베이스에 보관하는 과정; 및
복수의 미출현 카테고리(unseen category) 별로 상기 미출현 데이터로 결정된 비디오를 미출현 데이터베이스에 보관하는 과정;
상기 정상 패턴으로 결정된 비디오를 미출현 데이터베이스에 보관하는 과정
을 더 포함하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 어노말리 검출방법.13. The method of claim 12,
storing the video determined as the appearance anomaly pattern for each of the plurality of predefined appearance categories in an appearance database; and
storing the video determined as the non-appearing data in a non-appearing database for each of a plurality of unseen categories;
The process of storing the video determined as the normal pattern in the non-appearance database
An anomaly detection method implemented on a computer, characterized in that it further comprises. 제12항에 있어서,
상기 미출현 데이터로 결정된 비디오를 이용하여 증분 학습 또는 능동 학습을 기반으로 상기 행동검출기를 리트레이닝시키는 과정을 더 포함하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 어노말리 검출방법.13. The method of claim 12,
An anomaly detection method implemented on a computer, characterized in that it further comprises the step of retraining the behavior detector based on incremental learning or active learning using the video determined as the non-appearance data. 제12항 내지 제14항 중 어느 한 항에 따른 어노말리 검출방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.
A computer program stored in a computer-readable recording medium to execute each step included in the anomaly detection method according to any one of claims 12 to 14.
KR1020210082991A 2019-10-04 2021-06-25 Method and Apparatus for Detecting Anomaly from Security Video KR102332183B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210082991A KR102332183B1 (en) 2019-10-04 2021-06-25 Method and Apparatus for Detecting Anomaly from Security Video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190122888A KR102276086B1 (en) 2019-10-04 2019-10-04 Method and Apparatus for Detecting Anomaly from Security Video
KR1020210082991A KR102332183B1 (en) 2019-10-04 2021-06-25 Method and Apparatus for Detecting Anomaly from Security Video

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190122888A Division KR102276086B1 (en) 2019-10-04 2019-10-04 Method and Apparatus for Detecting Anomaly from Security Video

Publications (2)

Publication Number Publication Date
KR20210082412A KR20210082412A (en) 2021-07-05
KR102332183B1 true KR102332183B1 (en) 2021-12-01

Family

ID=75477461

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190122888A KR102276086B1 (en) 2019-10-04 2019-10-04 Method and Apparatus for Detecting Anomaly from Security Video
KR1020210082991A KR102332183B1 (en) 2019-10-04 2021-06-25 Method and Apparatus for Detecting Anomaly from Security Video

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190122888A KR102276086B1 (en) 2019-10-04 2019-10-04 Method and Apparatus for Detecting Anomaly from Security Video

Country Status (1)

Country Link
KR (2) KR102276086B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102367584B1 (en) * 2021-11-04 2022-02-25 주식회사 티지 Automatic video surveillance system using skeleton video analysis technique

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173914A (en) 2017-03-31 2018-11-08 綜合警備保障株式会社 Image processing system, imaging apparatus, learning model creation method, and information processing device
JP2019053384A (en) 2017-09-13 2019-04-04 沖電気工業株式会社 Abnormality detection system, information processing device, and abnormality detection method
KR102020448B1 (en) 2018-11-29 2019-09-11 주식회사 파슬리 Method and system for detecting abnormal item and generating report based on artificial intelligence

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079110A (en) * 2017-12-27 2019-07-05 한국전자통신연구원 Apparatus and method for image analyzing based on self-learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173914A (en) 2017-03-31 2018-11-08 綜合警備保障株式会社 Image processing system, imaging apparatus, learning model creation method, and information processing device
JP2019053384A (en) 2017-09-13 2019-04-04 沖電気工業株式会社 Abnormality detection system, information processing device, and abnormality detection method
KR102020448B1 (en) 2018-11-29 2019-09-11 주식회사 파슬리 Method and system for detecting abnormal item and generating report based on artificial intelligence

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tao Xiang 등. Incremental and adaptive abnormal behaviour detection, CVIU, Vol.111, Issue 1.(2008.07.)
Waqas Sultani 등. Real-world Anomaly Detection in Surveillance Videos, arXiv:1801.04264v3.(2019.02.14.)

Also Published As

Publication number Publication date
KR102276086B1 (en) 2021-07-12
KR20210040546A (en) 2021-04-14
KR20210082412A (en) 2021-07-05

Similar Documents

Publication Publication Date Title
US10944767B2 (en) Identifying artificial artifacts in input data to detect adversarial attacks
Akhtar et al. Defense against universal adversarial perturbations
JP2015176283A (en) event detection device and event detection method
US10891488B2 (en) System and method for neuromorphic visual activity classification based on foveated detection and contextual filtering
KR20210062256A (en) Method, program and system to judge abnormal behavior based on behavior sequence
KR102332183B1 (en) Method and Apparatus for Detecting Anomaly from Security Video
KR101979375B1 (en) Method of predicting object behavior of surveillance video
Angelini et al. Privacy-preserving online human behaviour anomaly detection based on body movements and objects positions
CN111566661A (en) Neuromorphic visual activity classification system and method based on foveal detection and context filtering
Wu et al. A simple framework for uncertainty in contrastive learning
Zaheer et al. Clustering aided weakly supervised training to detect anomalous events in surveillance videos
Wang et al. Attack detection analysis in software-defined networks using various machine learning method
Potter et al. Multimodal Deep Learning for Integrated Cybersecurity Analytics
KR102183672B1 (en) A Method of Association Learning for Domain Invariant Human Classifier with Convolutional Neural Networks and the method thereof
JP7448087B2 (en) Inference device, inference method, and program
Grangier et al. Feature set embedding for incomplete data
de la Torre-Abaitua et al. A compression based framework for the detection of anomalies in heterogeneous data sources
Jajoo et al. A Review on Deep-Learning Based Network Intrusion Detection Systems
He et al. LIREM: A Generic Framework for Effective Online Video Novelty Detection
WO2023166571A1 (en) Evaluation method, evaluation program, and information processing apparatus
Vanitha et al. A comparative study of Classification algorithms used in Network Intrusion Detection Systems (NIDS)
Subramanian et al. An optical flow feature and McFIS based approach for 3-dimensional human action recognition
US20240233328A1 (en) Non-transitory computer-readable recording medium, determination method, and information processing apparatus
KR102615055B1 (en) Adversarial example restoration system and adversarial example restoration method
CN112381152B (en) Challenge sample detection method based on attack cost

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant