KR20200055812A - Apparatus and method for recognizing abnormal action based on deep learning - Google Patents

Apparatus and method for recognizing abnormal action based on deep learning Download PDF

Info

Publication number
KR20200055812A
KR20200055812A KR1020180136243A KR20180136243A KR20200055812A KR 20200055812 A KR20200055812 A KR 20200055812A KR 1020180136243 A KR1020180136243 A KR 1020180136243A KR 20180136243 A KR20180136243 A KR 20180136243A KR 20200055812 A KR20200055812 A KR 20200055812A
Authority
KR
South Korea
Prior art keywords
deep learning
abnormal behavior
image
present
recognition model
Prior art date
Application number
KR1020180136243A
Other languages
Korean (ko)
Inventor
김동칠
박성주
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180136243A priority Critical patent/KR20200055812A/en
Priority to PCT/KR2018/013948 priority patent/WO2020096111A1/en
Publication of KR20200055812A publication Critical patent/KR20200055812A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to a deep learning-based abnormal behavior recognition apparatus and to a method thereof. According to the present invention, the deep learning-based abnormal behavior recognition apparatus comprises: an image receiving unit receiving a 3D image; a memory storing a program which analyzes the 3D image and determines the abnormal behavior; and a processor executing the program. The processor performs spatiotemporal image data analysis using deep learning on the 3D image to generate an abnormal behavior recognition model, and estimates the abnormal behavior.

Description

딥러닝 기반 이상 행위 인지 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING ABNORMAL ACTION BASED ON DEEP LEARNING}Deep learning-based abnormal behavior recognition device and method {APPARATUS AND METHOD FOR RECOGNIZING ABNORMAL ACTION BASED ON DEEP LEARNING}

본 발명은 이상 행위를 인지하는 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for recognizing an abnormal behavior.

종래 기술에 따른 2D 영상 기반의 영상 보안 시스템은 환경적인 요소에 따라 영향을 많이 받아 이상 행위 인지의 신뢰성이 크게 떨어지는 문제점이 있다. The 2D image-based image security system according to the related art has a problem in that reliability of abnormal behavior recognition is greatly reduced due to a large influence on environmental factors.

종래 기술에 따르면 3D 깊이(depth) 영상 기반의 이상 행위 인지 기술이 제안되고 있으나, 이는 인지의 정확도가 낮고 처리 속도가 느려 실시간으로 입력되는 영상을 처리하지 못하는 한계점이 있다. According to the prior art, an anomaly recognition technique based on a 3D depth image is proposed, but it has a limitation in that it cannot process an image input in real time due to low recognition accuracy and slow processing speed.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 3D 깊이 영상 입력을 기반으로 딥러닝을 활용한 시공간 영상 데이터 분석을 통해 이상 행위를 인지하는 장치 및 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above-mentioned problems, and an object thereof is to provide an apparatus and method for recognizing anomalous behavior through analysis of spatiotemporal image data using deep learning based on 3D depth image input.

본 발명에 따른 딥러닝 기반 이상 행위 인지 장치는 3D 영상을 수신하는 영상 수신부와, 3D 영상을 분석하여 이상 행위 여부를 판단하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 3D 영상에 대해 딥러닝을 이용한 시공간 영상데이터 분석을 수행하여 이상 행위 인지 모델을 생성하고, 이상 행위를 추정하는 것을 특징으로 한다. The apparatus for recognizing anomalous behavior based on deep learning according to the present invention includes an image receiving unit for receiving a 3D image, a processor for storing a program for determining whether an abnormal behavior is analyzed by analyzing the 3D image, and a processor for executing the program, wherein the processor is a 3D image It is characterized by performing spatiotemporal image data analysis using deep learning to generate an abnormal behavior recognition model and estimating the abnormal behavior.

본 발명에 따른 딥러닝 기반 이상 행위 인지 방법은 3D 깊이 영상 정보를 수신하는 단계와, 3D 깊이 영상 정보를 이용하여 딥러닝 기반으로 시공간 분석을 수행하여 학습을 수행하고, 이상 행위 인지 모델을 생성하는 단계 및 이상 행위 인지 모델을 이용하여, 실제 깊이 영상 데이터를 분석하고 이상 행위 여부를 판단하는 단계를 포함하는 것을 특징으로 한다. The deep learning-based abnormal behavior recognition method according to the present invention includes receiving 3D depth image information, performing spatial and temporal analysis based on deep learning using 3D depth image information to perform learning, and generating an abnormal behavior recognition model. And analyzing the actual depth image data and determining whether the behavior is abnormal using the step and the behavior recognition model.

본 발명의 실시예에 따르면, 3D 깊이 영상을 이용하여 딥러닝 기반으로 이상 행위에 대한 실시간 인지가 가능하며, 이를 영상 보안 서비스에 적용하는 것이 가능하다. According to an embodiment of the present invention, real-time recognition of anomalous behavior is possible based on deep learning using a 3D depth image, and it is possible to apply it to an image security service.

본 발명에 실시예에 따르면, 영상 보안 시스템에 적용되어 개인 신변 안전을 지키고 범죄 예방 효과를 극대화하는 효과가 있으며, 다양한 환경 변화에도 강건하며 실시간으로 영상 처리가 가능하여 이상 행위 추론의 신뢰성이 크게 향상되는 효과가 있다. According to an embodiment of the present invention, it is applied to a video security system to protect personal safety and maximize a crime prevention effect. It is robust to various environmental changes and can process images in real time, greatly improving the reliability of inference of abnormal behavior. It has the effect.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 장치를 나타내는 블록도이다.
도 2a 내지 도 2d는 본 발명의 실시예에 따른 깊이 영상 데이터에 대한 전처리 과정을 도시한다.
도 3은 본 발명의 실시예에 따른 딥러닝을 활용한 시공간 분석을 위한 네트워크 구조를 도시한다.
도 4는 본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 방법을 나타내는 순서도이다. 1 is a block diagram illustrating a deep learning-based abnormal behavior recognition apparatus according to an embodiment of the present invention.
2A to 2D illustrate a pre-processing process for depth image data according to an embodiment of the present invention.
3 shows a network structure for spatiotemporal analysis using deep learning according to an embodiment of the present invention.
4 is a flowchart illustrating a deep learning-based abnormal behavior recognition method according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-mentioned objects and other objects, advantages and features of the present invention and methods for achieving them will be clarified with reference to the embodiments described below in detail together with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the following embodiments are intended for those skilled in the art to which the present invention pertains. It is merely provided to easily inform the configuration and effect, the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, the terms used in the present specification are for explaining the embodiments and are not intended to limit the present invention. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, "comprises" and / or "comprising" refers to the components, steps, operations and / or elements in which one or more other components, steps, operations and / or elements are present. Or added.

이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다. Hereinafter, in order to help those skilled in the art to understand, the background of the present invention is first described, and embodiments of the present invention will be described.

종래 기술에 따른 2D 영상 기반의 영상 보안 시스템은 사람, 차량 등의 객체를 탐지하고 분류하며, 객체를 트래킹함으로써, 특정 지점의 통과, 침입, 배회 등과 같은 단순 이상 행위를 인지한다. The 2D image-based image security system according to the prior art detects and classifies objects such as people and vehicles, and tracks the objects, thereby recognizing simple abnormal behaviors such as passage, intrusion, and loitering of a specific point.

종래 기술에 따른 2D 영상 기반 영상 보안 시스템은 객체 및 이벤트를 검출하는데 조명, 날씨, 컬러 등과 같은 환경적인 요소에 의한 영향을 많이 받으며, 특히, 충분한 빛이 확보되지 않은 야간 상황에서는 객체에 대한 식별이 가능한 영상 획득 자체가 어려운 문제점이 있다. The 2D image-based image security system according to the prior art detects objects and events, and is affected by environmental factors such as lighting, weather, color, etc. In particular, identification of objects is not possible in night situations when sufficient light is not secured. It is difficult to acquire the image itself.

종래 기술에 따르면, 이러한 외부 환경 요소에 의한 문제점을 해결하기 위해, 3D Depth 기반의 이상 행위 인지 기술이 개발되고 있지만, 인지 정확도가 낮고 처리 속도가 늦어 실시간으로 입력되는 영상을 처리하기 어려운 문제점이 있다. According to the prior art, 3D Depth-based abnormal behavior recognition technology has been developed to solve the problems caused by external factors, but it is difficult to process an image input in real time due to low recognition accuracy and slow processing speed. .

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 3D Depth 영상 입력 기반으로 CNN을 활용한 시공간 영상 데이터 분석을 통해 이상 행위를 분석하는 장치 및 방법을 제안하며, End-to-End 구조를 이용하여 영상 데이터를 처리하고 비교적 적은 수의 Layer 구성을 통해 실시간으로 이상 행위 인지가 가능한 장치 및 방법을 제안한다. The present invention is proposed to solve the above-mentioned problems, and proposes an apparatus and method for analyzing anomalous behavior through analysis of spatio-temporal image data using CNN as a 3D depth image input, using an end-to-end structure We propose an apparatus and method that can process image data and recognize abnormal behavior in real time through a relatively small number of layers.

본 발명의 실시예에 따르면, 3D Depth 영상 기반으로 이상 행위를 인지하되, 다양한 환경적인 요소를 극복하고, 3D Depth 영상 및 딥러닝을 활용하여 실시간 영상 처리 및 이상 행위 인지가 가능하며, 영상 보안 시스템에 적용되어 개인 신변 안전을 보장하고 범죄를 예방하는 것이 가능하다. According to an embodiment of the present invention, it recognizes anomalous behavior based on 3D depth image, overcomes various environmental factors, and enables real-time image processing and anomaly recognition using 3D depth image and deep learning, and an image security system It is applied to ensure personal safety and prevent crime.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 장치를 나타내는 블록도이다. 1 is a block diagram illustrating a deep learning-based abnormal behavior recognition apparatus according to an embodiment of the present invention.

전술한 바와 같이, 종래 기술에 따르면, 다양한 환경 변화가 존재하는 상황에서 2D 영상을 이용하여 이상 행위를 인지하기 어렵기 때문에 효율적인 영상 보안 서비스를 수행할 수 없다. As described above, according to the conventional technology, it is difficult to recognize an abnormal behavior using a 2D image in a situation in which various environmental changes exist, and thus an efficient image security service cannot be performed.

따라서, 본 발명의 실시예에 따르면 조명, 날씨, 컬러 등 다양한 환경 변화에 강인한 3D Depth 영상 정보에 대해 CNN(Convolutional Neural Network)을 활용한 시공간 영상 데이터 분석을 수행하여, 이상 행위를 분석한다. Accordingly, according to an embodiment of the present invention, spatiotemporal image data analysis using CNN (Convolutional Neural Network) is performed on 3D Depth image information that is robust to various environmental changes such as lighting, weather, and color to analyze abnormal behavior.

본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 장치는 3D 영상을 수신하는 영상 수신부(100)와, 3D 영상을 분석하여 이상 행위 여부를 판단하는 프로그램이 저장된 메모리(200) 및 프로그램을 실행시키는 프로세서(300)를 포함하고, 프로세서(300)는 3D 영상에 대해 딥러닝을 이용한 시공간 영상데이터 분석을 수행하여 이상 행위 인지 모델을 생성하고, 이상 행위를 추정한다. The apparatus for recognizing anomalous behavior based on deep learning according to an embodiment of the present invention includes an image receiving unit 100 for receiving a 3D image, a memory 200 storing a program for determining whether an abnormal behavior is analyzed by analyzing the 3D image, and a program to be executed. A processor 300 is included, and the processor 300 performs space-time image data analysis using deep learning on the 3D image to generate an abnormal behavior recognition model and estimates the abnormal behavior.

프로세서(300)는 딥러닝 기반 영상 학습을 위한 3D 영상을 수신하고, 깊이 값 차이를 계산하여 객체를 배경으로부터 분리하여 추출 및 추적하고, 인지 행위에 대한 Ground Truth 자료를 생성하고, Convolutional 3D 네트워크 구조를 기반으로 이상 행위 분석을 위한 네트워크 모델을 구현하고, 이상 행위 인지 모델을 생성한다. The processor 300 receives a 3D image for deep learning-based image learning, calculates a depth value difference, separates and tracks an object from the background, generates ground truth data for cognitive behavior, and creates a convolutional 3D network structure Based on this, we implement a network model for analyzing anomalies and generate an anomaly recognition model.

프로세서(300)는 이상 행위 인지 모델을 이용하여 실제 깊이 영상 데이터를 분석하고, 이상 행위가 추정되면 알림을 보안 시스템에 제공한다. The processor 300 analyzes the actual depth image data using the abnormal behavior recognition model, and provides an alert to the security system when the abnormal behavior is estimated.

본 발명의 실시예에 따르면, End-to-End 구조를 이용하여 영상 데이터를 처리하고 비교적 적은 수의 Layer 구성을 통해 실시간으로 이상 행위 인지가 가능하다. According to an embodiment of the present invention, it is possible to recognize abnormal behavior in real time through a relatively small number of layer configurations by processing image data using an end-to-end structure.

본 발명의 실시예에 따른 프로세서(300)는 딥러닝 기반 영상 학습을 위한 Depth 영상 데이터 취득 및 전처리 단계를 수행하며, 이 때, 영상 데이터 학습을 위한 Depth 영상 데이터를 취득하고, 취득된 영상에서 배경 모델링 방법을 통해 객체를 추출한다. The processor 300 according to an embodiment of the present invention performs depth image data acquisition and preprocessing steps for deep learning-based image learning, and at this time, acquires depth image data for image data learning and backgrounds from the acquired image The object is extracted through the modeling method.

객체를 추출하는 과정은 객체 추출을 위한 Depth 영상 배경 모델링 과정, 객체와 배경 간의 Depth 값 차이 계산 과정, 객체에 해당하는 블랍(Blob)을 배경에서 분리 후 객체를 추출하는 과정, 이전 프레임과 비교하여 블랍을 중심으로 L2-norm이 최소가 되는 블랍을 동일객체로 트래킹하는 과정을 포함한다. The process of extracting the object is the process of modeling the depth image background for object extraction, the process of calculating the difference in depth value between the object and the background, the process of extracting the object after separating the blob corresponding to the object from the background, and comparing it with the previous frame. And tracking the blob with the smallest L2-norm around the blob as the same object.

도 2a 내지 2d는 본 발명의 실시예에 따른 깊이 영상 데이터에 대한 전처리 과정을 도시하는 것으로, 각각 배경 이미지 모델링, 객체/배경 깊이 값 차이 계산, 객체 추출 및 객체 트래킹 과정을 도시한다. 2A to 2D illustrate a pre-processing process for depth image data according to an embodiment of the present invention, each showing a background image modeling, object / background depth value difference calculation, object extraction and object tracking process.

본 발명의 실시예에 따른 프로세서(300)는 학습 Depth 영상 데이터 GT 생성을 수행하며, 이 때, 이상 행위 인지를 위해 행위 시작 시간, 행위 종료 시간, 행위명에 대한 GT를 생성한다. The processor 300 according to an embodiment of the present invention performs learning depth image data GT generation, and at this time, generates an action start time, action end time, and action name GT for recognition of an abnormal action.

예컨대 인지 행위로는 배회, 펀치, 발차기, 쓰러짐, 군집, 집단 구타, 가상 경로 통과, 기물 파손, 나타남, 사라짐, 위장, 버림이 포함되고, 본 발명의 실시예에 따르면 배경에서 객체를 추출하여 학습을 수행함으로써, 배경 변화에 의한 영향을 덜 받게 되는 효과가 있다. For example, cognitive behavior includes roaming, punching, kicking, collapsing, clustering, group beating, passage through virtual paths, vandalism, appearance, disappearance, camouflage, and discarding. By performing learning, there is an effect that is less affected by background changes.

본 발명의 실시예에 따른 프로세서(300)는 영상 학습 데이터에 대해 딥러닝 기반으로 시공간 분석을 수행하며, Convolutional 3D 네트워크 구조를 기반으로 이상 행위 분석을 위한 네트워크 모델을 구현하고, End-to-End 구조를 이용하여 영상 데이터를 처리하고 비교적 적은 수의 Layer 구성을 통해 실시간 이상 행위 인지가 가능하다. 도 3은 본 발명의 실시예에 따른 딥러닝을 활용한 시공간 분석을 위한 네트워크 구조를 도시한다. The processor 300 according to an embodiment of the present invention performs space-time analysis based on deep learning on image learning data, implements a network model for analyzing abnormal behavior based on a convolutional 3D network structure, and end-to-end It is possible to recognize abnormal behavior in real time by processing image data using a structure and configuring relatively few layers. 3 shows a network structure for spatiotemporal analysis using deep learning according to an embodiment of the present invention.

본 발명의 실시예에 따르면, 딥러닝 기반 이상 행위 인지 모델이 생성되고, 이 때 학습 영상 데이터를 딥러닝 기반 이상 행위 인지 모델에 50 epoch 정도 학습시킴으로써, 이상 행위 인지 모델을 생성한다. According to an embodiment of the present invention, a deep learning based abnormal behavior recognition model is generated, and at this time, an abnormal behavior recognition model is generated by learning about 50 epochs of the learning image data into the deep learning based abnormal behavior recognition model.

본 발명의 실시예에 따른 프로세서는 실제 Depth 영상 데이터를 입력 받아 이상 행위를 추정하고, 이벤트 알림을 수행하며, 이상 행위 인지 모델에 실제 Depth 영상 데이터를 입력 받아 이상 행위를 추정하고, 이상 행위 여부를 사용자에게 알려준다. The processor according to an embodiment of the present invention receives the actual depth image data, estimates the abnormal behavior, performs event notification, receives the actual depth image data in the abnormal behavior recognition model, estimates the abnormal behavior, and determines whether the abnormal behavior Inform the user.

도 4는 본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 방법을 나타내는 순서도이다. 4 is a flowchart illustrating a deep learning-based abnormal behavior recognition method according to an embodiment of the present invention.

본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 방법은 3D 깊이 영상 정보를 수신하는 단계(S410)와, 3D 깊이 영상 정보를 이용하여 딥러닝 기반으로 시공간 분석을 수행하여 학습을 수행하고, 이상 행위 인지 모델을 생성하는 단계(S420) 및 이상 행위 인지 모델을 이용하여, 실제 깊이 영상 데이터를 분석하고 이상 행위 여부를 판단하는 단계(S430)를 포함한다. The method for recognizing an abnormal behavior based on deep learning according to an embodiment of the present invention includes receiving 3D depth image information (S410), and performing learning by performing spatiotemporal analysis based on deep learning using 3D depth image information, and performing an abnormality. It includes a step of generating a behavior recognition model (S420) and a step of analyzing the actual depth image data and determining whether the behavior is abnormal using the abnormal behavior recognition model (S430).

S420 단계는 객체를 배경으로부터 분리하여 추출 및 추적하고, 행위 시작 및 종료 시간, 행위명에 대한 Ground Truth 자료를 생성한다. In step S420, the object is separated from the background, extracted and tracked, and ground truth data for the action start and end times and the action name is generated.

S420 단계는 객체 추출을 위한 Depth 영상 배경 모델링 과정, 객체와 배경 간의 Depth 값 차이 계산 과정, 객체에 해당하는 블랍(Blob)을 배경에서 분리 후 객체를 추출하는 과정, 이전 프레임과 비교하여 블랍을 중심으로 L2-norm이 최소가 되는 블랍을 동일객체로 트래킹하는 과정을 포함한다. In step S420, the depth image background modeling process for object extraction, the process of calculating the difference in depth value between the object and the background, the process of separating the blob corresponding to the object from the background, and extracting the object, and comparing the previous frame with the center of the blob It includes the process of tracking the blob where L2-norm is the minimum as the same object.

S420 단계는 Ground Truth 자료 생성을 수행함에 있어서, 행위 시작 시간, 행위 종료 시간, 행위명에 대한 GT를 생성한다. In step S420, in generating ground truth data, a GT for an action start time, an action end time, and an action name is generated.

S420 단계는 영상 학습 데이터에 대해 딥러닝 기반으로 시공간 분석을 수행하며, Convolutional 3D 네트워크 구조를 기반으로 이상 행위 분석을 위한 네트워크 모델을 구현한다. In step S420, spatiotemporal analysis is performed based on deep learning on the image learning data, and a network model for analyzing anomalous behavior is implemented based on a convolutional 3D network structure.

S430 단계는 실제 깊이 영상 데이터를 입력 받아 이상 행위를 추정하고, 이벤트 알림을 수행하며, 이상 행위 인지 모델에 실제 깊이 영상 데이터를 입력 받아 이상 행위를 추정하고, 이상 행위 여부를 사용자에게 알려준다. In step S430, the actual depth image data is input to estimate the abnormal behavior, the event notification is performed, the actual depth image data is input to the abnormal behavior recognition model to estimate the abnormal behavior, and the user is informed of the abnormal behavior.

한편, 본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.On the other hand, the deep learning-based abnormal behavior recognition method according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. The computer system may include at least one processor, memory, a user input device, a data communication bus, a user output device, and storage. Each of the above-described components communicates through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system can further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in memory and / or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or nonvolatile storage media. For example, the memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 딥러닝 기반 이상 행위 인지 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인지 방법을 수행할 수 있다.Accordingly, the deep learning-based abnormal behavior recognition method according to an embodiment of the present invention may be implemented in a method executable on a computer. When the deep learning-based abnormal behavior recognition method according to an embodiment of the present invention is performed on a computer device, computer-readable instructions may perform the recognition method according to the present invention.

한편, 상술한 본 발명에 따른 딥러닝 기반 이상 행위 인지 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the above-described deep learning-based abnormal behavior recognition method according to the present invention may be implemented as a computer-readable code on a computer-readable recording medium. Computer-readable recording media includes all kinds of recording media storing data that can be read by a computer system. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, and an optical data storage device. In addition, the computer-readable recording medium may be distributed over computer systems connected through a computer communication network, and stored and executed as code readable in a distributed manner.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, we have focused on embodiments of the present invention. Those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in terms of explanation, not limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range should be interpreted as being included in the present invention.

100: 영상 수신부 200: 메모리
300: 프로세서 100: image receiving unit 200: memory
300: processor

Claims (7)

3D 영상을 수신하는 영상 수신부;
상기 3D 영상을 분석하여 이상 행위 여부를 판단하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 3D 영상에 대해 딥러닝을 이용한 시공간 영상데이터 분석을 수행하여 이상 행위 인지 모델을 생성하고, 이상 행위를 추정하는 것
인 딥러닝 기반 이상 행위 인지 장치.
An image receiving unit that receives a 3D image;
A memory in which a program for determining whether an abnormal behavior is performed by analyzing the 3D image is stored; And
It includes a processor for executing the program,
The processor performs space-time image data analysis using deep learning on the 3D image to generate an abnormal behavior recognition model and estimates the abnormal behavior
Deep learning-based anomaly recognition device.
제1항에 있어서,
상기 프로세서는 딥러닝 기반 영상 학습을 위한 상기 3D 영상을 수신하고, 깊이 값 차이를 계산하여 객체를 배경으로부터 분리하여 추출 및 추적하고, 인지 행위에 대한 Ground Truth 자료를 생성하고, Convolutional 3D 네트워크 구조를 기반으로 이상 행위 분석을 위한 네트워크 모델을 구현하고, 상기 이상 행위 인지 모델을 생성하는 것
인 딥러닝 기반 이상 행위 인지 장치.
According to claim 1,
The processor receives the 3D image for deep learning-based image learning, calculates a depth value difference, separates and extracts an object from the background, traces it, generates ground truth data for cognitive behavior, and constructs a convolutional 3D network structure. Implementing a network model for analyzing anomalous behavior based on it and generating the anomaly recognition model
Deep learning-based anomaly recognition device.
제1항에 있어서,
상기 프로세서는 상기 이상 행위 인지 모델을 이용하여 실제 깊이 영상 데이터를 분석하고, 이상 행위가 추정되면 알림을 보안 시스템에 제공하는 것
인 딥러닝 기반 이상 행위 인지 장치.
According to claim 1,
The processor analyzes actual depth image data using the abnormal behavior recognition model, and provides an alert to the security system when the abnormal behavior is estimated
Deep learning-based anomaly recognition device.
(a) 3D 깊이 영상 정보를 수신하는 단계;
(b) 상기 3D 깊이 영상 정보를 이용하여 딥러닝 기반으로 시공간 분석을 수행하여 학습을 수행하고, 이상 행위 인지 모델을 생성하는 단계; 및
(c) 상기 이상 행위 인지 모델을 이용하여, 실제 깊이 영상 데이터를 분석하고 이상 행위 여부를 판단하는 단계
를 포함하는 딥러닝 기반 이상 행위 인지 방법.
(a) receiving 3D depth image information;
(b) performing spatiotemporal analysis based on deep learning using the 3D depth image information to perform learning, and generating an abnormal behavior recognition model; And
(c) using the abnormal behavior recognition model, analyzing actual depth image data and determining whether the behavior is abnormal
Deep learning based anomaly recognition method comprising a.
제4항에 있어서,
상기 (b) 단계는 객체를 배경으로부터 분리하여 추출 및 추적하고, 행위 시작 및 종료 시간, 행위명에 대한 Ground Truth 자료를 생성하는 것
인 딥러닝 기반 이상 행위 인지 방법.
The method of claim 4,
In step (b), the object is separated from the background, extracted and tracked, and the ground truth data for the action start and end times and the action name is generated.
Deep learning-based anomaly recognition method.
제5항에 있어서,
상기 (b) 단계는 CNN을 이용한 시공간 분석을 통해 네트워크 모델을 구현하고, 상기 이상 행위 인지 모델을 생성하는 것
인 딥러닝 기반 이상 행위 인지 방법.
The method of claim 5,
In step (b), the network model is implemented through space-time analysis using CNN, and the abnormal behavior recognition model is generated.
Deep learning-based anomaly recognition method.
제4항에 있어서,
상기 (c) 단계는 상기 이상 행위 인지 모델을 이용하여 실제 깊이 영상 데이터를 분석하고, 이상 행위가 추정되면 알림을 보안 시스템에 제공하는 것
인 딥러닝 기반 이상 행위 인지 방법. The method of claim 4,
The step (c) analyzes the actual depth image data using the abnormal behavior recognition model, and provides an alert to the security system when the abnormal behavior is estimated
Deep learning-based anomaly recognition method.
KR1020180136243A 2018-11-08 2018-11-08 Apparatus and method for recognizing abnormal action based on deep learning KR20200055812A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180136243A KR20200055812A (en) 2018-11-08 2018-11-08 Apparatus and method for recognizing abnormal action based on deep learning
PCT/KR2018/013948 WO2020096111A1 (en) 2018-11-08 2018-11-15 Deep learning-based abnormal behavior recognition device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180136243A KR20200055812A (en) 2018-11-08 2018-11-08 Apparatus and method for recognizing abnormal action based on deep learning

Publications (1)

Publication Number Publication Date
KR20200055812A true KR20200055812A (en) 2020-05-22

Family

ID=70611022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180136243A KR20200055812A (en) 2018-11-08 2018-11-08 Apparatus and method for recognizing abnormal action based on deep learning

Country Status (2)

Country Link
KR (1) KR20200055812A (en)
WO (1) WO2020096111A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261656A1 (en) * 2020-06-25 2021-12-30 주식회사 자비스넷 Apparatus and system for providing security monitoring service based on edge computing, and operation method therefor
WO2022097805A1 (en) * 2020-11-04 2022-05-12 한국전자기술연구원 Method, device, and system for detecting abnormal event

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114938300A (en) * 2022-05-17 2022-08-23 浙江木链物联网科技有限公司 Industrial control system situation perception method and system based on equipment behavior analysis

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636370B1 (en) * 2009-11-10 2016-07-05 삼성전자주식회사 Image processing apparatus and method
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
KR102217253B1 (en) * 2014-02-24 2021-02-17 주식회사 케이티 Apparatus and method for analyzing behavior pattern
KR101593187B1 (en) * 2014-07-22 2016-02-11 주식회사 에스원 Device and method surveiling innormal behavior using 3d image information
KR101891887B1 (en) * 2016-09-08 2018-08-24 연세대학교 산학협력단 Image processing method, apparatus for predicting dangerous situation and method, server for predicting dangerous situation using thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261656A1 (en) * 2020-06-25 2021-12-30 주식회사 자비스넷 Apparatus and system for providing security monitoring service based on edge computing, and operation method therefor
KR20220000172A (en) * 2020-06-25 2022-01-03 주식회사 자비스넷 An apparatus and a system for providing a security surveillance service based on edge computing and a method for operating them
WO2022097805A1 (en) * 2020-11-04 2022-05-12 한국전자기술연구원 Method, device, and system for detecting abnormal event
KR20220060587A (en) * 2020-11-04 2022-05-12 한국전자기술연구원 Method, apparatus and system for detecting abnormal event

Also Published As

Publication number Publication date
WO2020096111A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
US10672140B2 (en) Video monitoring method and video monitoring system
US10059569B2 (en) Monitoring system of a passenger conveyor, a passenger conveyor, and a monitoring method thereof
KR101764845B1 (en) A video surveillance apparatus for removing overlap and tracking multiple moving objects and method thereof
US7639840B2 (en) Method and apparatus for improved video surveillance through classification of detected objects
KR102217253B1 (en) Apparatus and method for analyzing behavior pattern
Chen et al. An enhanced segmentation on vision-based shadow removal for vehicle detection
DK2377044T3 (en) DETECTING ANORMAL EVENTS USING A LONG TIME MEMORY IN A VIDEO ANALYSIS SYSTEM
JP2016072964A (en) System and method for subject re-identification
KR101653278B1 (en) Face tracking system using colar-based face detection method
KR20200055812A (en) Apparatus and method for recognizing abnormal action based on deep learning
KR101872811B1 (en) Apparatus and method for action pattern recognition, and method for generating of action pattern classifier
US20210225013A1 (en) System and method for re-identifying target object based on location information of cctv and movement information of object
WO2010030816A2 (en) Long-term memory in a video analysis system
EP3690736A1 (en) Method of processing information from an event-based sensor
Beghdadi et al. Towards the design of smart video-surveillance system
EP4260298A1 (en) Occlusion-aware prediction of human behavior
KR20210100937A (en) Device for identifying the situaton of object's conduct using sensor fusion
US20190325306A1 (en) Device and a method for processing data sequences using a convolutional neural network
Duque et al. The OBSERVER: An intelligent and automated video surveillance system
Dave et al. Statistical survey on object detection and tracking methodologies
Attard et al. Vision based surveillance system
KR20190125569A (en) Method and Apparatus for Generating Scene Situation Information of Video Using Differentiation of Image Feature and Supervised Learning
Sathesh et al. Speedy detection module for abandoned belongings in airport using improved image processing technique
CN115346143A (en) Behavior detection method, electronic device, and computer-readable medium
WO2020139071A1 (en) System and method for detecting aggressive behaviour activity