KR20210013865A - 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법 - Google Patents

생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR20210013865A
KR20210013865A KR1020190091604A KR20190091604A KR20210013865A KR 20210013865 A KR20210013865 A KR 20210013865A KR 1020190091604 A KR1020190091604 A KR 1020190091604A KR 20190091604 A KR20190091604 A KR 20190091604A KR 20210013865 A KR20210013865 A KR 20210013865A
Authority
KR
South Korea
Prior art keywords
feature data
abnormal behavior
person
learning
data
Prior art date
Application number
KR1020190091604A
Other languages
English (en)
Inventor
임도형
임근옥
Original Assignee
에스앤즈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스앤즈 주식회사 filed Critical 에스앤즈 주식회사
Priority to KR1020190091604A priority Critical patent/KR20210013865A/ko
Publication of KR20210013865A publication Critical patent/KR20210013865A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G06K9/00201—
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템은 촬영장치가 촬영한 영상정보를 저장하는 데이터베이스; 상기 데이터베이스에 저장된 영상에 포함된 사람 이미지에서 복수 개의 특징포인트를 추출하는 추출장치; 및 상기 추출장치로부터 상기 복수 개의 특징포인트에 기초한 제1 특징데이터를 연속적으로 전달받고, 미리 설정된 시간동안의 상기 제1 특징데이터의 변화상태 및 학습된 판별기준의 비교결과에 기초하여 사람의 비정상 행동 여부를 판단하는 판별장치;를 포함하고, 상기 판별장치는 생성적 대립 네트워크(Generative Adversarial Network: GAN)를 이용한 학습을 통하여 상기 판별기준을 생성한다.

Description

생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법{ABNORMAL BEHAVIOR DETECTION SYSTEM AND METHOD USING GENERATIVE ADVERSARIAL NETWORK}
본 발명은 사람의 비정상 행동 탐지 시스템 및 방법에 관한 것으로 구체적으로는 생성적 대립 네트워크(Generative Adversarial Network: GAN)를 이용한 학습을 통하여 생성된 판별기준을 활용하여 사람의 비정상 행동을 탐지하는 시스템 및 방법에 관한 것이다.
일반적으로 CCTV(Closed circuit television, 폐쇄 회로 텔레비전)는 화상정보를 특정 목적으로 특정 대상자에게만 전달하는 장치를 말하며, 최근에는 길거리와 건물 내부 등 다양한 장소에의 설치량이 늘어나고 있는 추세이다.
이러한 CCTV는 설치만으로도 상당한 범죄 예방 효과를 얻을 수 있고, 범죄 사건이 발생하는 경우에도 영상 증거의 수집이 가능하며, CCTV를 관찰하는 관제 요원에 의해 범인의 이동 동선이 즉시 보고되어 범인 검거에 활용될 수 있는 등의 효과를 얻을 수 있으나, 즉각적인 사건 발생의 인지 및 범인 검거를 위해서는 24시간 관제 요원이 항시 CCTV로 촬영되는 화면을 감시하여야 하는 문제점이 있다.
따라서 CCTV로 촬영된 영상에서의 이동 객체인 사람의 비정상 행동을 탐지하고 이에 기초하여 자동으로 경고신호를 발생하는 시스템의 필요성이 대두되고 있다.
특히, CCTV로 촬영된 영상에서의 사람의 비정상 행동 탐지의 정교성을 향상시키기 위하여 기계학습을 활용하는 방안을 고려할 수 있으며, 이러한 머신러닝을 위한 알고리즘과 방법론이 최근 다양하게 제시되고 있다.
기계학습에서 필요한 것은 무엇보다도 많은 데이터를 이용하여 학습을 수행하는 것이이며, 데이터를 확보하기 위해서는 수많은 데이터들 중에서 학습에 적합한 데이터를 선정하고 이를 학습의 결과값과 연결시키는 것이 필요하다.
딥러닝은 이러한 학습에 기반한 기술이며, 수많은 데이터에 기반한 지도 학습 방식으로 컨볼루셔널 신경망(CNN, Convolutional Neural Network)이나 재귀신경망(RNN, Reccurrent Neural Network) 등이 있다.
그러나 상술한 지도학습 방식의 경우 수많은 정답에 대한 정보 데이터를 필요로 하기 때문에 적용이 쉽지 않은 문제점이 있다.
따라서 레이블링 데이터 없이 잰행하는 비지도 학습 기술에 대한 관심이 증가하고 있는데, 최근 생성적 대립 네트워크(Generative Adversarial Network: GAN)는 정답에 대한 정보를 제공하지 않으면서 진짜 같은 데이터를 생성하는 기술이 제안되어 활용되고 있다.
이러한 생성적 대립 네트워크의 경우 데이터를 생성하여 진짜 데이터와 구별할 수 없게 만들기 위해서는 데이터를 모조품으로 만들어야 하는 역할(생성기)과 이 데이터가 모조품인지 아닌지를 구별하는 역할(판별기)가 주어져야 한다.
상술한 생성기와 판별기간의 상호 작용을 통해 정답 정보 데이터의 사용 없이 기계학습을 좀 더 효율적이고 정교하게 수행될 수 있게 된다.
한편, 하기 선행기술문헌에는 소정의 영역을 촬영하고, 촬영된 영상을 출력하는 카메라부와 카메라부로부터 영상을 공급받아 영상에서 감시영역과 감시영역 내에서 로이터링의 시간에 대한 임계값을 설정하면서 보행자가 설정된 감시영역 내에서 서성거리는 동안에 로이터링값과 로이터링의 시간에 대한 임계값을 비교하고 알림을 발생하는 메인서버부를 포함하는 보행자 추적기를 이용한 서성거림 탐지 장치를 개시하고 있을 뿐 본 발명의 기술적 요지를 개시하고 있지 않다.
대한민국 등록특허공보 제10-1454644호
본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법은 상술한 문제점을 해소하기 위하여 다음과 같은 해결과제를 목적으로 한다.
CCTV 등의 촬영장치가 촬영한 영상정보에 기초하여 사람의 비정상 행동 여부를 정교하게 판단하고, 이에 기초하여 경고신호를 생성할 수 있는 사람의 비정상 행동 탐지 시스템 및 방법을 제공하는 것이다.
또한, 데이터 처리량을 최소화함으로써 자원의 낭비 없이 효율적으로 사람의 비정상 행동 탐지를 수행할 수 있는 시스템 및 방법을 제공하는 것이다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어 질 수 있을 것이다.
본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템은 촬영장치가 촬영한 영상정보를 저장하는 데이터베이스; 상기 데이터베이스에 저장된 영상에 포함된 사람 이미지에서 복수 개의 특징포인트를 추출하는 추출장치; 및 상기 추출장치로부터 상기 복수 개의 특징포인트에 기초한 제1 특징데이터를 연속적으로 전달받고, 미리 설정된 시간동안의 상기 제1 특징데이터의 변화상태 및 학습된 판별기준의 비교결과에 기초하여 사람의 비정상 행동 여부를 판단하는 판별장치;를 포함하고, 상기 판별장치는 생성적 대립 네트워크(Generative Adversarial Network: GAN)를 이용한 학습을 통하여 상기 판별기준을 생성한다.
상기 제1 특징포인트는, 2차원 좌표계에서의 좌표값 또는 3차원 좌표계에서의 좌표값인 것이 바람직하다.
상기 제1 특징데이터와 대응되는 제2 특징데이터를 생성하는 생성장치;를 더 포함하는 것이 바람직하다.
상기 판별장치는 상기 제1 특징데이터 및 제2 특징데이터를 구분할 수 있도록 학습되고, 상기 생성장치는 상기 판별장치가 상기 제1 특징데이터 및 제2 특징데이터를 구분할 수 없도록 학습되어 상기 제2 특징데이터를 생성하는 것이 바람직하다.
상기 생성장치는 상기 판별장치의 충분한 학습이 완료된 이후에 제거되는 것이 바람직하다.
상기 판별장치가 사람의 비정상 행동이 있음을 판단하는 경우 경고 신호를 생성하는 경고장치;를 더 포함하는 것이 바람직하다.
본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법은 데이터베이스 상에 촬영장치가 촬영한 영상을 저장하는 단계; 추출장치가 상기 데이터베이스로부터 전달받은 영상의 제1 특징데이터를 연속적으로 추출하는 단계; 판별장치가 상기 추출장치로부터 전달받은 데이터에 기초하여 판별기준을 학습하는 단계; 및 상기 판별장치가 미리 설정된 시간동안의 상기 제1 특징데이터의 변화상태 및 상기 판별기준의 비교 결과에 기초하여 영상 내의 사람의 비정상 행동 여부를 판별하는 단계;를 포함하고, 상기 판별장치는 생성적 대립 네트워크(Generative Adversarial Network: GAN)를 이용한 학습을 통하여 상기 판별기준을 생성한다.
상기 제1 특징데이터를 연속적으로 추출하는 단계는, 상기 추출장치가 상기 데이터베이스에 저장된 영상에 포함된 사람 이미지에서 복수 개의 특징포인트를 추출하는 단계; 및 상기 추출장치가 상기 특징포인트에 기초하여 제1 특징데이터를 생성하는 단계;를 포함하고, 상기 제1 특징데이터는 2차원 좌표계에서의 좌표값 또는 3차원 좌표계에서의 좌표값인 것이 바람직하다.
상기 판별기준을 학습하는 단계는, 생성장치가 상기 제1 특징데이터와 대응되는 제2 특징데이터를 생성하는 단계; 판별장치가 상기 제1 특징데이터 및 제2 특징데이터를 구분하는 단계; 및 상기 판별장치의 구분결과를 상기 생성장치에 피드백하는 단계;를 포함하고, 상기 판별장치는 상기 제1 특징데이터 및 제2 특징데이터를 구분할 수 있도록 학습되고, 상기 생성장치는 상기 판별장치가 상기 제1 특징데이터 및 제2 특징데이터를 구분할 수 없도록 학습되어 상기 제2 특징데이터를 생성하는 것이 바람직하다.
상기 판별기준을 학습하는 단계는 복수 회 반복하여 진행되는 것이 바람직하다.
상기 판별기준을 학습하는 단계 이후에는, 상기 생성장치를 제거하는 단계;를 더 포함하는 것이 바람직하다.
영상 내의 사람의 비정상 행동 여부를 판별하는 단계 이후에는, 상기 판별장치가 사람의 비정상 행동이 있음을 판단하는 경우 경고장치가 경고신호를 생성하는 단계;를 더 포함하는 것이 바람직하다.
본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법은, 판별장치가 사람의 비정상 행동 여부를 판단하는 판별기준을 기계학습을 통하여 생성하되, 생성적 대립 네트워크를 활용하여 판별기준을 생성함으로써 영상에서의 사람의 비정상 행동 여부를 정교하게 판단할 수 있는 효과가 있다.
또한, CCTV 등의 촬영장치가 촬영한 영상에 기초하여 기계학습 등을 수행하지 않고 영상에 포함된 사람 이미지에서 추출된 복수 개의 특징포인트에 기초하여 기계학습 등이 수행됨으로써 자원의 낭비를 방지하고 효율적인 데이터 처리가 가능하다는 효과를 기대할 수 있다.
아울러, 판별장치에서의 판단결과에 기초하여 경고신호를 발생하는 경고장치를 구비함으로써 사람의 비정상 행동 여부를 실시간으로 검출하고 경고를 수행하거나 또는 외부에 알릴 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어질 수 있을 것이다.
도 1은 생성적 대립 네트워크(Generative Adversarial Network: GAN)의 동작 과정을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템의 구성 중 추출장치의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템의 동작 중 판별장치에서의 판별기준 학습을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법을 시계열적으로 특정한 플로우차트이다.
도 6은 도 5에서의 추출장치가 데이터베이스로부터 전달받은 영상의 제1 특징데이터를 연속적으로 추출하는 단계를 세부적으로 도시한 플로우차트이다.
도 7은 도 5에서의 판별장치가 추출장치로부터 전달받은 데이터에 기초하여 판별기준을 학습하는 단계를 세부적으로 도시한 플로우차트이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 발명의 실시예에서 설명하는 추출장치, 생성장치, 판별장치, 경고장치 등은 소프트웨어로 구성되는 모듈이지만, 이들 소프트웨어 모듈이 하드웨어적으로 탑재된 것 역시 일 실시예로 한다. 따라서, 본 명세서에서 각 모듈들을 설명하는 것은 소프트웨어 또는 하드웨어로 구현가능하다.
이하, 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법에 대하여 설명하기에 앞서 도 1을 참조하여 생성적 대립 네트워크에 대하여 먼저 설명하도록 한다.
생성적 대립 네트워크(Generative Adversarial Network: GAN)는 도 1에 도시된 바와 같이 생성기(Generator)(1), 데이터베이스(DB)(2) 및 판별기(Discriminator)(3)로 구성되어 있으며, 구체적으로 생성기(1) 및 판별기(2)는 신경망으로 구성된 네트워크이다.
판별기(3)는 데이터베이스(2) 또는 생성기(1)로부터 데이터를 입력받으며, 이들 데이터 중에서 데이터베이스(2)에서 제공하는 데이터(data_real)와 생성기(10)로부터 제공된 데이터(data_fake)를 판별하도록 학습한다.
반면, 생성기(1)는 판별기(3)에게 제공하는 데이터(data_fake)가 data_real로 판별되도록 학습하며, 즉 판별기(3)가 data_fake를 data_real로 판단하도록 생성기(1)가 학습한다.
두 개의 신경망 학습기(판별기와 생성기)의 학습 방향을 정리해보면, 판별기(3)는 실제 데이터와 생성기(1)에 의해 생성된 데이터를 구분하도록 학습하고, 생성기(1)는 판별기(3)가 구분할 수 없는 데이터를 생성하도록 학습한다.
상기와 같이 반복된 학습에 의하여 판별기(3)는 정상의 행동과 비정상의 행동을 판별할 수 있는 능력을 확보하게 된다.
이하에서는 도 2 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템에 대하여 설명하도록 한다.
본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템(10)은 도 2에 도시된 바와 같이 데이터베이스(100), 추출장치(200) 및 판별장치(300)를 포함하도록 구성된다.
데이터베이스(100)는 건물 내부 및 골목 등에 설치된 CCTV 등의 촬영장치(20)가 촬영한 시계열적인 영상을 저장하는 기능을 수행한다.
추출장치(200)는 데이터베이스(100)로부터 영상을 전달받은 후 영상에 포함된 사람 이미지에서 복수 개의 특징 포인트를 추출한다.
예를 들어, 추출장치(200)는 도 3에 도시된 바와 같이 사람 이미지에서 총 17개의 특징포인트(특징포인트 0 내지 16)를 추출할 수 있으며, 특징포인트의 개수는 17개에 한정되지 않고 필요에 따라 다른 개수로 설정하는 것도 가능하다.
또한 추출장치(200)는 복수 개의 특징포인트를 전처리하여 제1 특징데이터를 생성하는데, 여기에서 제1 특징포인트는 특징포인트의 좌표값인 것이 바람직하다.
구체적으로 촬영장치(100)가 깊이정보를 포함하지 않은 영상을 획득할 경우 제1 특징포인트는 2차원 좌표계에서의 좌표값인 X 좌표값 및 Y 좌표값이며, 촬영장치(100)가 깊이정보를 포함하지 않은 영상을 획득할 경우 제1 특징포인트는 3차원 좌표계에서의 좌표값인 X 좌표값, Y 좌표값 및 Z 좌표값일 수 있다.
예를 들어 촬영장치(100)가 깊이정보를 포함하지 않은 영상을 획득한 상황에서 추출장치(200)가 도 3에 도시된 바와 같이 17개의 특징포인트를 추출하는 경우에는 17개의 각 특징포인트의 X 좌표 및 Y 좌표가 제1 특징데이터로 정의되므로, 도 3의 표에 기재된 바와 같이 하나의 프레임(Frame)당 총 34개(17 * 2)의 제1 특징데이터가 생성된다.
상술한 추출장치(200)에 의하여 대용량의 영상정보를 처리할 필요성이 없어지므로 데이터의 크기가 대폭 감소되며, 이를 통하여 시스템 자원의 낭비를 방지하고 효율적인 시스템 운용이 가능하게 된다.
판별장치(300)는 추출장치(200)로부터 상술한 제1 특징데이터를 연속적으로 전달받은 후, 미리 설정된 시간(프레임) 동안의 제1 특징데이터의 변화상태 및 미리 학습된 판별기준의 비교결과에 기초하여 사람의 비정상 행동 여부를 판단한다.
이러한 판별기준은 트레이닝 데이터를 이용하여 기계학습을 통하여 설정되며, 정교한 판별기준의 설정을 위하여 많은 수의 트레이닝 데이터가 요구되지만, 실질적으로 많은 수의 트레이닝 데이터의 확보가 실질적으로 어려운 점이 많다.
본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템은 상술한 내용을 고려하여 많은 수의 트레이닝 데이터의 확보를 위하여 생성적 대립 네트워크를 이용한 학습을 통하여 판별기준을 생성하며, 이하 도 4를 참조하여 이에 대하여 상세히 설명하도록 한다.
도 4에 도시된 바와 같이 판별장치(100)의 학습을 위하여 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템은 생성장치(400)를 더 포함한다.
생성장치(400)는 촬영장치(20)에 의하여 실제로 촬영된 영상에 기초하여 생성된 제1 특징데이터(Real_Data)와 대응되는 가짜데이터인 제2 특징데이터(Fake_Data)를 생성하는 기능을 수행한다.
여기에서 언급되는 제1 특징데이터 및 제2 특징데이터는 시계열적으로 연속되는 데이터이며, 결국 미리 설정된 시간 또는 프레임 동안의 데이터의 변화 추세를 의미한다.
생성장치(400)에는 랜덤한 노이즈 데이터(Input_Z)가 입력되는데, 이는 GAN의 학습 특징에 기인한 것이며, 노이즈 데이터(Input_Z)와 제1 특징데이터(Real_Data)를 조합하여 생성장치(400)에 입력할 수 있으며, 이를 통하여 생성장치(400)는 다변화된 다수의 특징데이터를 생성할 수 있다.
판별장치(300)는 입력된 제1 특징데이터(Real_Data) 및 제2 특징데이터(Fake_Data)에 대한 진위를 판단하여 Fake/Real의 결과를 산출하게 되며, 이 결과는 생성장치(400)에 제공되어 생성장치(400)가 학습할 수 있도록 한다.
즉, 생성장치(400)는 판별장치(300)의 진위 판단에 기초하여 판별장치(300)가 진짜 데이터로 판별하도록 신경망을 개선하며, 결국 생성장치(400)의 학습이 지속될수록 생성장치(400)는 판별장치(300)가 진짜 데이터라고 판별하도록 신경망을 개선하게 되는 것이다.
상기 내용을 정리해보면 판별장치(300)는 제1 특징데이터 및 제2 특징데이터를 구분할 수 있도록 학습되고, 생성장치(400)는 판별장치(300)가 제1 특징데이터 및 제2 특징데이터를 구분할 수 없도록 학습되어 제2 특징데이터를 생성하게 된다.
상기와 같은 과정을 통하여 판별장치(300)는 사람의 비정상 행동을 좀 더 정확하게 판별할 수 있게 되며, 판별장치(300)와 생성장치(400)의 생성적 대립 네트워크를 이용한 강화학습을 통하여 판별장치(300)의 충분한 학습이 완료된 이후에는 생성장치(400)를 제거할 수 있다.
한편, 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템은 도 1에 도시된 바와 같이 경고장치(500)를 더 포함할 수 있다.
경고장치(500)는 판별장치(300)가 사람의 비정상 행동이 있음을 판단하는 경우 경고신호를 생성하는 기능을 수행하며, 생성된 경고신호는 별도로 구비된 경고신호발생장치(30) 등에 전달되어 경고음 등을 발생시키거나 외부에 연락을 취하도록 할 수 있다.
이하 도 5 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법에 대하여 설명하도록 하되, 상술한 본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템에서 이미 설명한 내용과 중복되는 내용은 그 자세한 설명을 생략하도록 한다.
본 발명의 일 실시예에 따른 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법은 도 5에 도시된 바와 같이 먼저 데이터베이스(100) 상에 촬영장치(20)가 촬영한 영상을 저장하는 단계(S100)가 수행된다.
이후 추출장치(200)가 데이터베이스(100)로부터 전달받은 영상의 제1 특징데이터를 연속적으로 추출하는 단계(S200)가 수행되는데, 여기에서 제1 특징데이터는 2차원 좌표계에서의 좌표값 또는 3차원 좌표계에서의 좌표값인 것이 바람직하다.
특히 제1 특징데이터를 연속적으로 추출하는 단계(S200)는 도 6에 도시된 바와 같이 추출장치(200)가 데이터베이스(100)에 저장된 영상에 포함된 사람 이미지에서 복수 개의 특징포인트를 추출하는 단계(S210)와, 추출장치(200)가 특징포인트에 기초하여 제1 특징데이터를 생성하는 단계(S220)로 세분화될 수 있다.
이후 판별장치(300)가 추출장치(200)로부터 전달받은 데이터에 기초하여 판별기준을 학습하는 단계(S300)가 수행되는데, 판별장치(300)는 생성적 대립 네트워크를 이용한 학습을 통하여 판별기준을 생성한다.
이러한 판별기준을 학습하는 단계(S300)는 도 7에 도시된 바와 같이 3단계로 세분화될 수 있다.
먼저 생성장치(400)가 제1 특징데이터와 대응되는 제2 특징데이터를 생성하는 단계(S310)가 수행되고, 이후 판별장치(300)가 제1 특징데이터 및 제2 특징데이터를 구분하는 단계(S320)가 수행된 후, 판별장치(300)의 구분결과를 생성장치(S330)에 피드백하는 단계(S330)가 수행된다.
상기 과정에 의하여 판별장치(300)는 제1 특징데이터 및 제2 특징데이터를 구분할 수 있도록 학습되고, 생성장치(400)는 판별장치(300)가 제1 특징데이터 및 제2 특징데이터를 구분할 수 없도록 학습되어 제1 특징데이터와 매우 유사한 제2 특징데이터를 생성한다.
이를 통하여 생성된 판별기준에 의하여 판별장치(300)는 사람의 비정상 행동 탐지를 정교하게 수행할 수 있게 된다.
한편, 도 7의 단계는 판별장치(300)의 충분한 학습을 위하여 복수 회 반복하여 진행되는 것이 바람직하며, 판별장치(300)의 충분한 학습이 완료되면 판별기준을 학습하는 단계(S300) 이후에 생성장치(400)를 제거하는 단계(S400)가 수행된다.
이후, 판별장치(300)가 미리 설정된 시간 또는 프레임 동안의 제1 특징데이터의 변화상태 및 판별기준의 비교 결과에 기초하여 영상 내의 사람의 비정상 행동 여부를 판별하는 단계(S500)가 수행된다.
마지막으로 판별장치(300)가 영상 내의 사람의 비정상 행동이 있음을 판단하는 경우 경고장치(500)가 경고신호를 생성하는 단계(S600)가 수행된다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
전술된 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해되어야 하며, 본 발명의 범위는 전술된 상세한 설명보다는 후술될 특허청구범위에 의해 나타내어질 것이다. 그리고 이 특허청구범위의 의미 및 범위는 물론, 그 등가개념으로부터 도출되는 모든 변환 및 변형 가능한 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템
20: 촬영장치
30: 경고신호발생장치
100: 데이터베이스
200: 추출장치
300: 판별장치
400: 생성장치
500: 경고장치

Claims (12)

  1. 촬영장치가 촬영한 영상정보를 저장하는 데이터베이스;
    상기 데이터베이스에 저장된 영상에 포함된 사람 이미지에서 복수 개의 특징포인트를 추출하는 추출장치; 및
    상기 추출장치로부터 상기 복수 개의 특징포인트에 기초한 제1 특징데이터를 연속적으로 전달받고, 미리 설정된 시간동안의 상기 제1 특징데이터의 변화상태 및 학습된 판별기준의 비교결과에 기초하여 사람의 비정상 행동 여부를 판단하는 판별장치;
    를 포함하고,
    상기 판별장치는 생성적 대립 네트워크(Generative Adversarial Network: GAN)를 이용한 학습을 통하여 상기 판별기준을 생성하는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템.
  2. 청구항 1에 있어서, 상기 제1 특징포인트는,
    2차원 좌표계에서의 좌표값 또는 3차원 좌표계에서의 좌표값인 것을 특징으로 하는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템.
  3. 청구항 1에 있어서,
    상기 제1 특징데이터와 대응되는 제2 특징데이터를 생성하는 생성장치;
    를 더 포함하는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템.
  4. 청구항 3에 있어서,
    상기 판별장치는 상기 제1 특징데이터 및 제2 특징데이터를 구분할 수 있도록 학습되고,
    상기 생성장치는 상기 판별장치가 상기 제1 특징데이터 및 제2 특징데이터를 구분할 수 없도록 학습되어 상기 제2 특징데이터를 생성하는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템.
  5. 청구항 3에 있어서,
    상기 생성장치는 상기 판별장치의 충분한 학습이 완료된 이후에 제거되는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템.
  6. 청구항 1에 있어서,
    상기 판별장치가 사람의 비정상 행동이 있음을 판단하는 경우 경고 신호를 생성하는 경고장치;를 더 포함하는 것을 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템.
  7. 데이터베이스 상에 촬영장치가 촬영한 영상을 저장하는 단계;
    추출장치가 상기 데이터베이스로부터 전달받은 영상의 제1 특징데이터를 연속적으로 추출하는 단계;
    판별장치가 상기 추출장치로부터 전달받은 데이터에 기초하여 판별기준을 학습하는 단계; 및
    상기 판별장치가 미리 설정된 시간동안의 상기 제1 특징데이터의 변화상태 및 상기 판별기준의 비교 결과에 기초하여 영상 내의 사람의 비정상 행동 여부를 판별하는 단계;
    를 포함하고,
    상기 판별장치는 생성적 대립 네트워크(Generative Adversarial Network: GAN)를 이용한 학습을 통하여 상기 판별기준을 생성하는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법.
  8. 청구항 7에 있어서, 상기 제1 특징데이터를 연속적으로 추출하는 단계는,
    상기 추출장치가 상기 데이터베이스에 저장된 영상에 포함된 사람 이미지에서 복수 개의 특징포인트를 추출하는 단계; 및
    상기 추출장치가 상기 특징포인트에 기초하여 제1 특징데이터를 생성하는 단계;
    를 포함하고,
    상기 제1 특징데이터는 2차원 좌표계에서의 좌표값 또는 3차원 좌표계에서의 좌표값인 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법.
  9. 청구항 8에 있어서, 상기 판별기준을 학습하는 단계는,
    생성장치가 상기 제1 특징데이터와 대응되는 제2 특징데이터를 생성하는 단계;
    판별장치가 상기 제1 특징데이터 및 제2 특징데이터를 구분하는 단계; 및
    상기 판별장치의 구분결과를 상기 생성장치에 피드백하는 단계;
    를 포함하고,
    상기 판별장치는 상기 제1 특징데이터 및 제2 특징데이터를 구분할 수 있도록 학습되고,
    상기 생성장치는 상기 판별장치가 상기 제1 특징데이터 및 제2 특징데이터를 구분할 수 없도록 학습되어 상기 제2 특징데이터를 생성하는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법.
  10. 청구항 9에 있어서,
    상기 판별기준을 학습하는 단계는 복수 회 반복하여 진행되는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법.
  11. 청구항 9에 있어서, 상기 판별기준을 학습하는 단계 이후에는,
    상기 생성장치를 제거하는 단계;
    를 더 포함하는 것을 특징으로 하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법.
  12. 청구항 7에 있어서, 영상 내의 사람의 비정상 행동 여부를 판별하는 단계 이후에는,
    상기 판별장치가 사람의 비정상 행동이 있음을 판단하는 경우 경고장치가 경고신호를 생성하는 단계;
    를 더 포함하는 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 방법.
KR1020190091604A 2019-07-29 2019-07-29 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법 KR20210013865A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190091604A KR20210013865A (ko) 2019-07-29 2019-07-29 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190091604A KR20210013865A (ko) 2019-07-29 2019-07-29 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20210013865A true KR20210013865A (ko) 2021-02-08

Family

ID=74560250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190091604A KR20210013865A (ko) 2019-07-29 2019-07-29 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20210013865A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220137410A (ko) * 2021-04-02 2022-10-12 한국전자통신연구원 행동 목적 달성 여부 인식 장치 및 방법
KR20220169511A (ko) 2021-06-18 2022-12-28 동국대학교 산학협력단 영상 예측 생성적 적대 신경망 기반 영상 예측 장치 및 방법
WO2023096394A1 (ko) * 2021-11-26 2023-06-01 주식회사 공훈 자세유형 판별을 위한 서버 및 그 동작방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101454644B1 (ko) 2013-04-30 2014-10-27 순천향대학교 산학협력단 보행자 추적기를 이용한 서성거림을 탐지하는 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101454644B1 (ko) 2013-04-30 2014-10-27 순천향대학교 산학협력단 보행자 추적기를 이용한 서성거림을 탐지하는 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220137410A (ko) * 2021-04-02 2022-10-12 한국전자통신연구원 행동 목적 달성 여부 인식 장치 및 방법
KR20220169511A (ko) 2021-06-18 2022-12-28 동국대학교 산학협력단 영상 예측 생성적 적대 신경망 기반 영상 예측 장치 및 방법
WO2023096394A1 (ko) * 2021-11-26 2023-06-01 주식회사 공훈 자세유형 판별을 위한 서버 및 그 동작방법

Similar Documents

Publication Publication Date Title
KR101789690B1 (ko) 딥 러닝 기반 보안 서비스 제공 시스템 및 방법
KR101980551B1 (ko) 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법
KR101735365B1 (ko) 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
KR101824446B1 (ko) 강화 학습 기반 cctv용 차량 번호 인식 방법
EP2058777A1 (en) Suspicious behavior detection system and method
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
US20150262068A1 (en) Event detection apparatus and event detection method
JP2018088105A (ja) 監視システム
CN113223046B (zh) 一种监狱人员行为识别的方法和***
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
KR20230004421A (ko) 인공지능 기반의 이상행동 감지 시스템
KR102263512B1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
KR20210013865A (ko) 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법
CN115346060A (zh) 画面异常识别方法、装置、电子设备和存储介质
CN112785809A (zh) 一种基于ai图像识别火情复燃预测方法及***
CN114359976A (zh) 一种基于人物识别的智能安防方法与装置
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
KR102142315B1 (ko) 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법
KR101695127B1 (ko) 영상을 이용한 집단 행동 분석 방법
KR101907442B1 (ko) 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법
KR20190072323A (ko) 영상 감시 시스템 및 영상 감시방법
US20190279477A1 (en) Monitoring system and information processing apparatus
CN111144260A (zh) 一种翻越闸机的检测方法、装置及***
Kumar et al. Computer vision-based early fire detection using machine learning
KR102658563B1 (ko) 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들

Legal Events

Date Code Title Description
E601 Decision to refuse application