KR102149832B1 - 딥러닝 기반의 자동 폭력 감지 시스템 - Google Patents

딥러닝 기반의 자동 폭력 감지 시스템 Download PDF

Info

Publication number
KR102149832B1
KR102149832B1 KR1020180128329A KR20180128329A KR102149832B1 KR 102149832 B1 KR102149832 B1 KR 102149832B1 KR 1020180128329 A KR1020180128329 A KR 1020180128329A KR 20180128329 A KR20180128329 A KR 20180128329A KR 102149832 B1 KR102149832 B1 KR 102149832B1
Authority
KR
South Korea
Prior art keywords
violence
image
deep learning
optical flow
unit
Prior art date
Application number
KR1020180128329A
Other languages
English (en)
Other versions
KR20200052418A (ko
Inventor
최대길
Original Assignee
주식회사 유캔스타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유캔스타 filed Critical 주식회사 유캔스타
Priority to KR1020180128329A priority Critical patent/KR102149832B1/ko
Publication of KR20200052418A publication Critical patent/KR20200052418A/ko
Application granted granted Critical
Publication of KR102149832B1 publication Critical patent/KR102149832B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반의 자동 폭력 감지 시스템에 관한 것으로, 더욱 상세하게는 CCTV에서 녹화한 관제영상을 딥러닝 기반의 영상처리 기법을 이용하여 자동화된 정확도 높은 폭력 또는 이상행동을 감지하고, 이를 클라이언트 PC로 알려줄 수 있도록 구축된 딥러닝 기반의 자동 폭력 감지 시스템에 관한 기술이다.

Description

딥러닝 기반의 자동 폭력 감지 시스템{Automated Violence Detecting System based on Deep Learning}
본 발명은 딥러닝 기반의 자동 폭력 감지 시스템에 관한 것으로, 더욱 상세하게는 CCTV에서 녹화한 관제영상을 딥러닝 기반의 영상처리 기법을 이용하여 자동화된 정확도 높은 폭력 또는 이상행동을 감지하고, 이를 클라이언트 PC로 알려줄 수 있도록 구축된 딥러닝 기반의 자동 폭력 감지 시스템에 관한 기술이다.
영상 감시 시스템은 지속적으로 확산되면서 매우 다양한 분야에 파급되고 있으며, 기능 또한 단순한 주변 상황 감시형 아날로그 영상 시스템에서 최근에는 자동으로 사물이나 사람의 특징적인 객체를 인식ㆍ추적할 수 있는 네트워크 기반의 지능형(intelligent) 영상 감시 시스템으로 빠르게 발전하고 있다. 감시자가 육안으로 수십대의 카메라를 모니터링하고 있어 범죄 인식 및 실시간 대응이 어려움에 따라, 적은 수의 인력이 효율적으로 감시하기 위하여 컴퓨터에 의한 지능화된 감시 방안들이 도입되었다. 또한, 영상 감시 시스템은 클라우드, 모바일, 데이터 분석 등의 주요 IT 트렌드와 만나면서 데이터 보호와 관리, 초고해상도 영상, 지능형 영상 분석 기술 등이 제공되는 클라우드 기반의 지능형 영상 감시 시스템으로 진화하고 있다.
특히, 국내에서는 우리나라에서는 공공기관을 중심으로 CCTV 영상보안시스템의 상용화가 진행되고 있으며, 행정안전부의 지원으로 기초 지방자치단체 단위로 CCTV 영상통합관제센터를 구축하고 CCTV 카메라 영상 관제를 시행하고 있다. 최근 어린이집에서 아동에 대한 체벌과 폭행 등이 사회적인 문제가 되어 어린이집 CCTV 설치 의무화가 시행되었으며, 학교폭력이 점차 중대한 이슈가 됨에 따라, 학교에 CCTV 설치를 의무화하는 것에 대한 논의가 이루어지고 있다. 또한, 공공기관 CCTV 설치 운영대수는 2013년 565,723대에서 2016년 845,136대로 연평균 증가율 10.5%의 높은 성장률을 보이고 있으며. 범죄예방·시설안전 관리 등 사회질서 유지 필요에 따라 CCTV 설치대수는 지속적으로 증가하고 있다.
종래의 기술을 살펴보면, 대한민국 등록특허공보 제10-1526499호와 같이, 통신 인터페이스가 구비된 적어도 하나 이상의 비디오 카메라; 상기 비디오 카메라로부터 촬영되는 영상데이터를 저장 및 관리하며, 선택된 영상으로부터 조건 지정에 따른 대상 객체를 식별하고, 움직임 객체 추정 시 움직임 객체의 구동축 영역을 판단하도록 영상을 분석하는 영상관리서버; 상기 비디오 카메라의 영상 데이터와 상기 비디오 카메라가 설치된 영역에 존재하는 스마트 장치로부터 수집되는 수집 데이터를 취합하여 영상을 분석하는 지능형 영상분석서버; 및 상기 비디오 카메라와 관제센터 간의 데이터 통신을 중계하며 이더넷 케이블을 통해 상기 비디오 카메라로 전원을 공급하기 위한 PoE 지원 파워 확장 장치;를 포함하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템이 개시되었다.
그러나, 상기 종래문헌의 감시 시스템은, 영상데이터에서 객체를 식별하고 분석함에 있어, 다수의 사람이 등장하는 영상에서도 폭력을 정밀하게 검출하기 위한 정확성이나, 움직임이 많지 않은 영상으로부터 검출을 가능하게 하는 범용성이 떨어진다.
대한민국 등록특허공보 제10-1526499호 (2015.06.01.)
본 발명은 상술한 바와 같은 선행 기술의 문제점을 해결하기 위하여 안출된 것으로, CCTV 등에서 녹화된 관제영상을 처리하여 자동화된 정확도 높은 폭력 또는 이상행동 알림 서비스를 구축할 수 있는 딥러닝 기반의 자동 폭력 감지 시스템을 제공하는 데 그 목적이 있다.
또한, 본 발명은 영상에서 탐지된 사람의 수에 따라 성능이 변하지 않으며, 움직임 기반의 검출 뿐만 아니라 이미지 기반의 흉기 등 검출을 통해 움직임이 많지 않는 영상에서도 폭력을 검출할 수 있는 딥러닝 기반의 자동 폭력 감지 시스템을 제공하는 데 그 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 여기에 언급되지 않은 본 발명이 해결하려는 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템은, 관제대상을 녹화한 관제영상을 저장하는 영상녹화부; 상기 관제영상의 프레임 간 차이를 표현하는 옵티컬 플로우(Optical Flow)를 추출하는 영상분석부; 상기 추출된 옵티컬 플로우를 딥러닝 네트워크로 분류하여 상기 옵티컬 플로우 내 폭력의심 영역을 검출하는 이미지분류부; 상기 관제영상에서 폭력행위와 연관될 수 있는 물체 또는 이상행동을 인식하여 폭력이미지를 검출하는 이미지인식부; 상기 폭력의심 영역과 상기 폭력이미지를 종합하여 폭력 상황과 정상 상황을 판단하는 영상판단부; 상기 영상판단부에 의해 폭력 상황으로 판단되면 해당하는 관제영상 및 영상녹화 시간에 대한 로그를 데이터베이스에 저장하는 데이터저장부;를 포함하고, 상기 영상분석부는, 상기 옵티컬 플로우를 딥러닝 Flownet2 네트워크 방식으로 추출하는 것을 특징으로 한다.
또한, 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에 있어서, 상기 영상녹화부는, 상기 관제영상을 스트리밍(RSTP; Rapid Spanning tree protocol) 방식으로 상기 영상분석부에 전송하는 것을 특징으로 한다.
또한, 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에 있어서, 상기 이미지분류부는, 상기 추출된 옵티컬 플로우를 학습된 합성곱 신경망(CNN; Convolutional Neural Network)으로 분류하여 상기 옵티컬 플로우 내 폭력의심 영역을 검출하는 것을 특징으로 한다.
또한, 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에 있어서, 상기 영상판단부는, 상기 폭력의심 영역과 상기 폭력이미지를 이용하여 폭력검출점수를 계산하고, 기정의된 폭력검출점수표에 따라, 상기 계산된 폭력검출점수에 대응되는 폭력단계를 파악하며, 상기 파악된 폭력단계에 따라 폭력 상황과 정상 상황을 판단하도록 마련되는 것을 특징으로 한다.
또한, 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에 있어서, 상기 폭력검출점수는, 폭력이 발생할 수 있는 3초마다 반복적으로 수학식 1에 의해 계산되는 것을 특징으로 한다.
상기 과제의 해결 수단에 의해, 본 발명의 딥러닝 기반의 자동 폭력 감지 시스템은, 학교, 어린이집, 공공장소, 산업현장 등에서 일어날 수 있는 안전사고에 대한 긴급 고치와 사후 예방 및 안전교육에 활용하기 위한 빅 데이터 기반 AI CCTV 상용화 서비스를 제공할 수 있는 효과가 있다.
또한, 본 발명의 딥러닝 기반의 자동 폭력 감지 시스템은, 폭력 또는 이상행동으로 판단되면 딥러닝 과정을 거쳐 서버에 저장된 후 소프트웨어를 통해 자동으로 메시지 등의 알림 서비스를 제공할 있는 효과가 있다.
도 1은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템의 구성도이다.
도 2는 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템의 영상녹화부에 마련되는 데이터가공툴을 나타낸 도면이다.
도 3은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에서 Flownet2 알고리즘을 사용하여 실시간으로 영상 이미지를 추출하는 과정을 나타낸 도면이다.
도 4는 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에서 Flownet2의 전체 네트워크 구조를 도시한 도면이다.
도 5는 다수 개의 영상을 다양한 옵티컬 플로우 체계를 각각 이용하여 옵티컬 플로우를 추출한 결과를 나타낸 도면이다.
도 6은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에서 인공지능 기반의 Flownet2 네트워크를 이용하여 사람의 이동을 시각화하여 표현한 모습을 나타낸 도면이다.
도 7은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에서 사용하는 합성곱 신경망을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에서 폭력감지를 위해 처리되는 원본 관제영상(a)과 옵티컬 플로우 이미지(b), 다수 개의 합성곱층(convolutional layer)을 거친 영상(c)을 나타낸 도면이다.
도 9는 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에서 추출된 옵티컬 플로우 이미지(a)와, 이를 이용하여 객체가 박스로 표시된 원본이미지(b)를 나타낸 도면이다.
도 10 및 도 11은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에서 사용될 수 있는 웹서비스 프로그램을 나타낸 도면이다.
도 12 및 도 13은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템에서 폭력상황과 비폭력상황을 검출한 도면이다.
도 14는 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템을 행동검출고속화에 대해 테스트한 도면이다.
도 15는 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템을 폭력행위검출오류율에 대해 테스트한 도면이다.
도 16은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템을 키포인트행동에 대해 테스트한 도면이다.
도 17은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 방법의 순서도이다.
이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템(10)은 도 1에 도시된 바와 같이, 관제대상을 녹화한 관제영상을 저장하는 영상녹화부(11), 상기 관제영상의 프레임 간 차이를 표현하는 옵티컬 플로우(Optical Flow)를 추출하는 영상분석부(12), 상기 추출된 옵티컬 플로우를 딥러닝 네트워크로 분류하여 상기 옵티컬 플로우 내 폭력의심 영역을 검출하는 이미지분류부(13), 상기 관제영상에서 폭력행위와 연관될 수 있는 물체 또는 이상행동을 인식하여 폭력이미지를 검출하는 이미지인식부(14), 상기 폭력의심 영역과 상기 폭력이미지를 종합하여 폭력 상황과 정상 상황을 판단하는 영상판단부(15), 및 상기 영상판단부에 의해 폭력 상황으로 판단되면 해당하는 관제영상 및 영상녹화 시간에 대한 로그를 데이터베이스에 저장하는 데이터저장부(16)를 포함한다.
먼저, 상기 영상녹화부(11)는, 관제대상을 녹화한 관제영상을 저장하고, 상기 관제영상을 스트리밍(RSTP; Rapid Spanning tree protocol) 방식으로 상기 영상분석부(20)에 전송할 수 있다.
또한, 상기 영상녹화부(11)는, 도 1에 도시된 CCTV와 같이 직접 관제영상을 녹화하는 수단이 포함되거나, 유투브 등의 영상을 이용하여 관제영상을 제공할 수 있다.
또한, 상기 영상녹화부(11)는, 도 2에 도시된 바와 같이, 영상녹화부에 마련되는 데이터가공툴이 마련되어, 분석할 관제영상을 선택하고 불러올 수 있고, 관제영상 재생을 제어하여 마킹할 구간을 선택하여 별도로 저장할 수 있다.
다음으로, 상기 영상분석부(12)는, 관제영상으로부터 프레임 간 영상의 차이를 분석하여 옵티컬 플로우(Optical Flow)를 추출한다.
구체적으로, 상기 영상분석부(12)는, 기존의 컴퓨터비전에 사용되는 사물의 움직임을 추출하는 Spatial Pyramid 방식의 영상처리 기법이 아닌, 3D 이미지들로부터 Ground Truth가 존재하는 영상들을 딥러닝으로 학습한 인공지능 기반의 영상처리 분석방법인 옵티컬 플로우 체계 중 Flownet2 알고리즘을 이용하여 정밀한 옵티컬 플로우를 추출할 수 있다.
도 3은 Flownet2 알고리즘을 사용하여 실시간으로 영상 이미지를 추출하는 과정을 나타낸 도면이고, 도 4는 Flownet2의 전체 네트워크 구조를 도시한 도면이다.
또한, 도 5를 참조하면 다양한 옵티컬 플로우 체계인 FlowField, DeepFlow, LDOF(GPU), PCA-Flow, FlowNetS, FlowNet2에 대해 다섯 개의 영상에 대한 옵티컬 플로우를 추출한 결과, 가장 식별력 있도록 도시된 것은 FlowNet2인 것을 알 수 있다.
Flownet2 알고리즘은 다수의 사용자가 존재하거나, 미세한 움직임들도 포착 가능한 알고리즘으로써 기존 체계의 정밀도를 크게 향상시킬 수 있다. 또한, 본 발명에 사용되는 Flownet2 알고리즘은 기존의 wraping 방식이 아닌 pyramid 레벨에서의 Feature Wrapping을 적용함으로써 1.36배의 속도 향상과 함께 모델 크기를 30배 이상 축소시킬 수 있다. 이를 통해 본 발명의 핵심적인 특징 중 하나인 여러 사람의 키 포인트를 동시에 특정할 수 있는 집단행동 분석 기능을 통해 집단의 동선을 계속 확인할 수 있는 것이다.
즉, 본 발명에 따른 상기 영상분석부(12)는 인공지능 기반의 Flownet2 네트워크를 이용하여 도 6에 도시된 바와 같이 사람의 이동을 시각화하여 표현할 수 있는 것이다.
다음으로, 상기 이미지분류부(13)는, 상기 영상분석부(12)로부터 추출된 옵티컬 플로우를 딥러닝 네트워크로 분류하여 상기 옵티컬 플로우 내 폭력의심 영역을 검출한다.
구체적으로, 상기 이미지분류부(13)는, 상기 추출된 옵티컬 플로우를 학습된 합성곱 신경망(CNN; Convolutional Neural Network)으로 분류하여 상기 옵티컬 플로우 내 폭력의심 영역을 검출할 수 있다.
합성곱 신경망은 도 7에 도시된 바와 같이, 공간적으로 인접한 신호들에 대한 연관(correlation) 관계(locality)를 비선형 필터(convolutional kernel)를 이용하여 추출하는 딥러닝 네트워크 기법으로, 본 발명에서는 옵티컬 플로우를 합성곱 신경망으로 분류하여, 싸우는 사람과 그렇지 않은 사람을 각각 fight, non-fight로 지정할 수 있도록 마련된다.
이러한 분류 기법은 하나의 이미지 데이터 안에 사물을 여러 개 라벨링할 수 있으며, 필요한 사물에만 라벨링할 수 있어, 이미지 내의 불필요한 요소의 학습을 줄일 수 있다. 여기서, 라벨링은 사람의 특징적인 행동을 구분지어, 안전과 관련된 행동(싸움, 쓰러짐, 몸부림, 부축) 등이 영상에 포착되었을 때 담당자에게 행동 양식과 발생시간을 전송하는 기술로 정의되며, 본 발명의 핵심적인 기술이다.
또한, 도 8을 참조하면, 싸우는 장면을 정확하게 학습하기 위해 원본 관제영상(a)에서 옵티컬 플로우 이미지(b)를 추출하여 4000개의 이미지 데이터세트가 준비되고, 이미지 데이터에 있는 사물을 미리 라벨링함으로써 학습을 할 수 있다. 이때 라벨링된 이미지는 다수 개의 합성곱층(convolutional layer)을 거친 영상(c)에서 특징을 찾아 학습된다.
즉, 본 발명에서 상기 옵티컬 플로우 내 폭력의심 영역을 검출하는 과정은, 도 9에 도시된 바와 같이, 우선 원본 이미지와 옵티컬 플로우 이미지(a)가 같이 입력되고, 합성곱층을 지나면서 이미지의 특징을 잡을 수 있게 이미지가 변화되며, 학습시킨 라벨링된 객체의 특징과 유사한 옵티컬 플로우 이미지의 객체를 검출하고, 이때 검출된 좌표를 원본이미지 상 같은 좌표에 표시하고, 상기 표시된 원본이미지(b)가 저장되는 것이다.
또한, 상기 이미지분류부(13)는, Darknet-53 네트워크를 이용한 이미지 분류 체계 YOLOv3를 이용하여 옵티컬 플로우 이미지를 인식할 수 있다. 이는 본래 일반적인 객체 인식에 쓰이는 알고리즘이나, 이를 응용하여 옵티컬 플로우를 인식하는데 이용할 수 있는 것이다.
다음으로, 상기 이미지인식부(14)는, 상기 관제영상에서 폭력행위와 연관될 수 있는 흉기와 같은 물체 또는 사람의 이상행동을 인식하여 폭력이미지를 검출할 수 있다.
구체적으로, 상기 이미지인식부(14)는, 상기 이미지분류부(13)에서 사용한 Darknet-53 네트워크를 이용한 이미지 분류 체계 YOLOv3를 이용하여 사람의 이상행동이나 칼, 몽둥이 등의 흉기를 인식하는 객체 인식을 수행할 수 있다.
다음으로, 상기 영상판단부(15)는, 상기 폭력의심 영역과 상기 폭력이미지를 이용하여 폭력검출점수를 계산하고, 기정의된 폭력검출점수표에 따라, 상기 계산된 폭력검출점수에 대응되는 폭력단계를 파악하며, 상기 파악된 폭력단계에 따라 폭력 상황과 정상 상황을 판단하도록 마련된다.
상기 폭력검출점수는 일반적으로 폭력이 발생할 수 있는 3초마다 프레임별 싸움 의심 행동 검출 횟수와 확률을 고려하여 반복적으로 계산될 수 있다.
또한, 상기 폭력검출점수는 하기 수학식 1에 의해 계산될 수 있다.
Figure 112018105659874-pat00001
여기서,
Figure 112018105659874-pat00002
는 폭력이 검출되는 관제영상의 총시간으로, FPS(Frame Per Second)와 3초를 곱한 값이고,
Figure 112018105659874-pat00003
는 검출된 폭력의심 영역의 폭력 여부를 0 또는 1로 표현한 값이고,
Figure 112018105659874-pat00004
는 인식된 폭력이미지의 가중치를 수치로 나타낸 값이며,
Figure 112018105659874-pat00005
는 검출된 폭력의심 영역의 폭력 확률을 0.00 내지 1.00로 표현한 값이다.
상기 수학식 1에 사용되는 폭력이미지에서 이상행동이나 흉기를 인식하였을 때 가중치 점수는 하기 표 1과 같다.
이상행동 가중치
없음 0
쓰러짐 3
몽둥이 등 3
칼, 도끼 등 4
총기류 5
상술한 바와 같이 계산되는 상기 폭력검출점수는 최대 600점으로 계산되며, 계산된 폭력검출점수에 대응되는 폭력단계는 하기 표 2와 같이 분석될 수 있다.
폭력단계 폭력검출점수
의심 0 ~ 30
보통 30 ~ 60
위험 60 ~ 120
심각 120 ~ 600
다음으로, 상기 데이터저장부(16)는, 상기 영상판단부(15)에 의해 폭력 상황으로 판단되면 해당하는 관제영상 및 영상녹화 시간에 대한 로그를 데이터베이스에 저장할 수 있다.
구체적으로, 상기 데이터저장부(16)는 실제 폭력구간으로 선정된 영상의 폭력 시작 및 종료 시간 등을 마킹하고 저장할 수 있다.
또한, 상기 데이터저장부(16)는 웹서비스 프로그램과 연결되어, 도 10 및 도 11에 도시된 바와 같이 다수의 영상녹화부를 동시에 모니터링할 수 있다. 상기 웹서비스 프로그램은 관제할 카메라의 ip주소, 영상의 종류, 영상의 제목설정, 동영상 크게 보기, 영상추가버튼, 기타 실행에 필요한 옵션, 영상에 대한 분석 로그 등을 확인할 수 있도록 마련되며, 더 나아가 ip카메라를 직접 추가하는 옵션, 폭력 감지에 따라 메신저를 이용하여 알림을 전송하는 옵션 등이 구비될 수 있다.
상술한 바와 같은 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템(10)은, 녹화된 관제영상에 대해 옵티컬 플로우를 추출한 후 딥러닝 기반의 영상처리기법을 실시하여, 도 12 및 도 13에 도시된 바와 같은 폭력/비폭력 상황을 자동으로 검출할 수 있을 것이다. 이는 CCTV나 일반 영상 등을 이용하여 기타 특수 장비 없이 해당 관제영상에서 폭력 발생 유무를 판단하여 자동으로 기설정된 관리자에게 알림을 발생시킬 수 있는 시스템이다.
본 발명에 따른 딥러닝 기반의 자동 폭력 감지 시스템은 다수의 사람이 등장하는 복잡한 영상으로부터 폭력의 검출이 가능한지 유무를 측정하는 행동검출 고속화, 폭력 행위의 검출의 신뢰성 확보를 위한 폭력 행위 검출 오류율, 다양한 영상 샘플에 대하여 폭력 행위와 비폭력 행위를 구분할 수 있는 지 측정하는 키포인트 행동에 대하여 각각 시험을 실시하였다.
첫째, 행동검출 고속화와 관련하여, 10명 이상의 사람이 등장하는 샘플영상 5개에서 검출 가능한지 여부를 테스트한 결과, 도 14에 도시된 바와 같이, 각각의 사람을 박스 형태로 검출할 수 있음이 나타났다.
둘째, 폭력 행위 검출 오류율과 관련하여, 1 내지 3명의 사람이 등장하는 3초 이하의 폭력영상 및 비폭력 샘플영상 각 20개에 대해 테스트한 결과, 도 15에 도시된 바와 같이, 높은 확률로 폭력영상을 검출할 수 있었다. 이는 본 발명에서 각 프레임별 점수를 계산하여 더 정확한 폭력 행위를 검출할 수 있고, 전후 상황을 함께 고려하여 판단하기 때문일 것이다.
셋째, 키포인트 행동과 관련하여, 싸움 외에 학교 내외에서 일어날 수 있는 행동들에 대한 학습을 통해 거짓알림을 방지할 수 있는지 다양한 샘플을 이용하여 테스트한 결과, 도 16에 도시된 바와 같이 위험상황이나 폭력상황을 비폭력상황과 구분할 수 있는 것으로 나타났다.
한편, 본 발명에 따른 딥러닝 기반의 자동 폭력 감지 방법은 도 17에 도시된 바와 같이, 영상녹화부(11)가 관제 대상을 촬영 및 녹화하여 데이터 전송하는 단계(S1); 영상분석부(12)가 관제 대상의 영상으로부터 프레임 간 영상의 차이를 분석하여 딥러닝 기반의 옵티컬 플로우를 추출하는 단계(S2); 이미지분류부(13)가 추출된 옵티컬 플로우 영상으로부터 폭력의심 영역을 검출하는 단계(S3); 이미지인식부(14)가 원본 영상 이미지에서 폭력행위와 연관될 수 있는 흉기 또는 이상 행동에 대한 폭력이미지를 검출하는 단계(S4); 옵티컬 플로우 영상과 원본 영상이미지별로 검출된 폭력 이미지의 결과를 종합하여 폭력상황을 판단하는 단계(S5); 데이터베이스에 폭력 영상 및 발생 시간 로그를 저장하는 단계(S6);로 이루어진다.
상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 딥러닝 기반의 자동 폭력 감지 시스템
11 : 영상녹화부
12 : 영상분석부
13 : 이미지분류부
14 : 이미지인식부
15 : 영상판단부
16 : 데이터저장부
S1 : 관제 대상 촬영 및 녹화하여 데이터 전송
S2 : 관제 대상의 영상으로부터 프레임 간 영상의 차이를 분석하여 딥러닝 기반의 옵티컬 플로우 추출
S3 : 추출된 옵티컬 플로우 영상으로부터 폭력의심 영역 검출
S4 : 원본 영상 이미지에서 폭력행위와 연관될 수 있는 물체 또는 이상 행동에 대한 폭력이미지 검출
S5 : 옵티컬 플로우 영상과 원본 영상이미지별로 검출된 폭력 이미지의 결과를 종합하여 폭력상황 판단
S6 : 데이터 베이스에 폭력 영상 및 발생 시간 로그 저장

Claims (5)

  1. 관제대상을 녹화한 관제영상을 저장하는 영상녹화부;
    상기 관제영상의 프레임 간 차이를 표현하는 옵티컬 플로우(Optical Flow)를 추출하는 영상분석부;
    상기 추출된 옵티컬 플로우를 딥러닝 네트워크로 분류하여 상기 옵티컬 플로우 내 폭력의심 영역을 검출하는 이미지분류부;
    상기 관제영상에서 폭력행위와 연관될 수 있는 물체 또는 이상행동을 인식하여 폭력이미지를 검출하는 이미지인식부;
    상기 폭력의심 영역과 상기 폭력이미지를 종합하여 폭력 상황과 정상 상황을 판단하는 영상판단부; 및
    상기 영상판단부에 의해 폭력 상황으로 판단되면 해당하는 관제영상 및 영상녹화 시간에 대한 로그를 데이터베이스에 저장하는 데이터저장부;를 포함하고,
    상기 영상분석부는,
    상기 옵티컬 플로우를 딥러닝 Flownet2 네트워크 방식으로 추출하고,
    상기 영상판단부는,
    상기 폭력의심 영역과 상기 폭력이미지를 이용하여 폭력검출점수를 계산하고,
    기정의된 폭력검출점수표에 따라, 상기 계산된 폭력검출점수에 대응되는 폭력단계를 파악하며,
    상기 파악된 폭력단계에 따라 폭력 상황과 정상 상황을 판단하도록 마련되고,
    상기 폭력검출점수는,
    폭력이 발생할 수 있는 3초마다 반복적으로 하기 [수학식]에 의해 계산되고,
    [수학식]
    Figure 112020025167254-pat00028

    여기서,
    Figure 112020025167254-pat00029
    는 폭력이 검출되는 관제영상의 총시간으로, FPS와 3초를 곱한 값이고,
    Figure 112020025167254-pat00030
    는 상기 검출된 폭력의심 영역의 폭력 여부를 0 또는 1로 표현한 값이고,
    Figure 112020025167254-pat00031
    는 상기 인식된 폭력이미지의 가중치를 수치로 나타낸 값이며,
    Figure 112020025167254-pat00032
    는 상기 검출된 폭력의심 영역의 폭력 확률을 0.00 내지 1.00로 표현한 값인 것인 것을 특징으로 하는 딥러닝 기반의 자동 폭력 감지 시스템.
  2. 제1항에 있어서,
    상기 영상녹화부는,
    상기 관제영상을 스트리밍(RSTP; Rapid Spanning tree protocol) 방식으로 상기 영상분석부에 전송하는 것을 특징으로 하는 딥러닝 기반의 자동 폭력 감지 시스템.
  3. 제1항에 있어서,
    상기 이미지분류부는,
    상기 추출된 옵티컬 플로우를 학습된 합성곱 신경망(CNN; Convolutional Neural Network)으로 분류하여 상기 옵티컬 플로우 내 폭력의심 영역을 검출하는 것을 특징으로 하는 딥러닝 기반의 자동 폭력 감지 시스템.
  4. 삭제
  5. 삭제
KR1020180128329A 2018-10-25 2018-10-25 딥러닝 기반의 자동 폭력 감지 시스템 KR102149832B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180128329A KR102149832B1 (ko) 2018-10-25 2018-10-25 딥러닝 기반의 자동 폭력 감지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180128329A KR102149832B1 (ko) 2018-10-25 2018-10-25 딥러닝 기반의 자동 폭력 감지 시스템

Publications (2)

Publication Number Publication Date
KR20200052418A KR20200052418A (ko) 2020-05-15
KR102149832B1 true KR102149832B1 (ko) 2020-08-31

Family

ID=70679131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128329A KR102149832B1 (ko) 2018-10-25 2018-10-25 딥러닝 기반의 자동 폭력 감지 시스템

Country Status (1)

Country Link
KR (1) KR102149832B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230110916A (ko) 2022-01-17 2023-07-25 대구대학교 산학협력단 감시 카메라 영상을 이용한 자율형 딥러닝 기반 학대 감지 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3920092B1 (en) * 2020-06-05 2023-08-02 ALSTOM Transport Technologies System and method for detecting a possible harassment to people residing in indoor areas, in particular of transport related networks
KR102318489B1 (ko) * 2021-05-07 2021-10-28 대한민국(행정안전부 국립재난안전연구원장) 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법
KR102648004B1 (ko) * 2021-09-23 2024-03-18 주식회사 소이넷 폭력감지장치 및 방법, 이를 포함하는 스마트 폭력감시시스템
KR20240057541A (ko) * 2022-10-25 2024-05-03 한국전자기술연구원 경량 저전력 객체 인식 장치 및 그 동작 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160072678A (ko) * 2014-12-15 2016-06-23 김홍성 폭력 및 범죄예방 위한 실시간 모니터링 시스템
KR101526499B1 (ko) 2015-01-02 2015-06-09 주식회사 아이티엑스시큐리티 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법
KR20180007615A (ko) * 2016-07-13 2018-01-23 엘지이노텍 주식회사 네트워크 카메라 및 이를 이용한 폭력 감지 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230110916A (ko) 2022-01-17 2023-07-25 대구대학교 산학협력단 감시 카메라 영상을 이용한 자율형 딥러닝 기반 학대 감지 시스템

Also Published As

Publication number Publication date
KR20200052418A (ko) 2020-05-15

Similar Documents

Publication Publication Date Title
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
Franklin et al. Anomaly detection in videos for video surveillance applications using neural networks
CN110428522A (zh) 一种智慧新城的智能安防***
CN111263114B (zh) 异常事件报警方法和装置
Lestari et al. Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation
US10956753B2 (en) Image processing system and image processing method
CN105405150B (zh) 基于融合特征的异常行为检测方法和装置
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
CN111091098B (zh) 检测模型的训练方法、检测方法及相关装置
JPWO2016147770A1 (ja) 監視システム及び監視方法
CN112084963B (zh) 一种监控预警方法、***及存储介质
Gupta et al. CrowdVAS-Net: A deep-CNN based framework to detect abnormal crowd-motion behavior in videos for predicting crowd disaster
CN107330414A (zh) 暴力行为监控方法
CN110473375A (zh) 森林火灾的监测方法、装置、设备和***
CN112163572A (zh) 识别对象的方法和装置
CN113963301A (zh) 一种时空特征融合的视频火灾烟雾探测方法及***
CN109117771B (zh) 一种基于锚节点的图像中暴力事件检测***及方法
Anala et al. Anomaly detection in surveillance videos
KR20190088087A (ko) 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
CN111325133A (zh) 一种基于人工智能识别的影像处理***
CN114913663A (zh) 异常检测方法、装置、计算机设备和存储介质
Martínez-Mascorro et al. Suspicious behavior detection on shoplifting cases for crime prevention by using 3D convolutional neural networks
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警***
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
CN114764895A (zh) 异常行为检测装置和方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant