KR102286229B1 - 특징벡터 기반 싸움 이벤트 인식 방법 - Google Patents

특징벡터 기반 싸움 이벤트 인식 방법 Download PDF

Info

Publication number
KR102286229B1
KR102286229B1 KR1020200020381A KR20200020381A KR102286229B1 KR 102286229 B1 KR102286229 B1 KR 102286229B1 KR 1020200020381 A KR1020200020381 A KR 1020200020381A KR 20200020381 A KR20200020381 A KR 20200020381A KR 102286229 B1 KR102286229 B1 KR 102286229B1
Authority
KR
South Korea
Prior art keywords
human body
people
extracting
image data
unit
Prior art date
Application number
KR1020200020381A
Other languages
English (en)
Inventor
조재수
김호연
성상만
박요한
Original Assignee
한국기술교육대학교 산학협력단
주식회사 하나비전테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단, 주식회사 하나비전테크 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020200020381A priority Critical patent/KR102286229B1/ko
Application granted granted Critical
Publication of KR102286229B1 publication Critical patent/KR102286229B1/ko

Links

Images

Classifications

    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 특징벡터 기반 싸움 이벤트 인식 방법을 공개한다. 이 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하는 것을 특징으로 한다.

Description

특징벡터 기반 싸움 이벤트 인식 방법{A feature vector-based fight event recognition method}
본 발명은 싸움 이벤트 인식 방법에 관한 것으로, 특히 CCTV에서 촬영된 영상 내 사람들의 인체에 대하여 복수개의 특징벡터 값을 추출하고, 서포트 벡터 머신을 이용하여 싸움 이벤트를 정확하게 인식할 수 있는 특징벡터 기반 싸움 이벤트 인식 방법을 발명에 관한 것이다.
일반적으로, 인공 지능(Artificial Intelligence, AI)은 인간의 뇌와 뉴런 신경망을 모방해 언젠가는 컴퓨터나 로봇들이 인간처럼 사고하고 행동하게 하는 것이다.
예를 들어, 우리는 사진만으로 개와 고양이를 아주 쉽게 구분할 수 있지만 컴퓨터는 구분하지 못한다.
이를 위해 “머신 러닝(Machine Learning, ML)” 기법이 고안되었는데, 이 기법은 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술로서, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다.
데이터를 어떻게 분류할 것인가에 따라, 의사결정 나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트 벡터 머신(support vector machine, SVM), 그리고 인공 신경망(Artificial neural network) 등 많은 머신 러닝 알고리즘이 등장했다.
그 중에 인공 신경망 알고리즘에서 파생된 딥 러닝(Deep Learning, DL)은 인공 신경망을 이용하여 데이터를 군집화하거나 분류하는데 사용하는 기술이다.
머신 러닝과 인지 과학에서의 인공 신경망은 생물학의 신경망(동물의 중추 신경계)에서 영감을 얻은 통계학적 학습 알고리즘이다.
인공 신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(node)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다.
인공 신경망을 이용하는 딥 러닝의 핵심은 분류를 통한 예측이다.
수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 컴퓨터가 데이터를 나눈다.
이 같은 분별 방식은 지도자(감독자/교사)의 신호(정답) 입력에 의해서 문제에 최적화되어 가는 지도(감독/교사) 학습과 지도자의 교사 신호를 필요로 하지 않는 비지도(감독/교사) 학습이 있다.
일반적으로 입력으로부터 값을 계산하는 뉴런 시스템의 상호 연결로 표현되고 적응성이 있어 패턴 인식과 같은 기계 학습을 수행할 수 있다.
데이터로부터 학습하는 다른 기계 학습과 같이, 신경망은 일반적으로 규칙 기반 프로그래밍으로 풀기 어려운 컴퓨터 비전(vision) 또는 음성 인식과 같은 다양한 범위의 문제를 푸는 데 이용된다.
즉, 어떠한 데이터가 있을 때 이를 컴퓨터가 인지할 수 있는 형태(예를 들어 이미지의 경우 픽셀정보를 열 벡터로 표현하는 툴)로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있다.
이러한 노력의 결과로 심층 신경망(deep neural networks), 합성 곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)와 같은 다양한 딥 러닝 기법들이 컴퓨터 비젼, 음성 인식, 자연어 처리, 음성/신호 처리 등의 분야에 적용되어 우수한 성능의 응용 프로그램들이 개발되고 있다.
한편, 외부 및 특정 지역에는 많은 보안용 CCTV 시스템이 설치되어 있다.
예를 들면, 빌딩, 아파트단지 등의 경비중앙 관리실에서 모니터링되는 CCTV들도 있고, 보안업체에서 관리하는 CCTV, 경찰 및 관공서에서 범죄 예방, 쓰레기 투기 감시 등의 공익 목적으로 설치 및 관리되는 CCTV들도 있다.
하지만, 이를 모니터링하는 인원의 한계 때문에 감시자가 각각의 카메라들에 대한 영상을 전체적으로 확인하는 것은 불가능한 것이 현실이다.
이러한 부분을 보완하기 위해, CCTV 전문업체에서는 물체 및 인체감지 기능, 특정인 또는 특정 집단의 지정 트래킹 기능 등, 많은 부가 기능들을 접목시키고 있다.
하지만, 이러한 기능들은 모니터 화면을 모니터링하는 사람이 직접 조작해야 하며, 또는 이러한 기능들이 소프트웨어적으로 처리가 된다고 하더라도 모니터링 인원이 직접 눈으로 관찰하는 것에 대한 보조적인 기능에 불과하다.
이에 따라, 종래의 CCTV 시스템은 실시간 감시요원의 모니터링의 경우, 주의력의 지속에 한계가 있어 한 조사 결과에 의하면 모니터링 요원 1인당 평균 10대 이상의 CCTV를 관리하면서 2대 이상을 동시 모니터링 해야 하기 때문에 20분 경과 시 약 90 %의 이상 상황을 놓치게 된다는 통계가 있다.
그리고, 종래의 고정형 CCTV는 원거리에 위치한 객체를 확인하기 위해 카메라를 줌 인(Zoom-In)하게 되면 해상도가 현저히 낮아질 뿐 아니라, CCTV 기능이 범죄 발생 후 이를 확인하거나, 또는 증거를 확보하기 위한 수동적인 대처 방법으로 사용될 뿐이다.
예를 들면, 엘리베이터 내에서의 영유아 납치사건, 엘리베이터 내의 폭행/폭력 및 성추행/성폭행 사건, 건물 내 및 아파트 단지 내의 외곽 지역에서의 범죄, 노상의 범죄 또는 엘리베이터 내, 건물 내 및 실외에서의 싸움 등의 '이벤트'가 발생된 시점에 적극적으로 대응하는 것이 아니라, 범죄 또는 이벤트가 일어난 후에 증거 확보의 수단으로 주로 활용되는 것이 현실이다.
종래의 CCTV 시스템의 이와 같은 문제점을 해결하기 위하여 모니터 요원이 일일이 감시 영상을 모니터링하지 않아도, 획득한 영상을 실시간으로 분석하여 감시 구역 내에 출입하는 물체(사람, 차량 등)를 실시간으로 탐지하고, 이를 추적하며, 이들의 행위를 파악하여 위험 상황이 예측되는 경우, 필요한 조처(경보 발생, 출입 통제 등)를 실시간으로 취할 수 있는 지능형 무인 모니터링 CCTV 시스템이 개발되기는 하였으나, 인지 결과의 신뢰도가 매우 저조하고, 긴급상황에 즉각적으로 대처할 수 없으며, 획득된 영상과 기 저장된 영상만을 비교하기 때문에 실시간으로 발생하는 다양한 데이터 유형의 영상에 대응할 수 없는 한계가 있었다.
또한, 종래의 CCTV 시스템은 주로 고정형 CCTV를 구비하므로 커버할 수 있는 영역이 제한되어 있어, 관제 대상이 사람, 차량 등의 이동체인 경우 하나의 고정형 CCTV에서 포착된 위험 상황 등이 해당 고정형 CCTV의 시야에서 벗어나게 되면 복수개의 CCTV 간에 통합 연동된 형태 또는 연속된 시퀀스에서의 끊김 없는 추적이나 감시가 불가능한 한계가 있었다.
특히, 종래에 CCTV를 이용하여 “싸움”이라는 이벤트를 검출하는 경우, CCTV의 위치, 즉 촬영되는 높이에 따라 상대적으로 높은 위치에서 촬영한 경우와 상대적으로 낮은 위치에서 촬영한 경우가 있을 수 있다.
여기에서, “싸움”이란 이벤트는 사람 간에 신체적 혹은 정신적 충돌을 의미하며, 2 명만 있는 장소에서 2 명 사이의 싸움, 많은 사람이 있는 장소에서 2 명 사이의 싸움 또는 특정 인원의 사람 간의 싸움이 있다.
이러한 “싸움” 이벤트를 검출하기 위한 데이터셋의 수집은 온라인 상에서 일반적으로 활용되고 있는 학습화된 데이터셋들을 취합하여 구축한다.
도 1은 일반적으로 온라인 상에서 활용되고 있는 학습화된 데이터셋의 예시에 대한 표이다.
도 1에서 “Train set“이란 모델을 학습하기 위한 데이터 셋이고, Validation set이란 Train set이 학습중인 모델을 과적합(Over-Fitting)을 방지하기 위한 데이터 셋을 의미한다.
이와 같은 데이터셋들은 학습시킨 데이터가 특정한 경우에만 국한되지 않았는지 확인하고, 실제로 테스트 해보기 전에 제대로 학습 모델이 학습되었는지 확인하기 위한 데이터이다.
또한, Test set이란 학습된 최종 모델을 평가하기 위한 데이터 셋을 의미한다.
이에 본 발명자들은 CCTV에서 촬영된 영상 내 사람들의 인체에 대하여 복수개의 특징벡터 값을 추출하고, 추출된 데이터의 분포에 따라 서포트 벡터 머신의 커널을 맞춤형으로 적용하여 싸움 이벤트의 검출률을 향상시키고, 딥 러닝에서의 연산량을 최적화할 수 있는 특징벡터 기반 싸움 이벤트 인식 방법을 발명하기에 이르렀다.
US 9014853 B2
본 발명의 목적은 CCTV에서 촬영된 영상 내 사람들의 인체를 감지 및 추적하고 복수개의 특징값을 추출하여, 추출된 데이터의 분포에 따라 서포트 벡터 머신의 커널을 맞춤형으로 적용하여 싸움 이벤트의 검출률을 높이고 오검율을 낮추어 싸움 이벤트를 정확하게 인식할 수 있는 특징벡터 기반 싸움 이벤트 인식 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하고, 상기 (d) 단계는 (d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계; (d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계; (d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및 (d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계; 를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하고, 상기 (e) 단계에서, 상기 추출된 특징값에 대하여 정상 이벤트인 경우 상기 실측 자료를 '0'데이터, 싸움 이벤트인 경우 상기 실측 자료를'1'데이터로 부여하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하고, 상기 (e) 단계는 상기 추출된 특징값에 대한 데이터의 분포가 선형적일 때 선형 커널을 이용하여 상기 두 클래스를 분류하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하고, 상기 (e) 단계는 데이터의 분포의 차원이 다차원일 때 반경 기초 함수 커널을 이용하여 상기 두 클래스를 분류하는 것을 특징으로 한다.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 게시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의할 경우, 촬영된 영상에서 추적된 인체의 특징값을 복수개의 특징 벡터로 추출 및 분석하므로 싸움 이벤트 인식 결과의 정확도 및 신뢰도가 현저하게 향상된다.
또한, 감지 및 추적 대상이었던 사람들의 이동 등으로 해당 고정형 CCTV의 시야에서 벗어나게 되더라도, 다른 구역에 설치된 고정형 CCTV와의 통합 연동된 형태 또는 연속된 시퀀스에서의 끊김 없는 추적이나 감시가 가능해진다.
또한, 특징 추출부가 촬영된 영상의 프레임 내에서 싸움 이벤트 인식 조건을 충족하는 사람들에 대해서만 특징값을 추출하므로, 딥 러닝에서의 연산량을 최적화할 수 있게 된다.
도 1은 일반적으로 온라인 상에서 활용되고 있는 학습화된 데이터셋의 예시에 대한 표이다.
도 2는 본 발명의 일 실시예에 특징벡터 기반 싸움 이벤트 인식 방법을 구현하기 위한 인식 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 특징벡터 기반 싸움 이벤트 인식 방법의 동작을 설명하기 위한 순서도이다.
도 4는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 부분 동작을 설명하기 위한 순서도이다.
도 5는 도 4에 도시된 단계(S400)의 부분 동작 중 거리 추출 단계(S410)에서의 감지된 사람들 간의 거리 값에 대한 히스토그램 범위의 표이다.
도 6은 도 4에 도시된 단계(S400)의 부분 동작 중 거리 추출 단계(S410)에서의 감지된 사람들 간의 거리 값에 대한 제1 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 7은 도 4에 도시된 단계(S400)의 부분 동작 중 가속도 추출 단계(S420)에서의 이동한 사람들의 가속도 값에 대한 히스토그램 범위의 표이다.
도 8은 도 4에 도시된 단계(S400)의 부분 동작 중 가속도 추출 단계(S420)에서의 이동한 사람들의 가속도 값에 대한 제2 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 9는 도 4에 도시된 단계(S400)의 부분 동작 중 이동 방향 추출 단계(S430)에서의 감지된 사람들 간의 이동 방향 값에 대한 히스토그램 범위의 표이다.
도 10은 도 4에 도시된 단계(S400)의 부분 동작 중 이동 방향 추출 단계(S430)에서의 감지된 사람들 간의 이동 방향 값에 대한 제3 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 11은 도 4에 도시된 단계(S400)의 부분 동작 중 박스 크기 변화율 추출 단계(S440)에서의 이동한 사람들의 가속도 값에 대한 히스토그램 범위의 표이다.
도 12는 도 4에 도시된 단계(S400)의 부분 동작 중 박스 크기 변화율 추출 단계(S440)에서의 이동한 사람들의 가속도 값에 대한 제4 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 13은 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)의 부분 동작을 설명하기 위한 그래프로서, 클래스를 분류할 수 있는 초 평면의 예시 그래프들이다.
도 14는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S500)에서 선형 커널을 이용하여 싸움 이벤트를 인식한 실제 실험 결과에 대한 표이다.
도 15는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S500)에서 반경 기초 함수 커널을 이용하여 싸움 이벤트를 인식한 실제 실험 결과에 대한 표이다.
도 16은 도 4에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)에서 '누적 프레임'이 20 프레임인 경우, 각 특징 별 '싸움 검출률' 및 '과검출률' 실험 결과에 대한 다이어그램 그래프이다.
도 17은 도 4에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)에서 '누적 프레임'이 30 프레임인 경우, 각 특징 별 '싸움 검출률' 및 '과검출률' 실험 결과에 대한 다이어그램 그래프이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있다.
더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니다.
이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있다.
또한, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있다.
또한, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있다.
한편, 상기 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용된다.
하지만, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 한다.
또한, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미한다.
이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.
도 2는 본 발명의 일 실시예에 특징벡터 기반 싸움 이벤트 인식 방법을 구현하기 위한 인식 시스템의 블록도로서, 영상 촬영부(100), 인체 감지부(200), 인체 추적부(300), 특징 추출부(400) 및 서포트 벡터 머신(500)를 구비한다.
특징 추출부(400)는 거리 추출부(410), 가속도 추출부(420), 이동 방향 추출부(430) 및 박스 크기 변화율 추출부(440)를 포함한다.
도 3은 본 발명의 일 실시예에 특징벡터 기반 싸움 이벤트 인식 방법의 동작을 설명하기 위한 순서도이다.
도 2 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 특징벡터 기반 싸움 이벤트 인식 방법의 개략적인 동작을 설명하면 다음과 같다.
영상 촬영부(100)가 CCTV를 이용하여 소정 영역의 현장을 촬영하여 영상 데이터를 출력한다(S100).
인체 감지부(200)가 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지한다(S200).
인체 추적부(300)가 영상 촬영부(100)에서 촬영된 영상의 연속된 시퀀스에서 추적 알고리즘을 이용하여 이웃한 프레임들간 인체를 추적한다(S300).
특징 추출부(400)가 인체 추적부(300)에서 추적된 사람들 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 사람의 크기를 표시한 박스의 크기 변화율 등의 특징값을 추출한다(S400).
서포트 벡터 머신(500)이 소정 영역의 현장에서 프레임 별로 정상(normal) 이벤트와 싸움(fight) 이벤트에 대한 두 클래스를 분류한다(S500).
본 발명에 따른 특징벡터 기반 싸움 이벤트 인식 방법의 상세한 동작 설명은 후술하도록 한다.
도 2 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 특징벡터 기반 싸움 이벤트 인식 방법의 선행되어야 할 작동 조건을 설명하면 다음과 같다.
먼저, 연속된 영상 시퀀스에서 특징벡터를 추출해야 하는데, 이를 위해서는 선행되어야 할 다음과 같은 작동 조건이 필요하다.
첫째, 인체 감지부(200)가 현장에서 영상 촬영부(100)가 촬영한 영상 내에 존재하는 사람들을 감지하기 위한 딥러닝 모델 및 감지 알고리즘이 필요하다.
본 발명에서는 'Yolo V3' 모델 및 'SORT(Simple Online and Real-time Tracking)' 알고리즘을 사용한다.
둘째, 인체 추적부(300)가 현장에서 촬영된 영상의 연속된 시퀀스에서 이웃한 프레임들간 사람을 소정의 알고리즘으로 인덱싱하여 사람을 추적한다.
본 발명에서는 'SORT(Simple Online and Real-time Tracking)' 알고리즘을 사용한다.
그 다음, 특징 추출부(400)가 현재 프레임 내에서 검출된 사람들의 특징값을 추출하기 전에 조건을 충족하는 사람들에 대해서만 특징값을 추출한다.
이를 통하여, 본 발명의 싸움 이벤트 인식 방법은 조건을 충족하지 않는 의미 없는 사람들을 사전에 제거하여 특징 추출부(400)에서의 연산량을 최적화할 수 있게 된다.
또한, 사람들이 움직이고 있는지를 판별하기 위해서는 사람들의 중심 값을 (x, y) 좌표로 하고, 각각 이전 영상과 현재 영상 사이의 차이를 계산하여 차이 값이 특정 값 이상이면 사람이 이동한 것으로 판정한다.
또한, 종래의 고정형 CCTV의 한계였던 커버할 수 있는 감지 및 추적 영역의 제한성을 극복하기 위하여, 감지 및 추적 대상이었던 사람들의 이동 등으로 해당 고정형 CCTV의 시야에서 벗어나게 되더라도, 소정의 관제 센터 서버에서 이를 감지하여 다른 구역에 설치된 고정형 CCTV와의 통합 연동된 형태 또는 연속된 시퀀스에서의 끊김 없는 추적이나 감시가 가능해야 한다.
마지막으로, 서포트 벡터 머신(500)이 N 차원의 공간(N-Features)에서 정상 이벤트와 싸움 이벤트에 대하여 두 클래스를 분리하기 위한 최적의 초 평면(Hyper Plane)을 찾는다.
도 4는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 부분 동작을 설명하기 위한 순서도이다.
도 2 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 개략적인 동작을 설명하면 다음과 같다.
거리 추출부(410)가 현장에서 촬영된 영상의 현재 프레임 내에서 검출된 사람들 간의 거리 값을 추출한다(S410).
가속도 추출부(420)가 거리 추출부(410)에서 거리 값이 추출된 사람들이 이동할 때 가속도 값을 추출한다(S420).
이때, 사람들의 이동 여부는 이전 영상과 현재 영상에서 사람들의 중심 값의 차이가 특정 값 이상인지 여부를 통해 판별한다.
이동 방향 추출부(430)가 가속도 추출부(420)에서 이동하는 것으로 판별된 사람들의 이동하는 이동 방향을 추출한다(S430).
이때, 각 사람의 이동 방향은 촬영된 영상 내에서 사람이 이동할 수 있는 방향을 최대 360도로 하여 이동하는 각도로 계산한 값을 말한다.
박스 크기 변화율 추출부(440)가 인체 감지부(200)에서 감지된 사람들의 크기에 대응되어 그려지는 박스의 크기 변화율을 추출한다(S440).
도 5는 도 4에 도시된 단계(S400)의 부분 동작 중 거리 추출 단계(S410)에서의 감지된 사람들 간의 거리 값에 대한 히스토그램 범위의 표이다.
도 6은 도 4에 도시된 단계(S400)의 부분 동작 중 거리 추출 단계(S410)에서의 감지된 사람들 간의 거리 값에 대한 제1 특징 벡터를 가시화한 예시의 CCTV 사진으로서, 사람 1(P1), 사람 2(P2) 및 사람 3(P3)을 포함한다.
도 7은 도 4에 도시된 단계(S400)의 부분 동작 중 가속도 추출 단계(S420)에서의 이동한 사람들의 가속도 값에 대한 히스토그램 범위의 표이다.
도 8은 도 4에 도시된 단계(S400)의 부분 동작 중 가속도 추출 단계(S420)에서의 이동한 사람들의 가속도 값에 대한 제2 특징 벡터를 가시화한 예시의 CCTV 사진으로서, 프레임 1(f1), 프레임 2(f2) 및 프레임 3(f3)을 포함한다.
도 9는 도 4에 도시된 단계(S400)의 부분 동작 중 이동 방향 추출 단계(S430)에서의 감지된 사람들 간의 이동 방향 값에 대한 히스토그램 범위의 표이다.
도 10은 도 4에 도시된 단계(S400)의 부분 동작 중 이동 방향 추출 단계(S430)에서의 감지된 사람들 간의 이동 방향 값에 대한 제3 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 11은 도 4에 도시된 단계(S400)의 부분 동작 중 박스 크기 변화율 추출 단계(S440)에서의 이동한 사람들의 가속도 값에 대한 히스토그램 범위의 표이다.
도 12는 도 4에 도시된 단계(S400)의 부분 동작 중 박스 크기 변화율 추출 단계(S440)에서의 이동한 사람들의 가속도 값에 대한 제4 특징 벡터를 가시화한 예시의 CCTV 사진으로서, 박스 1(B1) 및 박스 2(B2)를 포함한다.
도 2 내지 도 12를 참조하여 본 발명에 따른 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 상세한 동작을 설명하면 다음과 같다.
본 발명에 따른 특징벡터 기반 싸움 이벤트 인식 방법 중 특징 추출 단계는 거리 추출 단계, 가속도 추출 단계, 이동 방향 추출 단계 및 박스 크기 변화율 추출 단계의 4단계로 구성된다.
거리 추출 단계
거리 추출부(410)는 영상 촬영부(100)가 현장에서 촬영한 영상의 현재 프레임 내에서 인체 감지부(200)로부터 감지된 사람들 간의 거리 값을 추출한다.
즉, 사람들 간의 거리는 주어진 대상이 n명(본 실시예에서는 3명)이 존재할 경우 모든 사람 사이의 거리값을 계산하여, 히스토그램은 '0'부터 '14'까지 총 15개의 빈(bin)으로 분류한다.
여기에서, 빈(bin)이란 영상 처리 분야에서 픽셀의 분포를 나타내는 히스토그램의 영역 또는 범위를 의미한다.
도 5에서 보는 바와 같이, 본 발명의 특징 추출 단계 중 거리 추출 단계에서 각각의 빈(bin), 즉 히스토그램 범위는 20 픽셀 단위로 분류되고, 280 픽셀 이상이면 모두 15번째 빈(bin)인 '14'에 누적되도록 구현한다.
사람들 간의 거리는 촬영된 영상의 매 프레임에서 계산되어 매 프레임에 값이 존재하게 되지만, 수 초 단위로 알고리즘이 작동하기 때문에 영상의 특성에 따라 누적되는 정도가 다를 수 있다.
예를 들어, 초당 프레임 수(Frame Per Second, fps)가 60인 영상에서는 총 60개의 히스토그램이 누적되어 하나의 특징으로 사용된다.
따라서, 사람들 간의 거리는 현재 프레임과 이전 프레임에서의 위치의 차를 통하여 산출한다.
도 6에서 보는 바와 같이, 사람 1(P1)과 사람 2(P2) 사이의 거리는 36 픽셀로서 빈(bin) '1' 에 해당하고, 사람 2(P2)와 사람 3(P3) 사이의 거리는 40 픽셀로서 빈(bin) '2' 에 해당하며, 사람 3(P3)과 사람 1(P1) 사이의 거리는 27 픽셀로서 빈(bin) '1' 에 해당한다.
가속도 추출 단계
가속도 추출부(420)는 거리 추출부(410)에서 거리 값이 추출된 사람들의 중심 값의 차이가 특정 값 이상인지 여부를 통해 이동 여부를 판별하여 이동한 것으로 판단된 경우 이동한 사람들의 가속도 값을 추출한다.
예를 들어, 사람 2(P2)가 이동했다고 가정하면, 가속도 추출부(420)가 사람 2(P2)의 현재 영상과 이전 영상을 비교하여 이동한 거리 값 및 이동 시간을 계산한다.
계산된 사람 2(P2)의 이동한 거리 값 및 이동 시간을 이용하여 사람 2(P2)의 이동 속도 값을 구하고, 계산된 사람 2(P2)의 이동 시간과 속도 값을 이용하여 가속도 값을 산출한다.
각 사람의 가속도 히스토그램은 도 6과 같이 분류된다.
도 7에서 보는 바와 같이, 가속도 히스토그램은 '0'부터 '9'까지 총 10개의 빈(bin)으로 분류되고, 각각의 빈(bin)에 기재되는 가속도 크기의 범위는 3 m/sec2 간격으로 설정된다.
가속도 크기는 프레임 단위로 계산되지만 초 단위로 누적되기 때문에 영상에 따라 누적되는 정도가 다를 수 있다.
또한, 가속도 크기는 이동 속도 값의 변화를 이용하여 산출되므로, 도 8에서 보는 바와 같이, 프레임이 최소 3개(f1, f2, f3)가 있어야 하기 때문에 초기에 이동 거리값과 이동 속도 값이 계산되고 난 후부터 계산될 수 있다.
따라서, 초기 3개 프레임에 해당하는 가속도 값은 계산되지 않고, 4번째 프레임부터 계산이 시작된다.
이동 방향 추출 단계
이동 방향 추출부(430)는 가속도 추출부(420)에서 이동하는 것으로 판별된 사람들이 이동할 수 있는 방향을 최대 360도로 하여 이동한 사람들의 이동하는 각도를 계산하여 이동 방향을 추출한다.
각 사람의 이동 방향 히스토그램은 도 8과 같이 분류된다.
도 9에서 보는 바와 같이, 이동 방향 히스토그램은 '0'부터 '11'까지 총 12개의 빈(bin)으로 분류되고, 각각의 빈(bin)에 기재되는 이동 방향 값의 범위는 30 도 간격으로 설정된다.
이동 방향 히스토그램에 기재되는 값은 현재 영상을 이전 영상과 비교하여 현재 영상에 촬영된 사람이 현재 어느 방향으로 이동하고 있는지에 대한 변화 각을 계산하여 누적시킨 값이다.
촬영되는 영상은 2차원이기 때문에 도 10에서 보는 바와 같이, 360 도를 30 도 단위로 영상을 나눴을 때 사람의 중심값이 이동한 좌표의 차이(dx, dy)를 이용하여 arctan(dy/dx)을 계산하면 이동 방향에 대한 변화 각을 산출할 수 있다.
이동 방향에 대한 변화 각 역시 가속도 값과 마찬가지로 속도값이 먼저 계산된 후부터 계산이 가능하다.
또한, 이동 방향에 대한 변화 각은 프레임 단위로 계산이 되지만, 수 초 단위로 알고리즘이 작동하기 때문에 영상의 특성에 따라 누적되는 정도가 다를 수 있다.
박스 크기 변화율 추출 단계
박스 크기 변화율 추출부(440)는 인체 감지부(200)에서 감지된 사람들의 크기에 대응하여, 인체 추적부(300)에서 추적(tracking)된 각 사람의 크기를 직사각형 형상으로 표시한 박스의 크기 변화율을 추출한다.
즉, 싸움 이벤트가 발생할 경우, 촬영된 영상 내에서 싸우는 당사자들의 움직임이 많아지기 때문에 상자의 크기가 매 프레임 단위로 계속해서 변화하게 된다.
이에 따라, 상자의 크기 또한 매 프레임 단위로 계산이 되고, 모든 프레임에서의 상자의 면적이 모두 계산되고 난 이후에 상자의 크기 변화율이 최종적으로 산출된다.
각 사람의 박스 크기 변화율 히스토그램은 도 10과 같이 분류된다.
도 11에서 보는 바와 같이, 박스 크기 변화율 히스토그램은 '0'부터 '14'까지 총 15개의 빈(bin)으로 분류되고, 각각의 빈(bin)에 기재되는 박스 크기 변화율 값의 범위는 100 간격으로 설정된다.
박스 크기 변화율 히스토그램에 기재되는 값은 도 12에서 보는 바와 같이, 현재 영상을 이전 영상과 비교하여 각 사람의 이전 프레임에서의 박스(B1) 면적과 현재 프레임에서의 박스(B2) 면적을 시간으로 나누어 계산하여 누적시킨 값이다.
도 13은 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)의 부분 동작을 설명하기 위한 그래프로서, 클래스를 분류할 수 있는 초 평면의 예시 그래프들이다.
도 2 내지 도 13을 참조하여 본 발명의 일 실시예에 따른 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 상세한 동작을 설명하면 다음과 같다.
서포트 벡터 머신(500)(Support Vector Machine, SVM)은 N 차원의 공간(N-Features)에서 두 클래스를 분리하기 위한 최적의 초 평면(Hyper Plane)을 찾는다.
여기에서, 서포트 벡터 머신이란 머신 러닝 분야에서 지도학습에 관련된 학습 모델로서, 데이터의 분석 및/또는 분류와 회귀 분석 알고리즘에 주로 사용된다.
서포트 벡터 머신(500)은 적은 계산량으로 상당한 정확도를 보여주므로, 현재 널리 사용되고 있는 머신 러닝 모델 중 하나이다.
도 13(a)에서 보는 바와 같이, 두 클래스를 나누는 초 평면은 무수히 많으므로, 서포트 벡터 머신(500)을 통하여 최대 마진(Maximum margin), 즉 도 13(b)에서 보는 바와 같이, 두 클래스의 서포트 벡터 사이의 최대 거리를 갖는 최적의 초 평면을 찾는다.
서포트 벡터 머신(500)을 통하여 추출된 특징값들은 모두 하나의 벡터로 생성되어 하나의 데이터가 된다.
서포트 벡터 머신(500)을 통한 러닝을 설계하기 커널 전에 추출한 특징 벡터에 대하여 실측 자료(ground truth)를 부여하는데, 본 발명에서는 각 데이터에 대하여 프레임 별로 정상(normal) 이벤트, 싸움(fight) 이벤트에 대하여 실측 자료를 각각 0, 1을 부여한다.
이때, 데이터가 어떠한 형태를 가지고 있을지 모르기 때문에, 서포트 벡터 머신(500)의 커널(kernel)을 선형(linear) 커널과 반경 기초 함수(radius basis function, RBF) 커널 두 개를 준비한다.
선형(linear) 커널은 특징 추출부(400)에서 추출된 특징값에 대한 데이터의 분포가 선형적일 때 분류하기 용이하고, 반경 기초 함수(radius basis function, RBF) 커널은 상기 데이터의 분포의 차원이 높고 다차원으로 분해하여 분류할 때 용이하다.
도 14는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S500)에서 선형 커널을 이용하여 싸움 이벤트를 인식한 실제 실험 결과에 대한 표이다.
도 15는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S500)에서 반경 기초 함수 커널을 이용하여 싸움 이벤트를 인식한 실제 실험 결과에 대한 표이다.
도 14에서, 최 좌측 칼럼 항목인 '누적 프레임'은 영상 촬영부(100)에서 촬영된 영상 속에서 이전 영상과 다음 영상 사이의 시간 차이를 초 단위로 누적한 값을 의미한다.
예를 들어, '누적 프레임'이 10 프레임인 경우, 추출되는 특징값의 차이를 10 프레임 단위로 계산했다는 뜻이다.
도 14에서 보는 바와 같이, '싸움 검출률'이 가장 높은 '누적 프레임'은 20, 30 및 40 프레임이다.
하지만, '싸움 검출률'이 높은 만큼 전반적으로 오검율인 '과검출률'도 함께 높은 것을 확인할 수 있다.
이에 본 발명들은 '누적 프레임'이 20 및 30 프레임에서, '싸움 검출률'은 높이고 '과검출률'은 낮추기 위하여, 단계(S400)에서 서포트 벡터 머신(500)의 커널을 선형 커널 대신 반경 기초 함수 커널을 이용하여 싸움 이벤트를 인식하는 실험을 수행했다.
수행 결과, 도 14 및 도 15에서 보는 바와 같이, '누적 프레임'이 20 프레임인 경우, '싸움 검출률'이 71% 에서 72.08% 로 증가하였고, '과검출률' 이 57% 에서 39.9% 로 대폭 감소하였다.
또한, ‘누적 프레임'이 30 프레임인 경우, '싸움 검출률'이 70% 에서 67.57% 로 약간 감소하기는 했지만, '과검출률' 이 56% 에서 32.8% 로 대폭 감소하였다.
도 16은 도 4에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)에서 '누적 프레임'이 20 프레임인 경우, 각 특징 별 '싸움 검출률' 및 '과검출률' 실험 결과에 대한 다이어그램 그래프로서, 거리 추출 단계(a), 가속도 추출 단계(b), 이동 방향 추출 단계(c) 및 박스 크기 변화율 추출 단계(d)의 결과이다.
도 17은 도 4에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)에서 '누적 프레임'이 30 프레임인 경우, 각 특징 별 '싸움 검출률' 및 '과검출률' 실험 결과에 대한 다이어그램 그래프로서, 거리 추출 단계(a), 가속도 추출 단계(b), 이동 방향 추출 단계(c) 및 박스 크기 변화율 추출 단계(d)의 결과이다.
도 16 및 도 17에서 보는 바와 같이, 거의 모든 단계에서 유사한 수치의 '싸움 검출률' 및 '과검출률' 이 나타났다.
그 중에서, '싸움 검출률' 이 가장 높은 단계는 가속도 추출 단계(b)로서, '누적 프레임'이 20 프레임인 경우 83.33%, '누적 프레임'이 30 프레임인 경우 83.3%의 높은 수치를 나타내었다.
한편, '과검출률' 이 가장 낮은 단계는 이동 방향 추출 단계(c)로서, '누적 프레임'이 20 프레임인 경우 44.36%, '누적 프레임'이 30 프레임인 경우 43.61%의 낮은 수치를 나타내었다.
이와 같이, 본 발명은 CCTV에서 촬영된 영상 내 사람들의 인체를 감지 및 추적하고 복수개의 특징값을 추출하여, 추출된 데이터의 분포에 따라 서포트 벡터 머신의 커널을 맞춤형으로 적용하여 싸움 이벤트의 검출률을 높이고 오검율을 낮추어 싸움 이벤트를 정확하게 인식할 수 있는 특징벡터 기반 싸움 이벤트 인식 방법을 제공한다.
이를 통하여, 촬영된 영상에서 추적된 인체의 특징값을 복수개의 특징 벡터로 추출 및 분석하므로 싸움 이벤트 인식 결과의 정확도 및 신뢰도가 현저하게 향상된다.
또한, 감지 및 추적 대상이었던 사람들의 이동 등으로 해당 고정형 CCTV의 시야에서 벗어나게 되더라도, 다른 구역에 설치된 고정형 CCTV와의 통합 연동된 형태 또는 연속된 시퀀스에서의 끊김 없는 추적이나 감시가 가능해진다.
또한, 특징 추출부(400)가 촬영된 영상의 프레임 내에서 싸움 이벤트 인식 조건을 충족하는 사람들에 대해서만 특징값을 추출하므로, 딥 러닝에서의 연산량을 최적화할 수 있게 된다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
100: 영상 촬영부
200: 인체 감지부
300: 인체 추적부
400: 특징 추출부
410: 거리 추출부
420: 가속도 추출부
430: 이동 방향 추출부
440: 박스 크기 변화율 추출부
500: 서포트 벡터 머신

Claims (5)

  1. 삭제
  2. (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계;
    (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계;
    (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계;
    (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및
    (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계;
    를 포함하고,
    상기 (d) 단계는
    (d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계;
    (d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계;
    (d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및
    (d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계;
    를 포함하는 것을 특징으로 하는,
    특징벡터 기반 싸움 이벤트 인식 방법.
  3. (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계;
    (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계;
    (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계;
    (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및
    (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계;
    를 포함하고,
    상기 (d) 단계는
    (d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계;
    (d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계;
    (d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및
    (d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계;를 포함하며,
    상기 (e) 단계에서,
    상기 추출된 특징값에 대하여 정상 이벤트인 경우 상기 실측 자료를 '0'데이터, 싸움 이벤트인 경우 상기 실측 자료를'1'데이터로 부여하는 것을 특징으로 하는,
    특징벡터 기반 싸움 이벤트 인식 방법.
  4. (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계;
    (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계;
    (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계;
    (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및
    (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계;
    를 포함하고,
    상기 (d) 단계는
    (d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계;
    (d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계;
    (d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및
    (d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계;를 포함하며,
    상기 (e) 단계는
    상기 추출된 특징값에 대한 데이터의 분포가 선형적일 때 선형 커널을 이용하여 상기 두 클래스를 분류하는 것을 특징으로 하는,
    특징벡터 기반 싸움 이벤트 인식 방법.
  5. (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계;
    (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계;
    (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계;
    (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및
    (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계;
    를 포함하고,
    상기 (d) 단계는
    (d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계;
    (d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계;
    (d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및
    (d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계;를 포함하며,
    상기 (e) 단계는
    데이터의 분포의 차원이 다차원일 때 반경 기초 함수 커널을 이용하여 상기 두 클래스를 분류하는 것을 특징으로 하는,
    특징벡터 기반 싸움 이벤트 인식 방법.
KR1020200020381A 2020-02-19 2020-02-19 특징벡터 기반 싸움 이벤트 인식 방법 KR102286229B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200020381A KR102286229B1 (ko) 2020-02-19 2020-02-19 특징벡터 기반 싸움 이벤트 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200020381A KR102286229B1 (ko) 2020-02-19 2020-02-19 특징벡터 기반 싸움 이벤트 인식 방법

Publications (1)

Publication Number Publication Date
KR102286229B1 true KR102286229B1 (ko) 2021-08-06

Family

ID=77315049

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200020381A KR102286229B1 (ko) 2020-02-19 2020-02-19 특징벡터 기반 싸움 이벤트 인식 방법

Country Status (1)

Country Link
KR (1) KR102286229B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631950B1 (ko) * 2023-07-28 2024-01-31 주식회사 씨커뮤니케이션즈 지능형 cctv 시스템을 이용하여 이벤트의 발생을 감지하기 위한 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120040015A (ko) * 2010-10-18 2012-04-26 한국전자통신연구원 벡터 분류기 및 그것의 벡터 분류 방법
KR101484263B1 (ko) * 2013-10-24 2015-01-16 주식회사 에스원 폭력 감지 시스템 및 폭력 감지 방법
KR20150010248A (ko) * 2013-07-18 2015-01-28 주식회사 에스원 3차원 영상 정보를 이용한 감지 방법 및 장치
US9014853B2 (en) 2012-03-06 2015-04-21 Jtekt Corporation Calibration method and calibration system for robot
KR20150051630A (ko) * 2013-11-05 2015-05-13 한국과학기술연구원 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
KR20150088613A (ko) * 2014-01-24 2015-08-03 아이브스테크놀러지(주) 폭력 상황을 검출하는 장치 및 방법
KR20190014912A (ko) * 2017-08-04 2019-02-13 동국대학교 산학협력단 지정맥 인식 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120040015A (ko) * 2010-10-18 2012-04-26 한국전자통신연구원 벡터 분류기 및 그것의 벡터 분류 방법
US9014853B2 (en) 2012-03-06 2015-04-21 Jtekt Corporation Calibration method and calibration system for robot
KR20150010248A (ko) * 2013-07-18 2015-01-28 주식회사 에스원 3차원 영상 정보를 이용한 감지 방법 및 장치
KR101484263B1 (ko) * 2013-10-24 2015-01-16 주식회사 에스원 폭력 감지 시스템 및 폭력 감지 방법
KR20150051630A (ko) * 2013-11-05 2015-05-13 한국과학기술연구원 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
KR20150088613A (ko) * 2014-01-24 2015-08-03 아이브스테크놀러지(주) 폭력 상황을 검출하는 장치 및 방법
KR20190014912A (ko) * 2017-08-04 2019-02-13 동국대학교 산학협력단 지정맥 인식 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631950B1 (ko) * 2023-07-28 2024-01-31 주식회사 씨커뮤니케이션즈 지능형 cctv 시스템을 이용하여 이벤트의 발생을 감지하기 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101850286B1 (ko) 딥 러닝 기반 cctv용 영상 인식 방법
US11669979B2 (en) Method of searching data to identify images of an object captured by a camera system
Harrou et al. An integrated vision-based approach for efficient human fall detection in a home environment
Zhang et al. Combining motion and appearance cues for anomaly detection
Lopez-Fuentes et al. Review on computer vision techniques in emergency situations
Owens et al. Application of the self-organising map to trajectory classification
JP2018101317A (ja) 異常監視システム
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
WO2008103206A1 (en) Surveillance systems and methods
Piciarelli et al. Surveillance-oriented event detection in video streams
US9965687B2 (en) System and method for detecting potential mugging event via trajectory-based analysis
US10210392B2 (en) System and method for detecting potential drive-up drug deal activity via trajectory-based analysis
JP5047382B2 (ja) ビデオ監視時に移動物体を分類するシステムおよび方法
Roy et al. Suspicious and violent activity detection of humans using HOG features and SVM classifier in surveillance videos
KR102286229B1 (ko) 특징벡터 기반 싸움 이벤트 인식 방법
CN115311735A (zh) 一种异常行为智能识别预警方法
Rezaee et al. Deep-Transfer-learning-based abnormal behavior recognition using internet of drones for crowded scenes
Elarbi-Boudihir et al. Intelligent video surveillance system architecture for abnormal activity detection
Dwivedi et al. A novel approach for suspicious activity detection with deep learning
Rachna et al. Real-time violence detection using deep neural networks and DTW
Siddique et al. Analysis of real-time hostile activitiy detection from spatiotemporal features using time distributed deep CNNs, RNNs and attention-based mechanisms
Amrutha et al. A robust system for video classification: identification and tracking of suspicious individuals from surveillance videos
KR20230064095A (ko) 딥러닝 기반 영상분석을 통한 이상행동 탐지 장치 및 방법
Arshad et al. Anomalous situations recognition in surveillance images using deep learning
Bilski et al. Decision trees implementation in monitoring of elderly persons based on the depth sensors data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant