KR102286229B1 - A feature vector-based fight event recognition method - Google Patents
A feature vector-based fight event recognition method Download PDFInfo
- Publication number
- KR102286229B1 KR102286229B1 KR1020200020381A KR20200020381A KR102286229B1 KR 102286229 B1 KR102286229 B1 KR 102286229B1 KR 1020200020381 A KR1020200020381 A KR 1020200020381A KR 20200020381 A KR20200020381 A KR 20200020381A KR 102286229 B1 KR102286229 B1 KR 102286229B1
- Authority
- KR
- South Korea
- Prior art keywords
- human body
- people
- extracting
- image data
- unit
- Prior art date
Links
Images
Classifications
-
- G06K9/481—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 싸움 이벤트 인식 방법에 관한 것으로, 특히 CCTV에서 촬영된 영상 내 사람들의 인체에 대하여 복수개의 특징벡터 값을 추출하고, 서포트 벡터 머신을 이용하여 싸움 이벤트를 정확하게 인식할 수 있는 특징벡터 기반 싸움 이벤트 인식 방법을 발명에 관한 것이다.The present invention relates to a fight event recognition method, and in particular, a feature vector based fight that can accurately recognize a fight event by extracting a plurality of feature vector values for the human body in an image captured by CCTV, and using a support vector machine The invention relates to an event recognition method.
일반적으로, 인공 지능(Artificial Intelligence, AI)은 인간의 뇌와 뉴런 신경망을 모방해 언젠가는 컴퓨터나 로봇들이 인간처럼 사고하고 행동하게 하는 것이다. In general, Artificial Intelligence (AI) is about mimicking the human brain and neural networks of neurons, which will one day make computers or robots think and act like humans.
예를 들어, 우리는 사진만으로 개와 고양이를 아주 쉽게 구분할 수 있지만 컴퓨터는 구분하지 못한다. For example, we can very easily tell the difference between a dog and a cat by just a picture, but a computer cannot.
이를 위해 “머신 러닝(Machine Learning, ML)” 기법이 고안되었는데, 이 기법은 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술로서, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. To this end, a “Machine Learning (ML)” technique was devised, which is a technique that inputs a lot of data into a computer and classifies similar ones. Let the computer classify it.
데이터를 어떻게 분류할 것인가에 따라, 의사결정 나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트 벡터 머신(support vector machine, SVM), 그리고 인공 신경망(Artificial neural network) 등 많은 머신 러닝 알고리즘이 등장했다. Depending on how the data is classified, many machine learning algorithms such as decision trees, Bayesian networks, support vector machines (SVMs), and artificial neural networks have emerged. did.
그 중에 인공 신경망 알고리즘에서 파생된 딥 러닝(Deep Learning, DL)은 인공 신경망을 이용하여 데이터를 군집화하거나 분류하는데 사용하는 기술이다. Among them, Deep Learning (DL), which is derived from artificial neural network algorithms, is a technology used to cluster or classify data using artificial neural networks.
머신 러닝과 인지 과학에서의 인공 신경망은 생물학의 신경망(동물의 중추 신경계)에서 영감을 얻은 통계학적 학습 알고리즘이다. Artificial neural networks in machine learning and cognitive science are statistical learning algorithms inspired by neural networks in biology (the central nervous system of animals).
인공 신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(node)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. An artificial neural network refers to an overall model in which artificial neurons (nodes) that form a network through synapse bonding change the synaptic bonding strength through learning and have problem-solving ability.
인공 신경망을 이용하는 딥 러닝의 핵심은 분류를 통한 예측이다. The core of deep learning using artificial neural networks is prediction through classification.
수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 컴퓨터가 데이터를 나눈다. By discovering patterns in numerous data, the computer divides the data just as humans distinguish objects.
이 같은 분별 방식은 지도자(감독자/교사)의 신호(정답) 입력에 의해서 문제에 최적화되어 가는 지도(감독/교사) 학습과 지도자의 교사 신호를 필요로 하지 않는 비지도(감독/교사) 학습이 있다. In this discrimination method, supervised (supervisor/teacher) learning that is optimized for the problem by input of signal (correct answer) from the leader (supervisor/teacher) and unsupervised (supervisor/teacher) learning that does not require the teacher's signal from the leader there is.
일반적으로 입력으로부터 값을 계산하는 뉴런 시스템의 상호 연결로 표현되고 적응성이 있어 패턴 인식과 같은 기계 학습을 수행할 수 있다. It is usually expressed as an interconnection of neuronal systems that compute values from inputs and is adaptable, allowing machine learning such as pattern recognition to be performed.
데이터로부터 학습하는 다른 기계 학습과 같이, 신경망은 일반적으로 규칙 기반 프로그래밍으로 풀기 어려운 컴퓨터 비전(vision) 또는 음성 인식과 같은 다양한 범위의 문제를 푸는 데 이용된다.Like other machine learning that learns from data, neural networks are used to solve a wide range of problems, such as computer vision or speech recognition, that are typically difficult to solve with rule-based programming.
즉, 어떠한 데이터가 있을 때 이를 컴퓨터가 인지할 수 있는 형태(예를 들어 이미지의 경우 픽셀정보를 열 벡터로 표현하는 툴)로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있다.That is, when there is some data, many studies are being conducted to express it in a form that a computer can recognize (for example, in the case of an image, a tool that expresses pixel information as a column vector) and apply it to learning.
이러한 노력의 결과로 심층 신경망(deep neural networks), 합성 곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)와 같은 다양한 딥 러닝 기법들이 컴퓨터 비젼, 음성 인식, 자연어 처리, 음성/신호 처리 등의 분야에 적용되어 우수한 성능의 응용 프로그램들이 개발되고 있다.As a result of these efforts, various deep learning techniques such as deep neural networks, convolutional neural networks, and recurrent neural networks have been developed in computer vision, speech recognition, natural language processing, speech/signal processing, etc. Application programs with excellent performance are being developed by being applied to the field of
한편, 외부 및 특정 지역에는 많은 보안용 CCTV 시스템이 설치되어 있다. On the other hand, many CCTV systems for security are installed outside and in specific areas.
예를 들면, 빌딩, 아파트단지 등의 경비중앙 관리실에서 모니터링되는 CCTV들도 있고, 보안업체에서 관리하는 CCTV, 경찰 및 관공서에서 범죄 예방, 쓰레기 투기 감시 등의 공익 목적으로 설치 및 관리되는 CCTV들도 있다. For example, there are CCTVs monitored by the central security management office of buildings and apartment complexes, CCTVs managed by security companies, and CCTVs installed and managed for public interest such as crime prevention and garbage dumping monitoring in police and government offices. there is.
하지만, 이를 모니터링하는 인원의 한계 때문에 감시자가 각각의 카메라들에 대한 영상을 전체적으로 확인하는 것은 불가능한 것이 현실이다.However, due to the limit of the number of monitoring personnel, the reality is that it is impossible for the monitor to check the images of each camera as a whole.
이러한 부분을 보완하기 위해, CCTV 전문업체에서는 물체 및 인체감지 기능, 특정인 또는 특정 집단의 지정 트래킹 기능 등, 많은 부가 기능들을 접목시키고 있다. In order to supplement this part, CCTV specialists are incorporating many additional functions, such as object and human body detection function, and specific tracking function of a specific person or group.
하지만, 이러한 기능들은 모니터 화면을 모니터링하는 사람이 직접 조작해야 하며, 또는 이러한 기능들이 소프트웨어적으로 처리가 된다고 하더라도 모니터링 인원이 직접 눈으로 관찰하는 것에 대한 보조적인 기능에 불과하다.However, these functions must be directly operated by the person monitoring the monitor screen, or even if these functions are processed by software, they are only auxiliary functions for the monitoring personnel to directly observe.
이에 따라, 종래의 CCTV 시스템은 실시간 감시요원의 모니터링의 경우, 주의력의 지속에 한계가 있어 한 조사 결과에 의하면 모니터링 요원 1인당 평균 10대 이상의 CCTV를 관리하면서 2대 이상을 동시 모니터링 해야 하기 때문에 20분 경과 시 약 90 %의 이상 상황을 놓치게 된다는 통계가 있다.Accordingly, in the case of real-time monitoring of real-time monitoring personnel, the conventional CCTV system has a limit in continuation of attention. Statistics show that about 90% of anomalies are missed after a minute.
그리고, 종래의 고정형 CCTV는 원거리에 위치한 객체를 확인하기 위해 카메라를 줌 인(Zoom-In)하게 되면 해상도가 현저히 낮아질 뿐 아니라, CCTV 기능이 범죄 발생 후 이를 확인하거나, 또는 증거를 확보하기 위한 수동적인 대처 방법으로 사용될 뿐이다. In addition, in the conventional fixed CCTV, when the camera is zoomed in to check a distant object, the resolution is significantly lowered, and the CCTV function is passive to confirm this after a crime occurs or to secure evidence. It is only used as a coping method.
예를 들면, 엘리베이터 내에서의 영유아 납치사건, 엘리베이터 내의 폭행/폭력 및 성추행/성폭행 사건, 건물 내 및 아파트 단지 내의 외곽 지역에서의 범죄, 노상의 범죄 또는 엘리베이터 내, 건물 내 및 실외에서의 싸움 등의 '이벤트'가 발생된 시점에 적극적으로 대응하는 것이 아니라, 범죄 또는 이벤트가 일어난 후에 증거 확보의 수단으로 주로 활용되는 것이 현실이다.For example, kidnapping in elevators, assault/violence and sexual harassment/rape in elevators, crimes in buildings and on the outskirts of apartment complexes, crimes on the street or fighting in elevators, inside and outside buildings, etc. The reality is that it is mainly used as a means of securing evidence after a crime or event has occurred, rather than actively responding to the 'event' of
종래의 CCTV 시스템의 이와 같은 문제점을 해결하기 위하여 모니터 요원이 일일이 감시 영상을 모니터링하지 않아도, 획득한 영상을 실시간으로 분석하여 감시 구역 내에 출입하는 물체(사람, 차량 등)를 실시간으로 탐지하고, 이를 추적하며, 이들의 행위를 파악하여 위험 상황이 예측되는 경우, 필요한 조처(경보 발생, 출입 통제 등)를 실시간으로 취할 수 있는 지능형 무인 모니터링 CCTV 시스템이 개발되기는 하였으나, 인지 결과의 신뢰도가 매우 저조하고, 긴급상황에 즉각적으로 대처할 수 없으며, 획득된 영상과 기 저장된 영상만을 비교하기 때문에 실시간으로 발생하는 다양한 데이터 유형의 영상에 대응할 수 없는 한계가 있었다.In order to solve this problem of the conventional CCTV system, even if the monitor agent does not monitor the surveillance image one by one, the acquired image is analyzed in real time to detect an object (person, vehicle, etc.) entering and exiting the surveillance area in real time, and An intelligent unmanned monitoring CCTV system has been developed that can track and identify their behavior and take necessary actions (eg, generating an alarm, access control, etc.) in real time when a dangerous situation is predicted, but the reliability of the recognition results is very low. , it cannot respond immediately to emergency situations, and because only acquired images and pre-stored images are compared, there is a limitation in being unable to respond to images of various data types that occur in real time.
또한, 종래의 CCTV 시스템은 주로 고정형 CCTV를 구비하므로 커버할 수 있는 영역이 제한되어 있어, 관제 대상이 사람, 차량 등의 이동체인 경우 하나의 고정형 CCTV에서 포착된 위험 상황 등이 해당 고정형 CCTV의 시야에서 벗어나게 되면 복수개의 CCTV 간에 통합 연동된 형태 또는 연속된 시퀀스에서의 끊김 없는 추적이나 감시가 불가능한 한계가 있었다. In addition, the conventional CCTV system mainly includes a fixed CCTV, so the area that can be covered is limited. If it is out of this, there is a limit that it is impossible to seamlessly track or monitor in a form that is integrated or interlocked between multiple CCTVs or in a continuous sequence.
특히, 종래에 CCTV를 이용하여 “싸움”이라는 이벤트를 검출하는 경우, CCTV의 위치, 즉 촬영되는 높이에 따라 상대적으로 높은 위치에서 촬영한 경우와 상대적으로 낮은 위치에서 촬영한 경우가 있을 수 있다.In particular, in the case of detecting an event called “fight” using CCTV in the prior art, there may be cases of shooting at a relatively high position or a case of shooting at a relatively low position depending on the location of the CCTV, that is, the height at which it is photographed.
여기에서, “싸움”이란 이벤트는 사람 간에 신체적 혹은 정신적 충돌을 의미하며, 2 명만 있는 장소에서 2 명 사이의 싸움, 많은 사람이 있는 장소에서 2 명 사이의 싸움 또는 특정 인원의 사람 간의 싸움이 있다. Here, “fight” means a physical or mental conflict between people, and there is a fight between two people in a place with only two people, a fight between two people in a place with many people, or a fight between a specific number of people. .
이러한 “싸움” 이벤트를 검출하기 위한 데이터셋의 수집은 온라인 상에서 일반적으로 활용되고 있는 학습화된 데이터셋들을 취합하여 구축한다. The collection of datasets for detecting these “fighting” events is constructed by collecting learned datasets that are commonly used online.
도 1은 일반적으로 온라인 상에서 활용되고 있는 학습화된 데이터셋의 예시에 대한 표이다.1 is a table of an example of a trained dataset that is generally utilized online.
도 1에서 “Train set“이란 모델을 학습하기 위한 데이터 셋이고, Validation set이란 Train set이 학습중인 모델을 과적합(Over-Fitting)을 방지하기 위한 데이터 셋을 의미한다.In FIG. 1, “Train set” is a data set for learning a model, and a validation set refers to a data set for preventing over-fitting of the model being trained by the train set.
이와 같은 데이터셋들은 학습시킨 데이터가 특정한 경우에만 국한되지 않았는지 확인하고, 실제로 테스트 해보기 전에 제대로 학습 모델이 학습되었는지 확인하기 위한 데이터이다. These datasets are used to check whether the trained data is not limited to a specific case, and to check whether the training model is properly trained before actually testing it.
또한, Test set이란 학습된 최종 모델을 평가하기 위한 데이터 셋을 의미한다. In addition, the test set refers to a data set for evaluating the trained final model.
이에 본 발명자들은 CCTV에서 촬영된 영상 내 사람들의 인체에 대하여 복수개의 특징벡터 값을 추출하고, 추출된 데이터의 분포에 따라 서포트 벡터 머신의 커널을 맞춤형으로 적용하여 싸움 이벤트의 검출률을 향상시키고, 딥 러닝에서의 연산량을 최적화할 수 있는 특징벡터 기반 싸움 이벤트 인식 방법을 발명하기에 이르렀다.Accordingly, the present inventors extract a plurality of feature vector values for the human body in the image captured by CCTV, and customize the kernel of the support vector machine according to the distribution of the extracted data to improve the detection rate of the fight event, We have come up with a feature vector-based fight event recognition method that can optimize the amount of computation in running.
본 발명의 목적은 CCTV에서 촬영된 영상 내 사람들의 인체를 감지 및 추적하고 복수개의 특징값을 추출하여, 추출된 데이터의 분포에 따라 서포트 벡터 머신의 커널을 맞춤형으로 적용하여 싸움 이벤트의 검출률을 높이고 오검율을 낮추어 싸움 이벤트를 정확하게 인식할 수 있는 특징벡터 기반 싸움 이벤트 인식 방법을 제공하는 것이다. An object of the present invention is to detect and track the human body of people in the video captured by CCTV, extract a plurality of feature values, and customize the kernel of the support vector machine according to the distribution of the extracted data to increase the detection rate of fight events It is to provide a feature vector-based fight event recognition method that can accurately recognize a fight event by lowering the false positive rate.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하는 것을 특징으로 한다. A method for recognizing a fight event based on a feature vector of the present invention for achieving the above object includes the steps of: (a) outputting image data by an image capturing unit photographing a scene in a predetermined area; (b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data; (c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence; (d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and (e) classifying two classes by the support vector machine receiving the extracted feature values and providing actual measurement data for normal events and fighting events for each frame; It is characterized in that it includes.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하고, 상기 (d) 단계는 (d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계; (d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계; (d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및 (d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계; 를 포함하는 것을 특징으로 한다. A method for recognizing a fight event based on a feature vector of the present invention for achieving the above object includes the steps of: (a) outputting image data by an image capturing unit photographing a scene in a predetermined area; (b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data; (c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence; (d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and (e) classifying two classes by the support vector machine receiving the extracted feature values and providing actual measurement data for normal events and fighting events for each frame; and (d) comprises: (d-1) extracting, by a distance extracting unit, the distance value between the sensed people within the current frame of the image data; (d-2) extracting, by an acceleration extracting unit, the acceleration value when the people from whom the distance value is extracted move; (d-3) extracting the moving angle of the moving people by the moving direction extracting unit; and (d-4) extracting, by a box size change rate extracting unit, a rate of change in size of a box corresponding to the size of the human body of the sensed people; It is characterized in that it includes.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하고, 상기 (e) 단계에서, 상기 추출된 특징값에 대하여 정상 이벤트인 경우 상기 실측 자료를 '0'데이터, 싸움 이벤트인 경우 상기 실측 자료를'1'데이터로 부여하는 것을 특징으로 한다. A method for recognizing a fight event based on a feature vector of the present invention for achieving the above object includes the steps of: (a) outputting image data by an image capturing unit photographing a scene in a predetermined area; (b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data; (c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence; (d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and (e) classifying two classes by the support vector machine receiving the extracted feature values and providing actual measurement data for normal events and fighting events for each frame; In the step (e), in the case of a normal event with respect to the extracted feature value, the measured data is assigned as '0' data, and in the case of a fight event, the measured data is assigned as '1' data. .
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하고, 상기 (e) 단계는 상기 추출된 특징값에 대한 데이터의 분포가 선형적일 때 선형 커널을 이용하여 상기 두 클래스를 분류하는 것을 특징으로 한다. A method for recognizing a fight event based on a feature vector of the present invention for achieving the above object includes the steps of: (a) outputting image data by an image capturing unit photographing a scene in a predetermined area; (b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data; (c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence; (d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and (e) classifying two classes by the support vector machine receiving the extracted feature values and providing actual measurement data for normal events and fighting events for each frame; Including, the step (e) is characterized in that the two classes are classified using a linear kernel when the distribution of data for the extracted feature values is linear.
상기 목적을 달성하기 위한 본 발명의 특징벡터 기반 싸움 이벤트 인식 방법은 (a) 영상 촬영부가 소정 영역의 현장을 촬영하여 영상 데이터를 출력하는 단계; (b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계; (c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계; (d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및 (e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계; 를 포함하고, 상기 (e) 단계는 데이터의 분포의 차원이 다차원일 때 반경 기초 함수 커널을 이용하여 상기 두 클래스를 분류하는 것을 특징으로 한다. A method for recognizing a fight event based on a feature vector of the present invention for achieving the above object includes the steps of: (a) outputting image data by an image capturing unit photographing a scene in a predetermined area; (b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data; (c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence; (d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and (e) classifying two classes by the support vector machine receiving the extracted feature values and providing actual measurement data for normal events and fighting events for each frame; Including, the step (e) is characterized in that the two classes are classified using a radius-based function kernel when the dimension of the data distribution is multidimensional.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Specific details of other embodiments are included in "Details for carrying out the invention" and the accompanying "drawings".
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention, and methods of achieving them, will become apparent with reference to the various embodiments described below in detail in conjunction with the accompanying drawings.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 게시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited to the configuration of each embodiment disclosed below, but may also be implemented in a variety of different forms, and each embodiment disclosed in this specification only makes the publication of the present invention complete, It is provided to fully inform those of ordinary skill in the art to which the invention pertains to the scope of the present invention, and it should be understood that the present invention is only defined by the scope of each claim.
본 발명에 의할 경우, 촬영된 영상에서 추적된 인체의 특징값을 복수개의 특징 벡터로 추출 및 분석하므로 싸움 이벤트 인식 결과의 정확도 및 신뢰도가 현저하게 향상된다. According to the present invention, since the characteristic values of the human body tracked in the photographed image are extracted and analyzed into a plurality of feature vectors, the accuracy and reliability of the fight event recognition result are remarkably improved.
또한, 감지 및 추적 대상이었던 사람들의 이동 등으로 해당 고정형 CCTV의 시야에서 벗어나게 되더라도, 다른 구역에 설치된 고정형 CCTV와의 통합 연동된 형태 또는 연속된 시퀀스에서의 끊김 없는 추적이나 감시가 가능해진다. In addition, even if it is out of sight of the fixed CCTV due to the movement of people who have been detected and tracked, it is possible to seamlessly track or monitor in a continuous sequence or in an integrated interlocking form with a fixed CCTV installed in another area.
또한, 특징 추출부가 촬영된 영상의 프레임 내에서 싸움 이벤트 인식 조건을 충족하는 사람들에 대해서만 특징값을 추출하므로, 딥 러닝에서의 연산량을 최적화할 수 있게 된다. In addition, since the feature extraction unit extracts feature values only from those who satisfy the fighting event recognition condition within the frame of the captured image, it is possible to optimize the amount of computation in deep learning.
도 1은 일반적으로 온라인 상에서 활용되고 있는 학습화된 데이터셋의 예시에 대한 표이다.
도 2는 본 발명의 일 실시예에 특징벡터 기반 싸움 이벤트 인식 방법을 구현하기 위한 인식 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 특징벡터 기반 싸움 이벤트 인식 방법의 동작을 설명하기 위한 순서도이다.
도 4는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 부분 동작을 설명하기 위한 순서도이다.
도 5는 도 4에 도시된 단계(S400)의 부분 동작 중 거리 추출 단계(S410)에서의 감지된 사람들 간의 거리 값에 대한 히스토그램 범위의 표이다.
도 6은 도 4에 도시된 단계(S400)의 부분 동작 중 거리 추출 단계(S410)에서의 감지된 사람들 간의 거리 값에 대한 제1 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 7은 도 4에 도시된 단계(S400)의 부분 동작 중 가속도 추출 단계(S420)에서의 이동한 사람들의 가속도 값에 대한 히스토그램 범위의 표이다.
도 8은 도 4에 도시된 단계(S400)의 부분 동작 중 가속도 추출 단계(S420)에서의 이동한 사람들의 가속도 값에 대한 제2 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 9는 도 4에 도시된 단계(S400)의 부분 동작 중 이동 방향 추출 단계(S430)에서의 감지된 사람들 간의 이동 방향 값에 대한 히스토그램 범위의 표이다.
도 10은 도 4에 도시된 단계(S400)의 부분 동작 중 이동 방향 추출 단계(S430)에서의 감지된 사람들 간의 이동 방향 값에 대한 제3 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 11은 도 4에 도시된 단계(S400)의 부분 동작 중 박스 크기 변화율 추출 단계(S440)에서의 이동한 사람들의 가속도 값에 대한 히스토그램 범위의 표이다.
도 12는 도 4에 도시된 단계(S400)의 부분 동작 중 박스 크기 변화율 추출 단계(S440)에서의 이동한 사람들의 가속도 값에 대한 제4 특징 벡터를 가시화한 예시의 CCTV 사진이다.
도 13은 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)의 부분 동작을 설명하기 위한 그래프로서, 클래스를 분류할 수 있는 초 평면의 예시 그래프들이다.
도 14는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S500)에서 선형 커널을 이용하여 싸움 이벤트를 인식한 실제 실험 결과에 대한 표이다.
도 15는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S500)에서 반경 기초 함수 커널을 이용하여 싸움 이벤트를 인식한 실제 실험 결과에 대한 표이다.
도 16은 도 4에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)에서 '누적 프레임'이 20 프레임인 경우, 각 특징 별 '싸움 검출률' 및 '과검출률' 실험 결과에 대한 다이어그램 그래프이다.
도 17은 도 4에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)에서 '누적 프레임'이 30 프레임인 경우, 각 특징 별 '싸움 검출률' 및 '과검출률' 실험 결과에 대한 다이어그램 그래프이다.1 is a table of an example of a trained dataset that is generally utilized online.
2 is a block diagram of a recognition system for implementing a feature vector-based fighting event recognition method according to an embodiment of the present invention.
3 is a flowchart illustrating an operation of a method for recognizing a fight event based on a feature vector according to an embodiment of the present invention.
FIG. 4 is a flowchart for explaining a partial operation of step S400 of the method for recognizing a fight event based on a feature vector shown in FIG. 3 .
5 is a table of histogram ranges for distance values between people detected in the distance extraction step S410 during the partial operation of the step S400 shown in FIG. 4 .
6 is a CCTV picture of an example in which the first feature vector for the distance value between people detected in the distance extraction step ( S410 ) during the partial operation of the step ( S400 ) shown in FIG. 4 is visualized.
7 is a table of histogram ranges for the acceleration values of people who have moved in the acceleration extraction step S420 during the partial operation of the step S400 shown in FIG. 4 .
8 is a CCTV picture of an example of visualizing the second feature vector for the acceleration values of people who have moved in the acceleration extraction step S420 during the partial operation of the step S400 shown in FIG. 4 .
9 is a table of histogram ranges for movement direction values between people detected in the movement direction extraction step S430 during the partial operation of the step S400 shown in FIG. 4 .
10 is a CCTV picture of an example in which the third feature vector for the movement direction value between people detected in the movement direction extraction step S430 during the partial operation of the step S400 shown in FIG. 4 is visualized.
11 is a table of histogram ranges for the acceleration values of people who have moved in the box size change rate extraction step S440 during the partial operation of the step S400 shown in FIG. 4 .
12 is a CCTV picture of an example in which the fourth feature vector for the acceleration values of people who have moved in the box size change rate extraction step S440 during the partial operation of the step S400 shown in FIG. 4 is visualized.
13 is a graph for explaining a partial operation of step S400 in the method for recognizing a fight event based on the feature vector shown in FIG. 3 , and is an example graph of a hyperplane that can classify classes.
FIG. 14 is a table of actual experimental results of recognizing a fight event using a linear kernel in step S500 in the method for recognizing a fight event based on the feature vector shown in FIG. 3 .
FIG. 15 is a table of actual experimental results of recognizing a fight event using a radius-based function kernel in step S500 in the method for recognizing a fight event based on the feature vector shown in FIG. 3 .
16 is a diagram graph for the experimental results of 'fight detection rate' and 'over-detection rate' for each feature when the 'accumulated frame' is 20 frames in step S400 in the method for recognizing a fight event based on the feature vector shown in FIG. 4 .
17 is a diagram graph for the experimental results of 'fighting detection rate' and 'overdetection rate' for each feature, when the 'accumulated frame' is 30 frames in step S400 in the feature vector-based fight event recognition method shown in FIG. .
이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있다.Before describing the present invention in detail, the terms or words used in this specification should not be construed as being unconditionally limited to their ordinary or dictionary meanings, and in order for the inventor of the present invention to describe his invention in the best way Concepts of various terms can be appropriately defined and used.
더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Furthermore, it should be understood that these terms or words should be interpreted as meanings and concepts consistent with the technical spirit of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니다.That is, the terms used herein are only used to describe preferred embodiments of the present invention, and are not intended to specifically limit the content of the present invention.
이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.It should be understood that these terms are defined in consideration of various possibilities of the present invention.
또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있다.Also, in the present specification, a singular expression may include a plural expression unless the context clearly indicates otherwise.
또한, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.Also, it should be noted that even if it is similarly expressed as a plural, it may include a singular meaning.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.In the case where it is stated throughout this specification that a component "includes" another component, it does not exclude any other component, but further includes any other component unless otherwise stated. It could mean that you can.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있다.Furthermore, when it is described that a certain component is "exists in or connected to" of another component, the component may be directly connected to or installed in contact with the other component.
또한, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있다.In addition, they may be installed spaced apart from each other by a certain distance, and in the case where they are installed spaced apart by a certain distance, there may be a third component or means for fixing or connecting the corresponding component to another component. .
한편, 상기 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Meanwhile, it should be noted that the description of the third component or means may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when it is described that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the third element or means does not exist.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Similarly, other expressions describing the relationship between components, such as "between" and "immediately between", or "neighboring to" and "directly adjacent to", have the same meaning. should be interpreted as
또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용된다.In addition, in this specification, terms such as "one side", "the other side", "one side", "the other side", "first", "second", etc., with respect to one component, one component is a different component. It is used so that it can be clearly distinguished from the element.
하지만, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.However, it should be understood that the meaning of the corresponding component is not limitedly used by such terms.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 한다.In addition, in the present specification, terms related to positions such as "upper", "lower", "left", and "right", if used, should be understood as indicating a relative position in the corresponding drawing with respect to the corresponding component.
또한, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, these position-related terms should not be construed as referring to absolute positions unless absolute positions are specified for their positions.
더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미한다.Furthermore, in the specification of the present invention, terms such as “…unit”, “…group”, “module”, and “device”, if used, mean a unit capable of processing one or more functions or operations.
이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.It should be noted that this may be implemented in hardware or software, or a combination of hardware and software.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings attached to this specification, the size, position, coupling relationship, etc. of each component constituting the present invention are partially exaggerated, reduced, or omitted for convenience of explanation or in order to sufficiently clearly convey the spirit of the present invention. may be described, and therefore the proportion or scale may not be exact.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.In addition, in the following, in describing the present invention, a detailed description of a configuration determined that may unnecessarily obscure the gist of the present invention, for example, a detailed description of a known technology including the prior art may be omitted.
도 2는 본 발명의 일 실시예에 특징벡터 기반 싸움 이벤트 인식 방법을 구현하기 위한 인식 시스템의 블록도로서, 영상 촬영부(100), 인체 감지부(200), 인체 추적부(300), 특징 추출부(400) 및 서포트 벡터 머신(500)를 구비한다. 2 is a block diagram of a recognition system for implementing a feature vector-based fighting event recognition method according to an embodiment of the present invention. An
특징 추출부(400)는 거리 추출부(410), 가속도 추출부(420), 이동 방향 추출부(430) 및 박스 크기 변화율 추출부(440)를 포함한다.The
도 3은 본 발명의 일 실시예에 특징벡터 기반 싸움 이벤트 인식 방법의 동작을 설명하기 위한 순서도이다.3 is a flowchart illustrating an operation of a method for recognizing a fight event based on a feature vector according to an embodiment of the present invention.
도 2 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 특징벡터 기반 싸움 이벤트 인식 방법의 개략적인 동작을 설명하면 다음과 같다. A schematic operation of a method for recognizing a fight event based on a feature vector according to an embodiment of the present invention will be described with reference to FIGS. 2 to 3 .
영상 촬영부(100)가 CCTV를 이용하여 소정 영역의 현장을 촬영하여 영상 데이터를 출력한다(S100).The
인체 감지부(200)가 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지한다(S200).The human
인체 추적부(300)가 영상 촬영부(100)에서 촬영된 영상의 연속된 시퀀스에서 추적 알고리즘을 이용하여 이웃한 프레임들간 인체를 추적한다(S300).The human
특징 추출부(400)가 인체 추적부(300)에서 추적된 사람들 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 사람의 크기를 표시한 박스의 크기 변화율 등의 특징값을 추출한다(S400).The
서포트 벡터 머신(500)이 소정 영역의 현장에서 프레임 별로 정상(normal) 이벤트와 싸움(fight) 이벤트에 대한 두 클래스를 분류한다(S500).The
본 발명에 따른 특징벡터 기반 싸움 이벤트 인식 방법의 상세한 동작 설명은 후술하도록 한다.A detailed operation description of the method for recognizing a fight event based on a feature vector according to the present invention will be described later.
도 2 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 특징벡터 기반 싸움 이벤트 인식 방법의 선행되어야 할 작동 조건을 설명하면 다음과 같다. The operating conditions to be preceded in the method for recognizing a fight event based on a feature vector according to an embodiment of the present invention will be described with reference to FIGS. 2 to 3 .
먼저, 연속된 영상 시퀀스에서 특징벡터를 추출해야 하는데, 이를 위해서는 선행되어야 할 다음과 같은 작동 조건이 필요하다. First, it is necessary to extract a feature vector from a continuous image sequence. For this, the following operating conditions are required.
첫째, 인체 감지부(200)가 현장에서 영상 촬영부(100)가 촬영한 영상 내에 존재하는 사람들을 감지하기 위한 딥러닝 모델 및 감지 알고리즘이 필요하다.First, a deep learning model and a detection algorithm are required for the
본 발명에서는 'Yolo V3' 모델 및 'SORT(Simple Online and Real-time Tracking)' 알고리즘을 사용한다.In the present invention, a 'Yolo V3' model and a 'Simple Online and Real-time Tracking (SORT)' algorithm are used.
둘째, 인체 추적부(300)가 현장에서 촬영된 영상의 연속된 시퀀스에서 이웃한 프레임들간 사람을 소정의 알고리즘으로 인덱싱하여 사람을 추적한다.Second, the human
본 발명에서는 'SORT(Simple Online and Real-time Tracking)' 알고리즘을 사용한다.In the present invention, a 'Simple Online and Real-time Tracking (SORT)' algorithm is used.
그 다음, 특징 추출부(400)가 현재 프레임 내에서 검출된 사람들의 특징값을 추출하기 전에 조건을 충족하는 사람들에 대해서만 특징값을 추출한다.Then, before the
이를 통하여, 본 발명의 싸움 이벤트 인식 방법은 조건을 충족하지 않는 의미 없는 사람들을 사전에 제거하여 특징 추출부(400)에서의 연산량을 최적화할 수 있게 된다. Through this, the fighting event recognition method of the present invention can optimize the amount of computation in the
또한, 사람들이 움직이고 있는지를 판별하기 위해서는 사람들의 중심 값을 (x, y) 좌표로 하고, 각각 이전 영상과 현재 영상 사이의 차이를 계산하여 차이 값이 특정 값 이상이면 사람이 이동한 것으로 판정한다.In addition, in order to determine whether people are moving, the center value of the people is used as (x, y) coordinates, and the difference between the previous image and the current image is calculated, respectively. .
또한, 종래의 고정형 CCTV의 한계였던 커버할 수 있는 감지 및 추적 영역의 제한성을 극복하기 위하여, 감지 및 추적 대상이었던 사람들의 이동 등으로 해당 고정형 CCTV의 시야에서 벗어나게 되더라도, 소정의 관제 센터 서버에서 이를 감지하여 다른 구역에 설치된 고정형 CCTV와의 통합 연동된 형태 또는 연속된 시퀀스에서의 끊김 없는 추적이나 감시가 가능해야 한다.In addition, in order to overcome the limitation of the detection and tracking area that can be covered, which is a limitation of the conventional fixed CCTV, even if it is out of view of the fixed CCTV due to the movement of people who were the detection and tracking target, a predetermined control center server It should be possible to detect and interlock with fixed CCTV installed in other areas, or seamless tracking or monitoring in a continuous sequence.
마지막으로, 서포트 벡터 머신(500)이 N 차원의 공간(N-Features)에서 정상 이벤트와 싸움 이벤트에 대하여 두 클래스를 분리하기 위한 최적의 초 평면(Hyper Plane)을 찾는다.Finally, the
도 4는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 부분 동작을 설명하기 위한 순서도이다.FIG. 4 is a flowchart for explaining a partial operation of step S400 of the method for recognizing a fight event based on a feature vector shown in FIG. 3 .
도 2 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 개략적인 동작을 설명하면 다음과 같다.A schematic operation of step S400 in the method for recognizing a fight event based on a feature vector according to an embodiment of the present invention will be described with reference to FIGS. 2 to 4 .
거리 추출부(410)가 현장에서 촬영된 영상의 현재 프레임 내에서 검출된 사람들 간의 거리 값을 추출한다(S410).The
가속도 추출부(420)가 거리 추출부(410)에서 거리 값이 추출된 사람들이 이동할 때 가속도 값을 추출한다(S420).The
이때, 사람들의 이동 여부는 이전 영상과 현재 영상에서 사람들의 중심 값의 차이가 특정 값 이상인지 여부를 통해 판별한다.In this case, whether or not people move is determined based on whether the difference between the center values of people in the previous image and the current image is greater than or equal to a specific value.
이동 방향 추출부(430)가 가속도 추출부(420)에서 이동하는 것으로 판별된 사람들의 이동하는 이동 방향을 추출한다(S430).The moving
이때, 각 사람의 이동 방향은 촬영된 영상 내에서 사람이 이동할 수 있는 방향을 최대 360도로 하여 이동하는 각도로 계산한 값을 말한다.In this case, the movement direction of each person refers to a value calculated as a movement angle with a maximum of 360 degrees in the direction in which the person can move in the captured image.
박스 크기 변화율 추출부(440)가 인체 감지부(200)에서 감지된 사람들의 크기에 대응되어 그려지는 박스의 크기 변화율을 추출한다(S440).The box size change
도 5는 도 4에 도시된 단계(S400)의 부분 동작 중 거리 추출 단계(S410)에서의 감지된 사람들 간의 거리 값에 대한 히스토그램 범위의 표이다.5 is a table of histogram ranges for distance values between people detected in the distance extraction step S410 during the partial operation of the step S400 shown in FIG. 4 .
도 6은 도 4에 도시된 단계(S400)의 부분 동작 중 거리 추출 단계(S410)에서의 감지된 사람들 간의 거리 값에 대한 제1 특징 벡터를 가시화한 예시의 CCTV 사진으로서, 사람 1(P1), 사람 2(P2) 및 사람 3(P3)을 포함한다.6 is a CCTV picture of an example of visualizing the first feature vector for the distance value between people detected in the distance extraction step (S410) during the partial operation of the step (S400) shown in FIG. 4, and the person 1 (P1) , Person 2 (P2) and Person 3 (P3).
도 7은 도 4에 도시된 단계(S400)의 부분 동작 중 가속도 추출 단계(S420)에서의 이동한 사람들의 가속도 값에 대한 히스토그램 범위의 표이다.7 is a table of histogram ranges for the acceleration values of people who have moved in the acceleration extraction step S420 during the partial operation of the step S400 shown in FIG. 4 .
도 8은 도 4에 도시된 단계(S400)의 부분 동작 중 가속도 추출 단계(S420)에서의 이동한 사람들의 가속도 값에 대한 제2 특징 벡터를 가시화한 예시의 CCTV 사진으로서, 프레임 1(f1), 프레임 2(f2) 및 프레임 3(f3)을 포함한다.8 is a CCTV picture of an example of visualizing the second feature vector for the acceleration values of people who have moved in the acceleration extraction step (S420) during the partial operation of the step (S400) shown in FIG. 4, frame 1 (f1) , including frame 2 (f2) and frame 3 (f3).
도 9는 도 4에 도시된 단계(S400)의 부분 동작 중 이동 방향 추출 단계(S430)에서의 감지된 사람들 간의 이동 방향 값에 대한 히스토그램 범위의 표이다.9 is a table of histogram ranges for movement direction values between people detected in the movement direction extraction step S430 during the partial operation of the step S400 shown in FIG. 4 .
도 10은 도 4에 도시된 단계(S400)의 부분 동작 중 이동 방향 추출 단계(S430)에서의 감지된 사람들 간의 이동 방향 값에 대한 제3 특징 벡터를 가시화한 예시의 CCTV 사진이다.10 is a CCTV picture of an example in which the third feature vector for the movement direction value between people detected in the movement direction extraction step S430 during the partial operation of the step S400 shown in FIG. 4 is visualized.
도 11은 도 4에 도시된 단계(S400)의 부분 동작 중 박스 크기 변화율 추출 단계(S440)에서의 이동한 사람들의 가속도 값에 대한 히스토그램 범위의 표이다.11 is a table of histogram ranges for the acceleration values of people who have moved in the box size change rate extraction step S440 during the partial operation of the step S400 shown in FIG. 4 .
도 12는 도 4에 도시된 단계(S400)의 부분 동작 중 박스 크기 변화율 추출 단계(S440)에서의 이동한 사람들의 가속도 값에 대한 제4 특징 벡터를 가시화한 예시의 CCTV 사진으로서, 박스 1(B1) 및 박스 2(B2)를 포함한다.12 is a CCTV picture of an example of visualizing the fourth feature vector for the acceleration values of people who moved in the box size change rate extraction step (S440) during the partial operation of the step S400 shown in FIG. 4, box 1 ( B1) and box 2 (B2).
도 2 내지 도 12를 참조하여 본 발명에 따른 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 상세한 동작을 설명하면 다음과 같다. The detailed operation of step S400 in the method for recognizing a fight event based on a feature vector according to the present invention will be described with reference to FIGS. 2 to 12 .
본 발명에 따른 특징벡터 기반 싸움 이벤트 인식 방법 중 특징 추출 단계는 거리 추출 단계, 가속도 추출 단계, 이동 방향 추출 단계 및 박스 크기 변화율 추출 단계의 4단계로 구성된다.In the feature vector-based fighting event recognition method according to the present invention, the feature extraction step includes a distance extraction step, an acceleration extraction step, and a movement direction extraction step. and It consists of four steps: the box size change rate extraction step.
거리 추출 단계distance extraction step
거리 추출부(410)는 영상 촬영부(100)가 현장에서 촬영한 영상의 현재 프레임 내에서 인체 감지부(200)로부터 감지된 사람들 간의 거리 값을 추출한다.The
즉, 사람들 간의 거리는 주어진 대상이 n명(본 실시예에서는 3명)이 존재할 경우 모든 사람 사이의 거리값을 계산하여, 히스토그램은 '0'부터 '14'까지 총 15개의 빈(bin)으로 분류한다.That is, the distance between people is calculated by calculating the distance value between all people when there are n people (3 people in this embodiment) of a given object, and the histogram is classified into a total of 15 bins from '0' to '14'. do.
여기에서, 빈(bin)이란 영상 처리 분야에서 픽셀의 분포를 나타내는 히스토그램의 영역 또는 범위를 의미한다.Here, a bin refers to an area or range of a histogram indicating a distribution of pixels in an image processing field.
도 5에서 보는 바와 같이, 본 발명의 특징 추출 단계 중 거리 추출 단계에서 각각의 빈(bin), 즉 히스토그램 범위는 20 픽셀 단위로 분류되고, 280 픽셀 이상이면 모두 15번째 빈(bin)인 '14'에 누적되도록 구현한다. As shown in FIG. 5 , in the distance extraction step of the feature extraction step of the present invention, each bin, that is, the histogram range is classified in units of 20 pixels, and if it is 280 pixels or more, all 15th bins '14 ' is implemented to be cumulative.
사람들 간의 거리는 촬영된 영상의 매 프레임에서 계산되어 매 프레임에 값이 존재하게 되지만, 수 초 단위로 알고리즘이 작동하기 때문에 영상의 특성에 따라 누적되는 정도가 다를 수 있다. The distance between people is calculated from every frame of the captured image and a value exists in each frame. However, since the algorithm operates every few seconds, the degree of accumulation may vary depending on the characteristics of the image.
예를 들어, 초당 프레임 수(Frame Per Second, fps)가 60인 영상에서는 총 60개의 히스토그램이 누적되어 하나의 특징으로 사용된다. For example, in an image having 60 frames per second (fps), a total of 60 histograms are accumulated and used as one feature.
따라서, 사람들 간의 거리는 현재 프레임과 이전 프레임에서의 위치의 차를 통하여 산출한다.Accordingly, the distance between people is calculated through the difference between positions in the current frame and the previous frame.
도 6에서 보는 바와 같이, 사람 1(P1)과 사람 2(P2) 사이의 거리는 36 픽셀로서 빈(bin) '1' 에 해당하고, 사람 2(P2)와 사람 3(P3) 사이의 거리는 40 픽셀로서 빈(bin) '2' 에 해당하며, 사람 3(P3)과 사람 1(P1) 사이의 거리는 27 픽셀로서 빈(bin) '1' 에 해당한다.6 , the distance between person 1 (P1) and person 2 (P2) is 36 pixels, which corresponds to bin '1', and the distance between person 2 (P2) and person 3 (P3) is 40 pixels. As a pixel, it corresponds to bin '2', and the distance between person 3 (P3) and person 1 (P1) is 27 pixels, which corresponds to bin '1'.
가속도acceleration 추출 단계extraction step
가속도 추출부(420)는 거리 추출부(410)에서 거리 값이 추출된 사람들의 중심 값의 차이가 특정 값 이상인지 여부를 통해 이동 여부를 판별하여 이동한 것으로 판단된 경우 이동한 사람들의 가속도 값을 추출한다.The
예를 들어, 사람 2(P2)가 이동했다고 가정하면, 가속도 추출부(420)가 사람 2(P2)의 현재 영상과 이전 영상을 비교하여 이동한 거리 값 및 이동 시간을 계산한다. For example, assuming that person 2 ( P2 ) has moved, the
계산된 사람 2(P2)의 이동한 거리 값 및 이동 시간을 이용하여 사람 2(P2)의 이동 속도 값을 구하고, 계산된 사람 2(P2)의 이동 시간과 속도 값을 이용하여 가속도 값을 산출한다.The movement speed value of Person 2 (P2) is obtained using the calculated distance value and movement time of Person 2 (P2), and the acceleration value is calculated using the calculated movement time and speed value of Person 2 (P2) do.
각 사람의 가속도 히스토그램은 도 6과 같이 분류된다.Each person's acceleration histogram is classified as shown in FIG. 6 .
도 7에서 보는 바와 같이, 가속도 히스토그램은 '0'부터 '9'까지 총 10개의 빈(bin)으로 분류되고, 각각의 빈(bin)에 기재되는 가속도 크기의 범위는 3 m/sec2 간격으로 설정된다.As shown in FIG. 7 , the acceleration histogram is classified into a total of 10 bins from '0' to '9', and the range of acceleration magnitudes described in each bin is 3 m/sec 2 at intervals. is set
가속도 크기는 프레임 단위로 계산되지만 초 단위로 누적되기 때문에 영상에 따라 누적되는 정도가 다를 수 있다. Although the magnitude of the acceleration is calculated in units of frames, since it is accumulated in units of seconds, the degree of accumulation may vary depending on the image.
또한, 가속도 크기는 이동 속도 값의 변화를 이용하여 산출되므로, 도 8에서 보는 바와 같이, 프레임이 최소 3개(f1, f2, f3)가 있어야 하기 때문에 초기에 이동 거리값과 이동 속도 값이 계산되고 난 후부터 계산될 수 있다. In addition, since the magnitude of the acceleration is calculated using the change in the movement speed value, as shown in FIG. 8 , since there must be at least three frames (f1, f2, f3), the movement distance value and the movement speed value are initially calculated It can be calculated after
따라서, 초기 3개 프레임에 해당하는 가속도 값은 계산되지 않고, 4번째 프레임부터 계산이 시작된다. Accordingly, the acceleration values corresponding to the first three frames are not calculated, and the calculation starts from the fourth frame.
이동 방향 추출 단계Step of extracting the direction of movement
이동 방향 추출부(430)는 가속도 추출부(420)에서 이동하는 것으로 판별된 사람들이 이동할 수 있는 방향을 최대 360도로 하여 이동한 사람들의 이동하는 각도를 계산하여 이동 방향을 추출한다.The moving
각 사람의 이동 방향 히스토그램은 도 8과 같이 분류된다.A histogram of each person's movement direction is classified as shown in FIG. 8 .
도 9에서 보는 바와 같이, 이동 방향 히스토그램은 '0'부터 '11'까지 총 12개의 빈(bin)으로 분류되고, 각각의 빈(bin)에 기재되는 이동 방향 값의 범위는 30 도 간격으로 설정된다.As shown in FIG. 9 , the movement direction histogram is classified into a total of 12 bins from '0' to '11', and the range of movement direction values described in each bin is 30 degrees. interval is set.
이동 방향 히스토그램에 기재되는 값은 현재 영상을 이전 영상과 비교하여 현재 영상에 촬영된 사람이 현재 어느 방향으로 이동하고 있는지에 대한 변화 각을 계산하여 누적시킨 값이다. The value described in the movement direction histogram is a value accumulated by comparing the current image with the previous image and calculating and accumulating a change angle with respect to which direction the person photographed in the current image is currently moving.
촬영되는 영상은 2차원이기 때문에 도 10에서 보는 바와 같이, 360 도를 30 도 단위로 영상을 나눴을 때 사람의 중심값이 이동한 좌표의 차이(dx, dy)를 이용하여 arctan(dy/dx)을 계산하면 이동 방향에 대한 변화 각을 산출할 수 있다. Since the captured image is two-dimensional, as shown in FIG. 10, arctan(dy/dx) is used by using the difference (dx, dy) of the coordinates where the center of the person moves when the image is divided by 360 degrees by 30 degrees. ), the angle of change with respect to the direction of movement can be calculated.
이동 방향에 대한 변화 각 역시 가속도 값과 마찬가지로 속도값이 먼저 계산된 후부터 계산이 가능하다. Like the acceleration value, the angle of change with respect to the moving direction can be calculated after the velocity value is first calculated.
또한, 이동 방향에 대한 변화 각은 프레임 단위로 계산이 되지만, 수 초 단위로 알고리즘이 작동하기 때문에 영상의 특성에 따라 누적되는 정도가 다를 수 있다. Also, although the angle of change with respect to the moving direction is calculated in units of frames, the degree of accumulation may be different depending on the characteristics of the image because the algorithm operates in units of several seconds.
박스 크기 변화율box size change 추출 단계extraction step
박스 크기 변화율 추출부(440)는 인체 감지부(200)에서 감지된 사람들의 크기에 대응하여, 인체 추적부(300)에서 추적(tracking)된 각 사람의 크기를 직사각형 형상으로 표시한 박스의 크기 변화율을 추출한다.The box size change
즉, 싸움 이벤트가 발생할 경우, 촬영된 영상 내에서 싸우는 당사자들의 움직임이 많아지기 때문에 상자의 크기가 매 프레임 단위로 계속해서 변화하게 된다. That is, when a fighting event occurs, the size of the box continues to change every frame because the movement of the fighting parties increases in the captured image.
이에 따라, 상자의 크기 또한 매 프레임 단위로 계산이 되고, 모든 프레임에서의 상자의 면적이 모두 계산되고 난 이후에 상자의 크기 변화율이 최종적으로 산출된다.Accordingly, the size of the box is also calculated for each frame, and after the area of the box in all frames is calculated, the rate of change in the size of the box is finally calculated.
각 사람의 박스 크기 변화율 히스토그램은 도 10과 같이 분류된다.Each person's box size change rate histogram is classified as shown in FIG. 10 .
도 11에서 보는 바와 같이, 박스 크기 변화율 히스토그램은 '0'부터 '14'까지 총 15개의 빈(bin)으로 분류되고, 각각의 빈(bin)에 기재되는 박스 크기 변화율 값의 범위는 100 간격으로 설정된다.11, the box size change rate histogram is classified into a total of 15 bins from '0' to '14', and the range of the box size change rate value described in each bin is 100 interval is set.
박스 크기 변화율 히스토그램에 기재되는 값은 도 12에서 보는 바와 같이, 현재 영상을 이전 영상과 비교하여 각 사람의 이전 프레임에서의 박스(B1) 면적과 현재 프레임에서의 박스(B2) 면적을 시간으로 나누어 계산하여 누적시킨 값이다. As shown in FIG. 12, the value described in the box size change rate histogram is obtained by comparing the current image with the previous image and dividing the area of the box (B1) in the previous frame and the area of the box (B2) in the current frame by time. It is a calculated and accumulated value.
도 13은 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)의 부분 동작을 설명하기 위한 그래프로서, 클래스를 분류할 수 있는 초 평면의 예시 그래프들이다.13 is a graph for explaining a partial operation of step S400 in the method for recognizing a fight event based on a feature vector shown in FIG. 3 , and is an example graph of a hyperplane that can classify classes.
도 2 내지 도 13을 참조하여 본 발명의 일 실시예에 따른 특징벡터 기반 싸움 이벤트 인식 방법 중 단계(S400)의 상세한 동작을 설명하면 다음과 같다.The detailed operation of step S400 in the method for recognizing a fight event based on a feature vector according to an embodiment of the present invention will be described with reference to FIGS. 2 to 13 .
서포트 벡터 머신(500)(Support Vector Machine, SVM)은 N 차원의 공간(N-Features)에서 두 클래스를 분리하기 위한 최적의 초 평면(Hyper Plane)을 찾는다.The support vector machine 500 (Support Vector Machine, SVM) finds an optimal hyperplane for separating two classes in an N-dimensional space (N-Features).
여기에서, 서포트 벡터 머신이란 머신 러닝 분야에서 지도학습에 관련된 학습 모델로서, 데이터의 분석 및/또는 분류와 회귀 분석 알고리즘에 주로 사용된다. Here, the support vector machine is a learning model related to supervised learning in the field of machine learning, and is mainly used for data analysis and/or classification and regression analysis algorithms.
서포트 벡터 머신(500)은 적은 계산량으로 상당한 정확도를 보여주므로, 현재 널리 사용되고 있는 머신 러닝 모델 중 하나이다.Since the
도 13(a)에서 보는 바와 같이, 두 클래스를 나누는 초 평면은 무수히 많으므로, 서포트 벡터 머신(500)을 통하여 최대 마진(Maximum margin), 즉 도 13(b)에서 보는 바와 같이, 두 클래스의 서포트 벡터 사이의 최대 거리를 갖는 최적의 초 평면을 찾는다.As shown in Fig. 13(a), since there are innumerable hyperplanes dividing the two classes, the maximum margin through the
서포트 벡터 머신(500)을 통하여 추출된 특징값들은 모두 하나의 벡터로 생성되어 하나의 데이터가 된다. The feature values extracted through the
서포트 벡터 머신(500)을 통한 러닝을 설계하기 커널 전에 추출한 특징 벡터에 대하여 실측 자료(ground truth)를 부여하는데, 본 발명에서는 각 데이터에 대하여 프레임 별로 정상(normal) 이벤트, 싸움(fight) 이벤트에 대하여 실측 자료를 각각 0, 1을 부여한다. To design the learning through the
이때, 데이터가 어떠한 형태를 가지고 있을지 모르기 때문에, 서포트 벡터 머신(500)의 커널(kernel)을 선형(linear) 커널과 반경 기초 함수(radius basis function, RBF) 커널 두 개를 준비한다. At this time, since the shape of the data is unknown, two kernels of the
선형(linear) 커널은 특징 추출부(400)에서 추출된 특징값에 대한 데이터의 분포가 선형적일 때 분류하기 용이하고, 반경 기초 함수(radius basis function, RBF) 커널은 상기 데이터의 분포의 차원이 높고 다차원으로 분해하여 분류할 때 용이하다.The linear kernel is easy to classify when the distribution of data with respect to the feature values extracted by the
도 14는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S500)에서 선형 커널을 이용하여 싸움 이벤트를 인식한 실제 실험 결과에 대한 표이다.FIG. 14 is a table of actual experimental results of recognizing a fight event using a linear kernel in step S500 in the method for recognizing a fight event based on the feature vector shown in FIG. 3 .
도 15는 도 3에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S500)에서 반경 기초 함수 커널을 이용하여 싸움 이벤트를 인식한 실제 실험 결과에 대한 표이다.FIG. 15 is a table of actual experimental results of recognizing a fight event using a radius-based function kernel in step S500 in the method for recognizing a fight event based on the feature vector shown in FIG. 3 .
도 14에서, 최 좌측 칼럼 항목인 '누적 프레임'은 영상 촬영부(100)에서 촬영된 영상 속에서 이전 영상과 다음 영상 사이의 시간 차이를 초 단위로 누적한 값을 의미한다. In FIG. 14 , the 'accumulated frame', which is the leftmost column item, refers to a value obtained by accumulating the time difference between the previous image and the next image in the image captured by the
예를 들어, '누적 프레임'이 10 프레임인 경우, 추출되는 특징값의 차이를 10 프레임 단위로 계산했다는 뜻이다. For example, when the 'cumulative frame' is 10 frames, it means that the difference between the extracted feature values is calculated in units of 10 frames.
도 14에서 보는 바와 같이, '싸움 검출률'이 가장 높은 '누적 프레임'은 20, 30 및 40 프레임이다. As shown in FIG. 14 , the 'accumulated frames' having the highest 'fight detection rate' are
하지만, '싸움 검출률'이 높은 만큼 전반적으로 오검율인 '과검출률'도 함께 높은 것을 확인할 수 있다. However, as the 'fight detection rate' is high, it can be seen that the 'overdetection rate', which is the overall false detection rate, is also high.
이에 본 발명들은 '누적 프레임'이 20 및 30 프레임에서, '싸움 검출률'은 높이고 '과검출률'은 낮추기 위하여, 단계(S400)에서 서포트 벡터 머신(500)의 커널을 선형 커널 대신 반경 기초 함수 커널을 이용하여 싸움 이벤트를 인식하는 실험을 수행했다.Accordingly, in the present invention, in order to increase the 'fighting detection rate' and lower the 'over-detection rate' in the 'cumulative frame' of 20 and 30 frames, in step S400, the kernel of the
수행 결과, 도 14 및 도 15에서 보는 바와 같이, '누적 프레임'이 20 프레임인 경우, '싸움 검출률'이 71% 에서 72.08% 로 증가하였고, '과검출률' 이 57% 에서 39.9% 로 대폭 감소하였다.As a result, as shown in FIGS. 14 and 15 , when the 'cumulative frame' is 20 frames, the 'fight detection rate' increased from 71% to 72.08%, and the 'overdetection rate' significantly decreased from 57% to 39.9% did.
또한, ‘누적 프레임'이 30 프레임인 경우, '싸움 검출률'이 70% 에서 67.57% 로 약간 감소하기는 했지만, '과검출률' 이 56% 에서 32.8% 로 대폭 감소하였다.In addition, when the 'accumulated frame' is 30 frames, the 'fight detection rate' slightly decreased from 70% to 67.57%, but the 'overdetection rate' significantly decreased from 56% to 32.8%.
도 16은 도 4에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)에서 '누적 프레임'이 20 프레임인 경우, 각 특징 별 '싸움 검출률' 및 '과검출률' 실험 결과에 대한 다이어그램 그래프로서, 거리 추출 단계(a), 가속도 추출 단계(b), 이동 방향 추출 단계(c) 및 박스 크기 변화율 추출 단계(d)의 결과이다.16 is a diagram graph of the experimental results of 'fight detection rate' and 'over-detection rate' for each feature, when the 'cumulative frame' is 20 frames in step S400 in the feature vector-based fight event recognition method shown in FIG. , distance extraction step (a), acceleration extraction step (b), movement direction extraction step (c) and It is the result of the box size change rate extraction step (d).
도 17은 도 4에 도시된 특징벡터 기반 싸움 이벤트 인식 방법 내 단계(S400)에서 '누적 프레임'이 30 프레임인 경우, 각 특징 별 '싸움 검출률' 및 '과검출률' 실험 결과에 대한 다이어그램 그래프로서, 거리 추출 단계(a), 가속도 추출 단계(b), 이동 방향 추출 단계(c) 및 박스 크기 변화율 추출 단계(d)의 결과이다.17 is a diagram graph for the experimental results of 'fight detection rate' and 'over-detection rate' for each feature, when the 'accumulated frame' is 30 frames in step S400 in the method for recognizing a fight event based on the feature vector shown in FIG. , distance extraction step (a), acceleration extraction step (b), movement direction extraction step (c) and It is the result of the box size change rate extraction step (d).
도 16 및 도 17에서 보는 바와 같이, 거의 모든 단계에서 유사한 수치의 '싸움 검출률' 및 '과검출률' 이 나타났다.As shown in FIGS. 16 and 17, 'fight detection rate' and 'overdetection rate' of similar values appeared in almost all stages.
그 중에서, '싸움 검출률' 이 가장 높은 단계는 가속도 추출 단계(b)로서, '누적 프레임'이 20 프레임인 경우 83.33%, '누적 프레임'이 30 프레임인 경우 83.3%의 높은 수치를 나타내었다. Among them, the stage with the highest 'fight detection rate' was the acceleration extraction step (b), which showed a high value of 83.33% when the 'accumulated frame' was 20 frames, and 83.3% when the 'accumulated frame' was 30 frames.
한편, '과검출률' 이 가장 낮은 단계는 이동 방향 추출 단계(c)로서, '누적 프레임'이 20 프레임인 경우 44.36%, '누적 프레임'이 30 프레임인 경우 43.61%의 낮은 수치를 나타내었다. On the other hand, the step with the lowest 'overdetection rate' is the movement direction extraction step (c), which shows a low value of 44.36% when the 'accumulated frame' is 20 frames and 43.61% when the 'accumulated frame' is 30 frames.
이와 같이, 본 발명은 CCTV에서 촬영된 영상 내 사람들의 인체를 감지 및 추적하고 복수개의 특징값을 추출하여, 추출된 데이터의 분포에 따라 서포트 벡터 머신의 커널을 맞춤형으로 적용하여 싸움 이벤트의 검출률을 높이고 오검율을 낮추어 싸움 이벤트를 정확하게 인식할 수 있는 특징벡터 기반 싸움 이벤트 인식 방법을 제공한다.In this way, the present invention detects and tracks the human body of people in the video captured by CCTV, extracts a plurality of feature values, and applies the kernel of the support vector machine customized according to the distribution of the extracted data to increase the detection rate of the fight event. We provide a feature vector-based fight event recognition method that can accurately recognize fight events by increasing the false positive rate and lowering the false detection rate.
이를 통하여, 촬영된 영상에서 추적된 인체의 특징값을 복수개의 특징 벡터로 추출 및 분석하므로 싸움 이벤트 인식 결과의 정확도 및 신뢰도가 현저하게 향상된다. Through this, since the characteristic values of the human body tracked in the captured image are extracted and analyzed as a plurality of feature vectors, the accuracy and reliability of the fight event recognition result are remarkably improved.
또한, 감지 및 추적 대상이었던 사람들의 이동 등으로 해당 고정형 CCTV의 시야에서 벗어나게 되더라도, 다른 구역에 설치된 고정형 CCTV와의 통합 연동된 형태 또는 연속된 시퀀스에서의 끊김 없는 추적이나 감시가 가능해진다. In addition, even if it is out of sight of the fixed CCTV due to the movement of people who have been detected and tracked, it is possible to seamlessly track or monitor in a continuous sequence or in an integrated interlocking form with a fixed CCTV installed in another area.
또한, 특징 추출부(400)가 촬영된 영상의 프레임 내에서 싸움 이벤트 인식 조건을 충족하는 사람들에 대해서만 특징값을 추출하므로, 딥 러닝에서의 연산량을 최적화할 수 있게 된다. In addition, since the
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.In the above, although several preferred embodiments of the present invention have been described with some examples, the description of various various embodiments described in the "Specific Contents for Carrying Out the Invention" item is merely exemplary, and the present invention Those of ordinary skill in the art will understand well that the present invention can be practiced with various modifications or equivalents to the present invention from the above description.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above description, and the above description is intended to complete the disclosure of the present invention, and is usually It should be understood that the present invention is only provided to fully inform those with knowledge of the scope of the present invention, and that the present invention is only defined by each of the claims.
100: 영상 촬영부
200: 인체 감지부
300: 인체 추적부
400: 특징 추출부
410: 거리 추출부
420: 가속도 추출부
430: 이동 방향 추출부
440: 박스 크기 변화율 추출부
500: 서포트 벡터 머신100: video recording unit
200: human body detection unit
300: human body tracking unit
400: feature extraction unit
410: distance extraction unit
420: acceleration extraction unit
430: movement direction extraction unit
440: box size change rate extraction unit
500: support vector machine
Claims (5)
(b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계;
(c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계;
(d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및
(e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계;
를 포함하고,
상기 (d) 단계는
(d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계;
(d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계;
(d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및
(d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계;
를 포함하는 것을 특징으로 하는,
특징벡터 기반 싸움 이벤트 인식 방법.
(a) outputting image data by an image capturing unit photographing a scene in a predetermined area;
(b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data;
(c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence;
(d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and
(e) classifying two classes by a support vector machine receiving the extracted feature values and providing actual measurement data for a normal event and a fighting event for each frame;
including,
Step (d) is
(d-1) extracting, by a distance extracting unit, the distance value between the detected people within the current frame of the image data;
(d-2) extracting, by an acceleration extracting unit, the acceleration value when the people from whom the distance value is extracted move;
(d-3) extracting the moving angle of the moving people by the moving direction extracting unit; and
(d-4) extracting, by a box size change rate extracting unit, a size change rate of a box corresponding to the size of the human body of the sensed people;
characterized in that it comprises,
A method for recognizing a fight event based on a feature vector.
(b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계;
(c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계;
(d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및
(e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계;
를 포함하고,
상기 (d) 단계는
(d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계;
(d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계;
(d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및
(d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계;를 포함하며,
상기 (e) 단계에서,
상기 추출된 특징값에 대하여 정상 이벤트인 경우 상기 실측 자료를 '0'데이터, 싸움 이벤트인 경우 상기 실측 자료를'1'데이터로 부여하는 것을 특징으로 하는,
특징벡터 기반 싸움 이벤트 인식 방법.
(a) outputting image data by an image capturing unit photographing a scene in a predetermined area;
(b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data;
(c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence;
(d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and
(e) classifying two classes by a support vector machine receiving the extracted feature values and providing actual measurement data for a normal event and a fighting event for each frame;
including,
Step (d) is
(d-1) extracting, by a distance extracting unit, the distance value between the detected people within the current frame of the image data;
(d-2) extracting, by an acceleration extracting unit, the acceleration value when the people from whom the distance value is extracted move;
(d-3) extracting the moving angle of the moving people by the moving direction extracting unit; and
(d-4) extracting, by the box size change rate extracting unit, the size change rate of the box corresponding to the size of the human body of the sensed people;
In step (e),
In the case of a normal event with respect to the extracted feature value, the measured data is given as '0' data, and in the case of a fighting event, the measured data is assigned as '1' data,
A method for recognizing a fight event based on a feature vector.
(b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계;
(c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계;
(d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및
(e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계;
를 포함하고,
상기 (d) 단계는
(d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계;
(d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계;
(d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및
(d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계;를 포함하며,
상기 (e) 단계는
상기 추출된 특징값에 대한 데이터의 분포가 선형적일 때 선형 커널을 이용하여 상기 두 클래스를 분류하는 것을 특징으로 하는,
특징벡터 기반 싸움 이벤트 인식 방법.
(a) outputting image data by an image capturing unit photographing a scene in a predetermined area;
(b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data;
(c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence;
(d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and
(e) classifying two classes by a support vector machine receiving the extracted feature values and providing actual measurement data for a normal event and a fighting event for each frame;
including,
Step (d) is
(d-1) extracting, by a distance extracting unit, the distance value between the detected people within the current frame of the image data;
(d-2) extracting, by an acceleration extracting unit, the acceleration value when the people from whom the distance value is extracted move;
(d-3) extracting the moving angle of the moving people by the moving direction extracting unit; and
(d-4) extracting, by the box size change rate extracting unit, the size change rate of the box corresponding to the size of the human body of the sensed people;
Step (e) is
Characterized in classifying the two classes using a linear kernel when the distribution of data with respect to the extracted feature values is linear,
A method for recognizing a fight event based on a feature vector.
(b) 인체 감지부가 상기 영상 데이터를 인가받아 촬영된 영상 내에 존재하는 사람들을 딥러닝 모델 및 감지 알고리즘을 이용하여 인체를 감지하는 단계;
(c) 인체 추적부가 상기 영상 데이터를 인가받아 연속된 시퀀스에서 추적 알고리즘을 이용하여 상기 감지된 인체에 대해 프레임들간 인체를 추적하는 단계;
(d) 특징 추출부가 상기 추적된 인체 간의 거리 값, 이동한 사람들의 가속도 값, 이동하는 각도 및 각 인체의 크기 변화율의 특징값을 추출하는 단계; 및
(e) 서포트 벡터 머신이 상기 추출된 특징값을 인가받아 프레임 별로 정상 이벤트와 싸움 이벤트에 대한 실측 자료를 부여하여 두 클래스를 분류하는 단계;
를 포함하고,
상기 (d) 단계는
(d-1) 거리 추출부가 상기 영상 데이터의 현재 프레임 내에서 상기 감지된 사람들 간의 상기 거리 값을 추출하는 단계;
(d-2) 가속도 추출부가 상기 거리 값이 추출된 사람들이 이동할 때의 상기 가속도 값을 추출하는 단계;
(d-3) 이동 방향 추출부가 상기 이동하는 사람들의 상기 이동하는 각도를 추출하는 단계; 및
(d-4) 박스 크기 변화율 추출부가 상기 감지된 사람들의 상기 인체의 크기에 대응되는 박스의 크기 변화율을 추출하는 단계;를 포함하며,
상기 (e) 단계는
데이터의 분포의 차원이 다차원일 때 반경 기초 함수 커널을 이용하여 상기 두 클래스를 분류하는 것을 특징으로 하는,
특징벡터 기반 싸움 이벤트 인식 방법.(a) outputting image data by an image capturing unit photographing a scene in a predetermined area;
(b) detecting the human body using a deep learning model and a detection algorithm for people present in the image captured by the human body sensing unit receiving the image data;
(c) a human body tracking unit receiving the image data and tracking the human body between frames with respect to the detected human body using a tracking algorithm in a continuous sequence;
(d) extracting, by a feature extracting unit, the feature values of the tracked distance value between the human bodies, the acceleration values of people who have moved, the moving angle, and the rate of change in the size of each human body; and
(e) classifying two classes by a support vector machine receiving the extracted feature values and providing actual measurement data for a normal event and a fighting event for each frame;
including,
Step (d) is
(d-1) extracting, by a distance extracting unit, the distance value between the detected people within the current frame of the image data;
(d-2) extracting, by an acceleration extracting unit, the acceleration value when the people from whom the distance value is extracted move;
(d-3) extracting the moving angle of the moving people by the moving direction extracting unit; and
(d-4) extracting, by the box size change rate extracting unit, the size change rate of the box corresponding to the size of the human body of the sensed people;
Step (e) is
Characterized in classifying the two classes using a radius-based function kernel when the dimension of the data distribution is multidimensional,
A method for recognizing a fight event based on a feature vector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200020381A KR102286229B1 (en) | 2020-02-19 | 2020-02-19 | A feature vector-based fight event recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200020381A KR102286229B1 (en) | 2020-02-19 | 2020-02-19 | A feature vector-based fight event recognition method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102286229B1 true KR102286229B1 (en) | 2021-08-06 |
Family
ID=77315049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200020381A KR102286229B1 (en) | 2020-02-19 | 2020-02-19 | A feature vector-based fight event recognition method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102286229B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102631950B1 (en) * | 2023-07-28 | 2024-01-31 | 주식회사 씨커뮤니케이션즈 | Apparatus and method for detecting event occurrence using an intelligent cctv system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120040015A (en) * | 2010-10-18 | 2012-04-26 | 한국전자통신연구원 | Vector classifier and vector classification method thereof |
| KR101484263B1 (en) * | 2013-10-24 | 2015-01-16 | 주식회사 에스원 | System and method for detecting violence |
| KR20150010248A (en) * | 2013-07-18 | 2015-01-28 | 주식회사 에스원 | Method and apparatus for surveillance by using 3-dimension image data |
| US9014853B2 (en) | 2012-03-06 | 2015-04-21 | Jtekt Corporation | Calibration method and calibration system for robot |
| KR20150051630A (en) * | 2013-11-05 | 2015-05-13 | 한국과학기술연구원 | Apparatus and method for detecting terrorism using irregular motion of peoples |
| KR20150088613A (en) * | 2014-01-24 | 2015-08-03 | 아이브스테크놀러지(주) | Apparatus and method for detecting violence situation |
| KR20190014912A (en) * | 2017-08-04 | 2019-02-13 | 동국대학교 산학협력단 | Device and method for finger-vein recognition |
-
2020
- 2020-02-19 KR KR1020200020381A patent/KR102286229B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120040015A (en) * | 2010-10-18 | 2012-04-26 | 한국전자통신연구원 | Vector classifier and vector classification method thereof |
| US9014853B2 (en) | 2012-03-06 | 2015-04-21 | Jtekt Corporation | Calibration method and calibration system for robot |
| KR20150010248A (en) * | 2013-07-18 | 2015-01-28 | 주식회사 에스원 | Method and apparatus for surveillance by using 3-dimension image data |
| KR101484263B1 (en) * | 2013-10-24 | 2015-01-16 | 주식회사 에스원 | System and method for detecting violence |
| KR20150051630A (en) * | 2013-11-05 | 2015-05-13 | 한국과학기술연구원 | Apparatus and method for detecting terrorism using irregular motion of peoples |
| KR20150088613A (en) * | 2014-01-24 | 2015-08-03 | 아이브스테크놀러지(주) | Apparatus and method for detecting violence situation |
| KR20190014912A (en) * | 2017-08-04 | 2019-02-13 | 동국대학교 산학협력단 | Device and method for finger-vein recognition |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102631950B1 (en) * | 2023-07-28 | 2024-01-31 | 주식회사 씨커뮤니케이션즈 | Apparatus and method for detecting event occurrence using an intelligent cctv system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101850286B1 (en) | A deep learning based image recognition method for CCTV | |
| US11669979B2 (en) | Method of searching data to identify images of an object captured by a camera system | |
| Harrou et al. | An integrated vision-based approach for efficient human fall detection in a home environment | |
| Zhang et al. | Combining motion and appearance cues for anomaly detection | |
| Lopez-Fuentes et al. | Review on computer vision techniques in emergency situations | |
| Owens et al. | Application of the self-organising map to trajectory classification | |
| JP2018101317A (en) | Abnormality monitoring system | |
| KR101877294B1 (en) | Smart cctv system for crime prevention capable of setting multi situation and recognizing automatic situation by defining several basic behaviors based on organic relation between object, area and object's events | |
| WO2008103206A1 (en) | Surveillance systems and methods | |
| Piciarelli et al. | Surveillance-oriented event detection in video streams | |
| US9965687B2 (en) | System and method for detecting potential mugging event via trajectory-based analysis | |
| US10210392B2 (en) | System and method for detecting potential drive-up drug deal activity via trajectory-based analysis | |
| JP5047382B2 (en) | System and method for classifying moving objects during video surveillance | |
| Azorin-Lopez et al. | A novel prediction method for early recognition of global human behaviour in image sequences | |
| Roy et al. | Suspicious and violent activity detection of humans using HOG features and SVM classifier in surveillance videos | |
| KR102286229B1 (en) | A feature vector-based fight event recognition method | |
| CN115311735A (en) | Intelligent recognition early warning method for abnormal behaviors | |
| Rezaee et al. | Deep-Transfer-learning-based abnormal behavior recognition using internet of drones for crowded scenes | |
| Elarbi-Boudihir et al. | Intelligent video surveillance system architecture for abnormal activity detection | |
| Dwivedi et al. | A novel approach for suspicious activity detection with deep learning | |
| Siddique et al. | Analysis of real-time hostile activitiy detection from spatiotemporal features using time distributed deep CNNs, RNNs and attention-based mechanisms | |
| Amrutha et al. | A robust system for video classification: identification and tracking of suspicious individuals from surveillance videos | |
| KR20230064095A (en) | Apparatus and method for detecting abnormal behavior through deep learning-based image analysis | |
| Arshad et al. | Anomalous situations recognition in surveillance images using deep learning | |
| Esan et al. | Detection of Anomalous Behavioural Patterns In University Environment Using CNN-LSTM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |