KR20210062375A - Method and Apparatus for detecting abnormal behavior based on psychological state - Google Patents

Method and Apparatus for detecting abnormal behavior based on psychological state Download PDF

Info

Publication number
KR20210062375A
KR20210062375A KR1020190150525A KR20190150525A KR20210062375A KR 20210062375 A KR20210062375 A KR 20210062375A KR 1020190150525 A KR1020190150525 A KR 1020190150525A KR 20190150525 A KR20190150525 A KR 20190150525A KR 20210062375 A KR20210062375 A KR 20210062375A
Authority
KR
South Korea
Prior art keywords
abnormal behavior
behavior
sensing information
mental state
recognizing
Prior art date
Application number
KR1020190150525A
Other languages
Korean (ko)
Inventor
한민호
곽창욱
김선중
손정우
이호재
함경준
김상권
박종현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190150525A priority Critical patent/KR20210062375A/en
Publication of KR20210062375A publication Critical patent/KR20210062375A/en

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Emergency Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an apparatus and method for detecting danger in advance by automatically recognizing unnatural behavior that occurs according to an unstable psychological state. The apparatus for detecting abnormal behavior according to the present invention includes a database in which behavior pattern data according to a psychological state is built; a sensing information-based behavior recognition part for detecting an object and recognizing a behavior using sensing information on an object; and an abnormal behavior detection part for detecting abnormal behavior by learning with the behavior pattern data of the database. An objective of the present invention is to overcome the limitations of visual monitoring and analysis through a behavior detection expert in an airport by automatically analyzing abnormal behavior detection according to a psychological state requiring expertise.

Description

심리상태 기반 이상행동 검출 장치 및 방법{Method and Apparatus for detecting abnormal behavior based on psychological state}Method and Apparatus for detecting abnormal behavior based on psychological state}

본 발명은 심리상태 기반 이상행동 검출 장치 및 방법에 관한 것이다.The present invention relates to a mental state-based abnormal behavior detection apparatus and method.

보다 상세하게는, 본 발명은 불안한 심리상태에 따라 발생되는 부자연스러운 행동을 자동으로 인식하여 위험을 사전에 감지하고 예방할 수 있는 장치 및 방법에 관한 것이다.More specifically, the present invention relates to an apparatus and method capable of detecting and preventing danger in advance by automatically recognizing an unnatural behavior occurring according to an anxious mental state.

일반적으로, 공항에서 테러 의도나 불법적인 물질을 소지한 여객인은 일반 여객인에 비해 불안한 심리 상태를 가지며, 이에 따라 행동이 부자연스러울 수 있을 것이다.In general, passengers who possess terrorist intentions or illegal substances at airports have an unstable psychological state compared to general passengers, and accordingly, behavior may be unnatural.

이러한 가정 하에, 공공장소 보안 시스템은 위험한 물건을 찾는 개념에서 벗어나 위험한 인물을 찾는 개념으로 진화하고 있다. 특히, 최근 공항 내 수상한 자의 행동을 파악, 분석하여 유해 승객을 가려내는 방식인 행동 탐지 기법이 미국과 유럽을 중심으로 전파되고 있다. Under this assumption, security systems in public places are evolving from the concept of finding dangerous objects to the concept of finding dangerous people. In particular, a behavior detection technique, which is a method of identifying and analyzing the behavior of suspicious persons in airports to sort out harmful passengers, is spreading mainly in the United States and Europe.

행동 탐지 기법은 한정된 보안자원으로 선량한 승객에 대한 검색 노력을 줄이는 반면 위험 승객 및 수화물에 보안 역량을 집중시켜 항공 보안을 강화하는데 큰 기여를 할 것으로 기대되고 있으나 모니터링 요원을 통한 감시에는 인력투입 및 교육을 위한 비용, 집중력 저하로 인한 비효율 등의 문제점이 있었다.The behavior detection technique is expected to contribute greatly to strengthening aviation security by concentrating security capabilities on dangerous passengers and luggage while reducing the search effort for good passengers with limited security resources. There were problems such as inefficiency due to the cost and concentration decline.

따라서 본 발명의 목적은, 전술한 종래 기술의 문제점을 해결하기 위해, 비 접촉 센서에 의해 수집된 정보를 통해 불안한 심리상태 기반 이상행동을 검출하여 위험인물을 식별하는 장치 및 방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide an apparatus and method for identifying a dangerous person by detecting an unstable mental state-based abnormal behavior through information collected by a non-contact sensor in order to solve the problems of the prior art described above. .

또한, 본 발명의 목적은, 전술한 종래 기술의 문제점을 해결하기 위해, 컴퓨터에서 실행될 수 있는, 하나 이상의 센싱 정보를 이용하여 특정 객체의 심리상태 기반 이상행동을 검출하여 위험인물을 식별하는 프로그램을 제공하는 데 있다.In addition, an object of the present invention, in order to solve the problems of the prior art described above, by using one or more sensing information, which can be executed on a computer, to detect a psychological state-based abnormal behavior of a specific object to identify a dangerous person To provide.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by examples of the present invention. In addition, it will be easily understood that the objects and advantages of the present invention can be realized by the means shown in the claims and combinations thereof.

상기 목적을 달성하기 위한, 본 발명의 심리상태 기반 이상행동 검출 장치는, 심리 상태에 따른 행동 패턴 데이터가 구축되어 있는 데이터베이스, 객체에 대한 센싱 정보를 이용하여 객체를 검출하고 행동을 인식하는 센싱 정보 기반 행동 인식부, 상기 데이터 베이스의 상기 행동 패턴 데이터로 학습을 수행하여 이상 행동을 검출하는 이상행동 검출부를 포함한다.In order to achieve the above object, the apparatus for detecting abnormal behavior based on a mental state of the present invention includes a database in which behavior pattern data according to a mental state is constructed, sensing information for detecting an object and recognizing the behavior using sensing information on the object. And an abnormal behavior detection unit configured to detect an abnormal behavior by performing learning using the behavior pattern data of the database.

또한, 상기 센싱 정보 기반 행동 인식부는, 상기 수집된 센싱 정보로부터 실시간으로 검출된 객체의 동일 인물 인지를 위한 동기화를 수행하는 것을 특징으로 한다.In addition, the sensing information-based behavior recognition unit may perform synchronization for recognizing the same person of the object detected in real time from the collected sensing information.

또한, 상기 센싱 정보 기반 행동 인식부는, 상기 인물로부터 입체 스켈레톤 (3D skeleton)을 추출하는 것을 특징으로 한다.In addition, the sensing information-based behavior recognition unit may extract a 3D skeleton from the person.

또한, 상기 데이터 베이스에 저장된 상기 행동 패턴 데이터는, 불안한 심리 상태에 따른 무의식적인 행동을 포함한 이상 행동 영상으로서, 신체의 미세한 움직임 및 전신 움직임이 표현된 것을 특징으로 한다.In addition, the behavior pattern data stored in the database is an abnormal behavior image including an unconscious behavior according to an unstable mental state, and is characterized in that minute movements of the body and whole body movements are expressed.

또한, 상기 센싱 정보 기반 행동 인식부는, 상기 입체 스켈레톤의 연속적인 움직임과 각도 변화를 포함한 세밀한 행동 시퀀스를 인식하는 것을 특징으로 한다.In addition, the sensing information-based behavior recognition unit may recognize a detailed behavior sequence including a continuous movement and angle change of the three-dimensional skeleton.

또한, 상기 이상행동 검출부는, 상기 데이터 베이스의 상기 데이터를 이용하여 기계학습을 수행하여 생성된, 이상행동 검출 모델을 포함하는 것을 특징으로 한다.In addition, the abnormal behavior detection unit may include an abnormal behavior detection model generated by performing machine learning using the data in the database.

또한, 상기 이상행동 검출 모델은, 상기 행동 시퀀스가 불안한 심리상태 기반의 이상 행동에 해당하는지 판별하는 것을 특징으로 한다.In addition, the abnormal behavior detection model is characterized in that it determines whether the behavior sequence corresponds to an abnormal behavior based on an unstable mental state.

또한, 상기 이상행동 검출부는, 상기 이상행동 검출 모델이 상기 행동 시퀀스를 상기 이상행동으로 판별한 경우, 상기 인물을 실시간으로 식별하여 관리자에게 통보하는 것을 특징으로 한다.In addition, when the abnormal behavior detection model determines the behavior sequence as the abnormal behavior, the abnormal behavior detection unit identifies the person in real time and notifies the manager.

또한, 상기 객체에 대한 센싱 정보를 수집하는 기능을 제공하는 비 접촉 센서를 더 포함할 수 있다.In addition, it may further include a non-contact sensor that provides a function of collecting sensing information on the object.

상기 목적을 달성하기 위한, 본 발명의 심리상태 기반 이상행동 검출 방법은, 심리 상태에 따른 행동 패턴 데이터를 데이터 베이스로 구축하는 단계, 객체에 대한 센싱 정보를 기반으로 객체를 검출하고 객체의 행동을 인식하는 단계, 상기 데이터 베이스의 상기 행동 패턴 데이터로 학습을 수행하여 이상 행동을 검출하는 단계를 포함한다.In order to achieve the above object, the method for detecting abnormal behavior based on a mental state of the present invention includes the steps of constructing behavior pattern data according to a mental state as a database, detecting an object based on sensing information on the object, and determining the behavior of the object. Recognizing, and detecting an abnormal behavior by performing learning with the behavior pattern data in the database.

또한, 상기 동작을 인식하는 단계는, 상기 수집된 센싱 정보로부터 실시간으로 검출된 객체의 동일 인물 인지를 위한 동기화를 수행하는 것을 특징으로 한다.In addition, the step of recognizing the motion may include performing synchronization for recognizing the same person of the object detected in real time from the collected sensing information.

또한, 상기 동작을 인식하는 단계는, 상기 인물로부터 입체 스켈레톤 (3D skeleton)을 추출하는 것을 특징으로 한다.In addition, the step of recognizing the motion may include extracting a 3D skeleton from the person.

또한, 상기 데이터 베이스에 저장된 상기 행동 패턴 데이터는, 불안한 심리 상태에 따른 무의식적인 행동을 포함한 이상행동 영상으로서, 신체의 미세한 움직임 및 전신 움직임이 표현된 것을 특징으로 한다.In addition, the behavior pattern data stored in the database is an abnormal behavior image including an unconscious behavior according to an unstable mental state, and is characterized in that minute movements of the body and whole body movements are expressed.

또한, 상기 동작을 인식하는 단계는, 상기 입체 스켈레톤의 연속적인 움직임과 각도를 포함한 세밀한 행동 시퀀스를 인식하는 것을 특징으로 한다.In addition, the step of recognizing the motion may include recognizing a detailed action sequence including a continuous motion and angle of the three-dimensional skeleton.

또한, 상기 이상행동을 검출하는 단계는, 상기 데이터 베이스의 상기 데이터를 이용하여 기계학습을 수행하여 생성된, 이상행동 검출 모델을 이용하는 단계를 포함한다.In addition, the step of detecting the abnormal behavior includes using the abnormal behavior detection model generated by performing machine learning using the data in the database.

또한, 상기 이상행동 검출 모델을 이용하는 단계는, 상기 행동 시퀀스가 불안한 심리상태 기반의 이상행동에 해당하는지 판별하는 것을 특징으로 한다.In addition, the step of using the abnormal behavior detection model is characterized in that it is determined whether the behavior sequence corresponds to an abnormal behavior based on an unstable mental state.

또한, 상기 이상행동 검출 모델이 상기 행동 시퀀스를 상기 이상행동으로 판별한 경우, 상기 인물을 실시간으로 식별하여 관리자에게 통보하는 단계를 더 포함한다.In addition, when the abnormal behavior detection model determines the behavior sequence as the abnormal behavior, it further comprises the step of identifying the person in real time and notifying the manager.

또한, 하나 이상의 비 접촉 센서를 이용하여 객체에 대한 센싱 정보를 수집하는 단계를 더 포함한다.In addition, the method further includes collecting sensing information on the object by using one or more non-contact sensors.

상기 목적을 달성하기 위한, 본 발명의 심리상태 기반 이상행동을 검출하는 매체에 저장된 컴퓨터 프로그램은, 컴퓨터에서, 심리 상태에 따른 행동 패턴 데이터를 데이터 베이스로 구축하는 단계, 객체에 대한 센싱 정보를 기반으로 객체를 검출하고 객체의 행동을 인식하는 단계, 상기 데이터 베이스의 상기 행동 패턴 데이터로 학습을 수행하여 이상 행동을 검출하는 단계를 실행시키고, 상기 데이터는 불안한 심리 상태에 따른 무의식적인 행동을 포함한 이상 행동 관련 영상으로서, 신체의 미세한 움직임 및 전신 움직임이 표현된 것을 포함한다.In order to achieve the above object, a computer program stored in a medium for detecting an abnormal behavior based on a mental state of the present invention includes, in a computer, building behavior pattern data according to a mental state as a database, based on sensing information on an object. Detecting an object and recognizing the behavior of the object, performing the step of detecting an abnormal behavior by performing learning with the behavior pattern data of the database, the data is an abnormality including unconscious behavior according to an unstable mental state As a behavior-related image, it includes a representation of minute movements of the body and movements of the whole body.

또한, 상기 동작을 인식하는 단계는, 상기 인물로부터 입체 스켈레톤 (3D skeleton)을 추출하고, 상기 입체 스켈레톤의 연속적인 움직임과 각도를 포함한 세밀한 행동 시퀀스를 인식하는 것을 특징으로 한다.In addition, the step of recognizing the motion may include extracting a 3D skeleton from the person, and recognizing a detailed sequence of actions including continuous movements and angles of the 3D skeleton.

본 발명의 실시 예들에 따르면 불안한 심리상태에 따라 발생되는 부자연스러운 행동 정보를 자동으로 인식하여 위험을 사전에 감지하고 예방할 수 있다. 또한 전문성이 요구되는 심리 상태에 따른 이상행동 탐지를 자동으로 분석함으로써, 공항 내 행동탐지 전문가를 통한 육안 감시를 위한 노동력을 절감할 수 있고, 분석의 한계를 극복하여 효율을 개선하는 효과가 있다.According to embodiments of the present invention, it is possible to detect and prevent danger in advance by automatically recognizing unnatural behavior information generated according to an anxious mental state. In addition, by automatically analyzing the detection of abnormal behavior according to the psychological state that requires expertise, it is possible to save labor for visual monitoring through a behavior detection expert in the airport, and there is an effect of improving efficiency by overcoming the limitations of analysis.

도 1은 본 발명의 일 실시예에 따른 이상행동 검출 장치를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 센싱 정보 기반 행동 인식부를 상세히 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 센싱 정보 기반 행동 인식부의 동기화 과정을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 센싱 정보 기반 행동 인식부의 추출된 입체 스켈레톤(3d skeleton)을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 입체 스켈레톤의 행동 시퀀스 인식을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 이상행동 검출부를 이상행동 검출 모델을 포함하여 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 이상행동 검출 방법을 단계별로 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 심리상태 기반 이상행동 검출 장치 및 방법이 구현되는 환경을 도시한 것이다.1 illustrates an apparatus for detecting abnormal behavior according to an embodiment of the present invention.
2 is a detailed diagram of a behavior recognition unit based on sensing information according to an embodiment of the present invention.
3 is a diagram illustrating a synchronization process of a behavior recognition unit based on sensing information according to an embodiment of the present invention.
4 is a diagram illustrating an extracted 3D skeleton of a behavior recognition unit based on sensing information according to an embodiment of the present invention.
5 is a diagram illustrating a behavioral sequence recognition of a three-dimensional skeleton according to an embodiment of the present invention.
6 is a diagram illustrating an abnormal behavior detection unit including an abnormal behavior detection model according to an embodiment of the present invention.
7 is a step-by-step diagram of an abnormal behavior detection method according to an embodiment of the present invention.
8 is a diagram illustrating an environment in which an apparatus and method for detecting abnormal behavior based on a mental state according to an embodiment of the present invention are implemented.

이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein.

본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In describing an embodiment of the present invention, if it is determined that a detailed description of a known configuration or function may obscure the subject matter of the present invention, a detailed description thereof will be omitted. Further, in the drawings, parts not related to the description of the present invention are omitted, and similar reference numerals are attached to similar parts.

본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다. In the present invention, components that are distinguished from each other are intended to clearly describe each feature, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated into one hardware or software unit, or one component may be distributed to form a plurality of hardware or software units. Therefore, even if not stated otherwise, such integrated or distributed embodiments are also included in the scope of the present invention.

본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들을 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다. In the present invention, components described in various embodiments do not necessarily mean essential components, and some may be optional components. Accordingly, an embodiment consisting of a subset of components described in the embodiment is also included in the scope of the present invention. In addition, embodiments including other elements in addition to the elements described in the various embodiments are included in the scope of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예들에 대해서 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 이상행동 검출 장치를 도시한 것이다.1 illustrates an apparatus for detecting abnormal behavior according to an embodiment of the present invention.

예를 들어, 이상행동 검출 장치는 센싱정보 기반 행동 인식부(101), 이상행동 검출부(102), 행동 패턴 데이터베이스(103)를 포함할 수 있다. For example, the abnormal behavior detection apparatus may include a behavior recognition unit 101 based on sensing information, an abnormal behavior detection unit 102, and a behavior pattern database 103.

도 1의 100은 하나 이상의 비 접촉 센서 (2D/3D/열 감지 적외선 카메라 등)를 의미하며, 공공 장소에 설치되어 행동 인식을 위한 센싱 정보를 수집하는 기능을 제공한다. 100 of FIG. 1 refers to one or more non-contact sensors (2D/3D/heat detection infrared cameras, etc.), and is installed in a public place to provide a function of collecting sensing information for behavior recognition.

예를 들어, 센싱 정보 기반 행동 인식부(101)에서는, 수집된 센싱 정보를 이용하여 신체의 미세한 일부 움직임 및 전신 움직임을 정밀하게 인식하여 세밀한 동작 정보, 즉 행동 시퀀스를 인식하고 획득할 수 있는 기능을 제공한다. 획득된 행동 시퀀스를 이상행동 검출부(102) 전달한다. 이는 도 2 내지 5를 참조하여 보다 상세하게 설명할 것이다.For example, in the sensing information-based behavior recognition unit 101, a function capable of recognizing and acquiring detailed motion information, that is, an action sequence, by accurately recognizing a small part of a body movement and a whole body movement using the collected sensing information. Provides. The acquired behavior sequence is transmitted to the abnormal behavior detection unit 102. This will be described in more detail with reference to FIGS. 2 to 5.

행동 패턴 데이터 베이스(103)는 불안한 심리 상태와 그에 기반한 행동(신체의 미세한 움직임 및 전신 움직임)의 상관관계를 분석하여 학습하기 위한 대용량 영상 데이터를 포함하고 있다. 상기 행동에는 불안한 심리상태에 의해 나타날 수 있는 무의식적인 행동을 모두 포함하며, 예를 들어, 손 끝을 미세하게 떠는 행동, 신체 일부(얼굴 등)를 자주 쓰다듬거나 뜯는 행동, 고개를 자주 두리번 거리는 행동, 공공장소 관리 직원이나 공공 장소에 상주하는 경찰들이 지나가면 일부러 피하는 듯 몸을 숨기거나 고개를 숙이는 행동, 갑자기 뛰는 행동 등이 포함될 수 있다. 다만, 본 발명은 이에 한정되지 않는다.The behavior pattern database 103 includes large-capacity image data for learning by analyzing a correlation between an anxious psychological state and a behavior based thereon (fine movements of the body and movements of the whole body). The above behavior includes all unconscious behaviors that may be caused by an anxious psychological state, such as finely shaking the tip of a finger, frequent stroking or biting on a part of the body (face, etc.), and frequent looking at the head. , Public place management staff or police residing in public places may deliberately hide or lower their heads as if avoiding when they pass by, and may include sudden jumps. However, the present invention is not limited thereto.

이상행동 검출부(102)에서는 개인의 불안 심리 상태로 인해 통제할 수 없는 행동 요인, 즉, 무의식적으로 발생되는 행동 영상이 저장된 행동 패턴 데이터 베이스(103)를 통해 학습을 수행한다. 학습을 통해 생성된 모델을 이용하여 실시간 분석을 통해 이상행동을 검출하고 악의적 의도를 가진 인물을 사전에 식별한 뒤 관리자에게 통보하는 기능을 제공할 수 있다. 이는 도 6에서 보다 상세하게 설명할 것이다.The abnormal behavior detection unit 102 performs learning through a behavior pattern database 103 in which behavior factors that cannot be controlled due to an individual's anxiety psychological state, that is, behavior images that are unconsciously generated are stored. Using the model created through learning, it is possible to provide a function to detect abnormal behavior through real-time analysis, identify a person with malicious intent in advance, and notify the manager. This will be described in more detail in FIG. 6.

도2는 본 발명의 일 실시예에 따른 센싱 정보 기반 행동 인식부의 운용을 도시한 것이다. 센싱 정보 기반 행동 인식부(101)에서, 하나 이상의 비접촉 센서(도1, 100)로부터 실시간으로 입력 받은 센싱 정보를 처리하는 과정을 소개한다.2 is a diagram illustrating an operation of a behavior recognition unit based on sensing information according to an embodiment of the present invention. In the sensing information-based behavior recognition unit 101, a process of processing sensing information received in real time from one or more non-contact sensors (FIGS. 1 and 100) is introduced.

일 실시예로서, 센싱 정보 기반 행동 인식부(101)는 상기 비접촉 센서(100)로부터 전달받은 하나 이상의 센싱 정보(201)를 이용하여 센싱 정보에 존재하는 객체를 실시간으로 검출(203)한다. 이 때, 센싱 정보(201)에 존재하는 배경과 객체를 구분하고, 서로 다른 객체는 구분하여 인식하여야 한다. 객체를 검출하기 위해서는, 예를 들어, 딥 러닝 기반의 CNN, YOLO, SSD알고리즘 등을 적용할 수 있으며, 본 발명은 이에 한정되지 않는다.As an embodiment, the sensing information-based behavior recognition unit 101 detects (203) an object present in the sensing information in real time by using one or more sensing information 201 received from the non-contact sensor 100. In this case, a background and an object existing in the sensing information 201 should be distinguished, and different objects should be recognized separately. In order to detect an object, for example, a deep learning-based CNN, YOLO, SSD algorithm, etc. may be applied, and the present invention is not limited thereto.

이 때, 복수의 센싱 정보(201) 중 둘 이상의 서로 다른 센싱 정보에서 동일한 객체가 검출되면 이를 동일 객체로서 인지하고, 동기화(205) 하는 것이 필요하다. 이는 도 3에서 더욱 상세하게 설명할 것이다.In this case, when the same object is detected from two or more different sensing information among the plurality of sensing information 201, it is necessary to recognize it as the same object and synchronize 205. This will be described in more detail in FIG. 3.

다수의 비 접촉 센싱 정보(201)로부터 실시간으로 검출된 객체의 동일 인물 인지를 위한 동기화를 수행한 뒤, 객체로부터 연속적인 움직임을 포함한 입체 스켈레톤(3D skeleton)을 추출하고, 추출된 입체 스켈레톤의 움직임 정보를 이용하여 미세 움직임을 인지한 뒤, 생성된 세밀한 동작 정보(행동 시퀀스)(207)를 이상행동 검출부로 전달할 수 있다. 행동 시퀀스 인식에 대하여는 도 5를 참조하여 보다 상세하게 설명할 것이다.After synchronizing to recognize the same person of an object detected in real time from a plurality of non-contact sensing information 201, a 3D skeleton including continuous movement is extracted from the object, and the extracted 3D skeleton movement After recognizing the fine motion using the information, the generated detailed motion information (action sequence) 207 may be transmitted to the abnormal behavior detection unit. The action sequence recognition will be described in more detail with reference to FIG. 5.

도 3은 본 발명의 일 실시예에 따른 센싱 정보 기반 행동 인식부의 동기화를 도시한 것이다. 설명을 위하여 예로서 비 접촉 센서 1의 센싱 정보(201a)와 비 접촉 센서 n의 센싱 정보(201b)에서 동일한 객체 1 및 객체 3이 검출된 경우를 소개한다. 또한, 객체를 검출하고 동기화 하기 위해서는, 예를 들어, 딥 러닝 기반의 CNN, YOLO, SSD 알고리즘 등을 다양하게 적용할 수 있으며, 본 발명은 이에 한정되지 않는다.3 illustrates synchronization of a behavior recognition unit based on sensing information according to an embodiment of the present invention. For description, as an example, a case where the same object 1 and object 3 are detected in the sensing information 201a of the non-contact sensor 1 and the sensing information 201b of the non-contact sensor n will be introduced. In addition, in order to detect and synchronize objects, for example, deep learning-based CNN, YOLO, SSD algorithms, etc. may be variously applied, and the present invention is not limited thereto.

다수의 비 접촉 센서의 센싱 정보들은 서로 다르므로 센싱 정보에 나타난 객체의 수나 종류도 다를 수 있으며 객체는 정지하지 않고 움직일 수 있어서 객체를 실시간으로 검출하고 구분하는 것이 필요하다. Since the sensing information of a plurality of non-contact sensors is different from each other, the number or type of objects shown in the sensing information may be different, and the object can move without stopping, so it is necessary to detect and classify the object in real time.

먼저, 비 접촉 센서 1의 센싱 정보(201a)는 영상 정보로서 주어져 있다고 가정한다. 이 때센싱 정보 기반 행동 인식부에서 영상에 나타난 다수의 객체를, 서로 다른 객체 1(203b), 객체 2(203a), 객체 3(203d)로 구분하여 검출한다. 비 접촉 센서 n의 센싱 정보(201b)도 영상 정보로서 주어져 있다고 가정하였을 때, 상기 센싱 정보 기반 행동 인식부에서 마찬가지로 영상에 나타난 다수의 객체를 서로 다른 객체 1(203c), 객체 3(203e), 객체 4(203g), 객체 5(203f)로 구분하여 검출한다. First, it is assumed that the sensing information 201a of the non-contact sensor 1 is given as image information. At this time, the sensing information-based behavior recognition unit detects a plurality of objects shown in the image by dividing into different object 1 (203b), object 2 (203a), and object 3 (203d). Assuming that the sensing information 201b of the non-contact sensor n is also given as image information, the sensing information-based behavior recognition unit similarly selects a plurality of objects appearing in the image from different objects 1 (203c), object 3 (203e), It is detected by classifying it into object 4 (203g) and object 5 (203f).

이 때, 센싱 정보 기반 행동 인식부에서는 상기 센서 1의 센싱 정보(201a)의 객체 1(203b)와 상기 센서 n의 객체 1(203c)는 동일 인물임을 인지하고 이를 동기화(301)한다. 마찬가지로, 상기 센서 1의 센싱 정보(201a)의 객체 3(203d)와 상기 센서 n의 객체 3(203e)가 동일 인물임을 인지하고 이를 동기화(303)한다. At this time, the sensing information-based behavior recognition unit recognizes that the object 1 203b of the sensing information 201a of the sensor 1 and the object 1 203c of the sensor n are the same person, and synchronizes 301 thereof. Similarly, the object 3 203d of the sensing information 201a of the sensor 1 and the object 3 203e of the sensor n are recognized as the same person and are synchronized (303).

도 4는 본 발명의 일 실시예에 따른 센싱 정보 기반 행동 인식부의 입체 스켈레톤을 도시한 것이다. 도 2의 입체 스켈레톤 추출 및 행동 시퀀스 인식(207)을 입체 스켈레톤 추출(207a)과 행동 시퀀스 인식(도5, 207b)로 나누어 설명하며, 도 4에서는 입체 스켈레톤 추출(207a)에 대하여 상세하게 설명한다.4 is a diagram illustrating a three-dimensional skeleton of a behavior recognition unit based on sensing information according to an embodiment of the present invention. The three-dimensional skeleton extraction and action sequence recognition 207 of FIG. 2 are divided into three-dimensional skeleton extraction 207a and action sequence recognition (FIGS. 5 and 207b), and in FIG. 4, the three-dimensional skeleton extraction 207a will be described in detail. .

도 3에서 상술한 바와 같이, 동일 인물임을 인지하고 동기화 한 정보를 참고하여 (도3, 301, 303) 각 인물별 입체 스켈레톤을 구성(207a)한다. 이 때, 인물로부터 연속적인 움직임을 포함한 입체 스켈레톤을 추출한 뒤, 추출된 입체 스켈레톤의 움직임 정보를 이용하여 미세 움직임을 인지할 수 있어야 한다.As described above in FIG. 3, a three-dimensional skeleton for each person is constructed (207a) by recognizing that they are the same person and referring to synchronized information (FIGS. 3, 301, 303). In this case, after extracting a three-dimensional skeleton including a continuous movement from a person, it should be possible to recognize fine movements by using the motion information of the extracted three-dimensional skeleton.

입체 스켈레톤은 전신의 움직임뿐만 아니라 미세 움직임도 트래킹하여 표현할 수 있어야 하므로, 세세한 분절 단위로 나누어 스켈레톤을 구성(207a)하여야 한다. 예를 들어, 머리(401), 목(402), 어깨의 중심(403), 왼쪽 어깨(404), 오른쪽 어깨(405), 왼쪽 팔꿈치(406), 오른쪽 팔꿈치(407), 왼쪽 손목(408), 오른쪽 손목(409), 왼쪽 엄지(410), 오른쪽 엄지(411), 왼쪽 손바닥(412), 오른쪽 손바닥(413), 왼쪽 손가락의 끝부분(414), 오른쪽 손가락의 끝부분(415), 몸통의 중심(척추 중심)(416), 척추 밑단(엉덩이뼈)(417), 왼쪽 골반뼈(418), 오른쪽 골반뼈(419), 왼쪽 무릎(420), 오른쪽 무릎(421), 왼쪽 발목(422), 오른쪽 발목(423), 왼쪽 발(424), 오른쪽 발(425)로 구성할 수 있다. 다만 본 발명은 이에 한정되지 않는다. 상기 관절들 각각에서의 위치, 각도 변화 및 진동 등을 포함한 미세 움직임을 분석하여 세밀한 행동 시퀀스를 인식하여야 한다. 상세한 행동 시퀀스 인식은 도 5를 참조하여 상세하게 설명할 것이다.Since the three-dimensional skeleton must be able to track and express not only the movement of the whole body but also fine movements, the skeleton must be divided into fine segmental units (207a). For example, head 401, neck 402, center of shoulder 403, left shoulder 404, right shoulder 405, left elbow 406, right elbow 407, left wrist 408 , Right wrist (409), left thumb (410), right thumb (411), left palm (412), right palm (413), left finger tip (414), right finger tip (415), torso The center of the spine (center of the spine) (416), the hem of the spine (hip bone) (417), the left pelvic bone (418), the right pelvic bone (419), the left knee (420), the right knee (421), the left ankle (422) ), the right ankle 423, the left foot 424, the right foot 425 can be configured. However, the present invention is not limited thereto. A detailed action sequence should be recognized by analyzing fine movements including position, angle change, and vibration at each of the joints. Detailed action sequence recognition will be described in detail with reference to FIG. 5.

도 5는 본 발명의 일 실시예에 따른 센싱 정보 기반 행동 인식부의 입체 스켈레톤의 행동 시퀀스 인식(207b)을 도시한 것이다. 도 2의 입체 스켈레톤 추출 및 행동 시퀀스 인식(207)을 입체 스켈레톤 추출(도 4, 207a)과 행동 시퀀스 인식(207b)로 나누어 설명하며, 도 5에서는 행동 시퀀스 인식(207b)에 대하여 상세하게 설명한다. 5 illustrates a behavior sequence recognition 207b of a three-dimensional skeleton of a behavior recognition unit based on sensing information according to an embodiment of the present invention. The three-dimensional skeleton extraction and the action sequence recognition 207 of FIG. 2 are divided into three-dimensional skeleton extraction (FIGS. 4 and 207a) and the action sequence recognition 207b, and in FIG. 5, the action sequence recognition 207b will be described in detail. .

예를 들어, 입체 스켈레톤이 머리와 목 부분에서 미세한 떨림을 보인다거나, 수시로 두리번거린다고 가정하면, 생성된 입체 스켈레톤의 머리(401), 목(402), 어깨의 중심(403)에서 동작 정보가 발생하였다고 인식될 것이다. 즉, 상기 머리(401), 목(402), 어깨의 중심(403)의 위치, 각도와 진동 등에 변화가 있었을 것이다. 이를 센싱정보 기반 행동 인식부가 인식하여, 제 1 행동 시퀀스(501)로 구성할 수 있다.For example, assuming that a three-dimensional skeleton shows a slight tremor in the head and neck, or that it is frequently circling, motion information is displayed in the head 401, neck 402, and center 403 of the shoulder of the generated three-dimensional skeleton. It will be recognized as occurring. That is, the position, angle and vibration of the head 401, the neck 402, and the center 403 of the shoulder may have changed. This may be recognized by a behavior recognition unit based on sensing information, and may be configured as a first behavior sequence 501.

동시에, 입체 스켈레톤이 오른쪽 손에서 떨림을 보인다고 가정하면, 오른쪽 엄지(411), 오른쪽 손바닥(413), 오른쪽 손가락의 끝부분(415)에서 위치, 각도와 진동 등에 변화가 발생하였을 수 있다. 이를 센싱정보 기반 행동 인식부가 인식하여, 제 2 행동 시퀀스(503)로 구성할 수 있다.At the same time, assuming that the three-dimensional skeleton shows trembling in the right hand, changes in position, angle, and vibration may have occurred in the right thumb 411, the right palm 413, and the tip 415 of the right finger. This may be recognized by a behavior recognition unit based on sensing information, and may be configured as a second behavior sequence 503.

추가적으로, 입체 스켈레톤이 오른쪽 다리를 떨고 있거나, 발을 수시로 움직여 머뭇거리는 등의 행동을 보인다고 가정하면, 오른쪽 골반뼈(419), 오른쪽 무릎(421), 오른쪽 발목(423), 오른쪽 발(425)의 위치, 각도와 진동 등에 변화가 발생하였을 것이다. 이를 센싱 정보 기반 행동 인식부가 인식하여, 제 3 행동 시퀀스 (505)로 구성할 수 있다.In addition, assuming that the three-dimensional skeleton shows behaviors such as shaking the right leg or hesitating by moving the foot from time to time, the right pelvic bone 419, the right knee 421, the right ankle 423, the right foot 425 Changes in position, angle and vibration must have occurred. This may be recognized by the sensing information-based behavior recognition unit, and may be configured as a third behavior sequence 505.

센싱 정보 기반 행동 인식부는 입체 스켈레톤에서 하나 이상의 동작이 동시 다발적으로 발생하더라도, 빠짐없이 인식하여 n개의 행동 시퀀스를 구성하고, 이를 빠짐없이 이상행동 검출부로 전달하여야 한다.Even if one or more motions occur simultaneously in the three-dimensional skeleton, the sensing information-based behavior recognition unit must recognize all of them to form n sequence of actions, and transmit them to the abnormal behavior detection unit.

또한, 하나 이상의 입체 스켈레톤에서 하나 이상의 동작이 동시 다발적으로 발생하더라도 행동 시퀀스를 빠짐없이 인식하여 이상행동 검출부로 전달하여야 한다.In addition, even if one or more motions occur simultaneously in one or more three-dimensional skeletons, the action sequence must be recognized and transmitted to the abnormal behavior detection unit.

도 6은 본 발명의 일 실시예에 따른 이상행동 검출부(102)를 상세하게 도시한 것이다. 이상행동 검출부(102)는 행동 패턴 데이터베이스(103)에 저장된 데이터를 이용하여, 학습을 수행하고, 학습을 통해 이상행동 검출 모델을 생성한 뒤, 센싱 정보 기반 행동 인식부로부터 전달받은 행동 시퀀스(602)가 이상행동에 해당하는지 검출하고 판별하여야 한다.6 is a detailed illustration of the abnormal behavior detection unit 102 according to an embodiment of the present invention. The abnormal behavior detection unit 102 performs learning using the data stored in the behavior pattern database 103, generates an abnormal behavior detection model through learning, and then receives the behavior sequence 602 received from the behavior recognition unit based on sensing information. ) Should be detected and discriminated.

보다 상세하게는, 이상행동 검출 및 판별에 앞서, 사전에 행동패턴 데이터베이스(103)가 구축되어 있어야 하며, 상기 데이터베이스(103)에 저장된 내용은 불안한 심리 상태에 따라 발생되는 다수 및 다양한 부자연스러운 행동 관련 영상이 될 수 있다. 즉, 불안한 심리 상태와 그에 기반한 행동(신체의 미세한 움직임 및 전신 움직임) 관련 영상은 불안한 심리상태에 의해 나타날 수 있는 무의식적인 행동을 모두 포함한다. 예를 들어, 손 끝을 미세하게 떠는 행동, 신체 일부(얼굴 등)를 자주 쓰다듬거나 뜯는 행동, 고개를 자주 두리번 거리는 행동, 공공장소 관리 직원이나 공공 장소에 상주하는 경찰들이 지나가면 일부러 피하는 듯 몸을 숨기거나 고개를 숙이는 행동, 갑자기 뛰는 행동 등이 포함될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니다.More specifically, prior to detection and determination of abnormal behavior, the behavior pattern database 103 must be established in advance, and the contents stored in the database 103 are related to a number of and various unnatural behaviors generated according to an unstable mental state. It can be a video. In other words, the images related to the unstable psychological state and the behaviors based thereon (the minute movements of the body and the whole body movement) include all of the unconscious behaviors that may be exhibited by the unstable psychological state. For example, the act of shaking the tip of a finger, frequently patting or biting on a part of the body (face, etc.) This can include hiding, lowering your head, or jumping suddenly. However, the present invention is not limited thereto.

상기 데이터베이스(103)에 저장된 상기 영상들에 대한 학습을 통해 이상행동 검출 모델(601)을 생성한다. 이러한 학습의 방식에 대해서도 본 발명은 제한을 두지 않는다. 예를 들어 RNN 알고리즘을 적용할 수도 있고, RNN의 변형 알고리즘인 LSTM 알고리즘을 적용하는 등 다양한 알고리즘을 적용할 수 있다.An abnormal behavior detection model 601 is generated through learning of the images stored in the database 103. The present invention is not limited to this method of learning either. For example, the RNN algorithm can be applied, and various algorithms can be applied, such as the LSTM algorithm, which is an RNN transformation algorithm.

이상행동 검출부(102)는 다양한 방식으로 생성될 수 있는 이상행동 검출 모델(601)을 이용하여 심리 상태에 따른 이상행동 유무를 검출하고 판별하여, 이상행동으로 판단시 관리자에게 통보하여 발생할 수 있는 위험을 사전에 감지하고 예방한다.The abnormal behavior detection unit 102 detects and determines the presence or absence of abnormal behavior according to the mental state using the abnormal behavior detection model 601 that can be generated in various ways, and when it is determined as abnormal behavior, the risk that may occur by notifying the administrator Detection and prevention in advance.

도 7은 본 발명의 일 실시예에 따른 이상행동 검출 방법의 단계를 도시한 것이다. 일 실시예로서 이상행동 검출 방법은 심리상태에 따른 행동 패턴 데이터를 데이터 베이스로 구축하는 단계(S701), 객체에 대한 센싱 정보를 이용하여 객체를 검출하고 행동을 인식하는 단계(S703) 및 데이터베이스의 행동 패턴 데이터로 학습을 수행하여 이상 행동을 검출하는 단계(S705)를 포함할 수 있다.7 shows the steps of a method for detecting abnormal behavior according to an embodiment of the present invention. As an embodiment, the abnormal behavior detection method includes the steps of constructing behavior pattern data according to the mental state as a database (S701), detecting an object using sensing information on the object and recognizing the behavior (S703), and It may include the step (S705) of detecting an abnormal behavior by performing learning with the behavior pattern data.

먼저 심리 상태에 따른 행동 패턴 데이터를 데이터베이스로 구축하는 단계(S701)의 상기 행동 패턴 데이터란 상술한 바와 같이 불안한 심리 상태에 따라 발생되는 다수 및 다양한 부자연스러운 행동 관련 영상이 될 수 있다. 즉, 불안한 심리 상태와 그에 기반한 행동(신체의 미세한 움직임 및 전신 움직임) 관련 영상은 불안한 심리상태에 의해 나타날 수 있는 무의식적인 행동을 모두 포함한다. 예를 들어, 손 끝을 미세하게 떠는 행동, 신체 일부(얼굴 등)를 자주 쓰다듬거나 뜯는 행동, 고개를 자주 두리번 거리는 행동, 공공장소 관리 직원이나 공공 장소에 상주하는 경찰들이 지나가면 일부러 피하는 듯 몸을 숨기거나 고개를 숙이는 행동, 갑자기 뛰는 행동 등이 포함될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니다.First, the behavior pattern data in the step (S701) of constructing the behavior pattern data according to the mental state as a database may be a plurality of images and various unnatural behavior related images generated according to an unstable mental state as described above. In other words, the images related to the unstable psychological state and the actions based thereon (fine movements of the body and the whole body movement) include all of the unconscious behaviors that may be exhibited by the unstable psychological state. For example, the act of shaking the tip of a finger, frequently patting or biting on a part of the body (face, etc.) This can include hiding, lowering your head, or jumping suddenly. However, the present invention is not limited thereto.

예를 들어 하나 이상의 비 접촉 센서를 이용하여 수집된 객체에 대한 센싱 정보를 이용하여 객체를 검출하고 행동을 인식하는 단계(S703)는, 도 2내지 도 3에서 상술한 바와 같이, 상기 센싱 정보를 이용하여 센싱 정보에 존재하는 객체를 실시간으로 검출하고, 동일한 객체를 인지하여 동기화를 수행한뒤, 입체 스켈레톤을 추출하고 행동 시퀀스를 인식하는 과정을 포함한다. For example, the step (S703) of detecting an object and recognizing an action using sensing information on an object collected using one or more non-contact sensors (S703) includes the sensing information as described above in FIGS. It includes a process of detecting an object present in the sensing information in real time by using, performing synchronization by recognizing the same object, extracting a three-dimensional skeleton, and recognizing an action sequence.

객체를 실시간으로 검출할 때에는, 센싱 정보에 존재하는 배경과 객체를 구분하고, 도 2 내지 3에서 상술한 바와 같이, 서로 다른 객체는 구분하여 인식하여야 한다. 객체를 검출하기 위해서는, 예를 들어, 딥 러닝 기반의 CNN, YOLO, SSD 알고리즘 등을 적용할 수 있으며 본 발명은 이에 한정되지 않는다. When an object is detected in real time, a background and an object present in the sensing information must be distinguished, and different objects must be distinguished and recognized as described above with reference to FIGS. 2 to 3. In order to detect an object, for example, a deep learning-based CNN, YOLO, SSD algorithm, etc. may be applied, and the present invention is not limited thereto.

이 때, 복수의 센싱 정보 중 둘 이상의 서로 다른 센싱 정보에서 동일한 객체가 검출 되면 이를 동일 객체로서 인지하고 동기화 하는 과정은, 이는 도 3에서 상술한 예시와 같을 예시를 들 수 있다. 다수의 비 접촉 센서의 센싱 정보들은 서로 다르므로 센싱 정보에 나타난 객체의 수나 종류도 다를 수 있으며 객체는 정지하지 않고 움직일 수 있어서 객체를 실시간으로 검출하고 구분하는 것이 필요하다.In this case, when the same object is detected from two or more different sensing information among the plurality of sensing information, the process of recognizing and synchronizing the same object as the same object may be an example similar to the example described above in FIG. 3. Since the sensing information of a plurality of non-contact sensors is different from each other, the number or type of objects shown in the sensing information may be different, and the object can move without stopping, so it is necessary to detect and classify the object in real time.

상기 동기화를 수행한 뒤, 객체로부터 연속적인 움직임을 포함한 입체 스켈레톤(3D skeleton)을 추출하고, 추출된 입체 스켈레톤의 움직임 정보를 이용하여 미세 움직임을 인지한 뒤, 생성된 세밀한 동작 정보(행동 시퀀스)를 다음 단계(S705)에 전달할 수 있어야 한다. 입체 스켈레톤은 도 4를 참조하여 상술한 예시와 같이 구성할 수 있고, 행동 시퀀스를 인식하는 것은 도 5에서 상술한 예시와 같을 수 있다. 또한, 입체 스켈레톤에서 하나 이상의 동작이 동시 다발적으로 발생하더라도, 빠짐없이 인식하여 n개의 행동 시퀀스를 구성하고, 이를 빠짐없이 다음 단계(S705)로 전달하여야 한다. 뿐만 아니라 하나 이상의 입체 스켈레톤에서 하나 이상의 동작이 동시 다발적으로 발생하더라도 행동 시퀀스를 빠짐없이 인식하여 다음 단계(S705)로 전달하여야 함은 물론이다.After the synchronization is performed, a 3D skeleton including continuous movement is extracted from the object, fine movement is recognized using the extracted movement information of the 3D skeleton, and then detailed motion information (action sequence) generated Should be able to be transferred to the next step (S705). The three-dimensional skeleton may be configured as in the example described above with reference to FIG. 4, and recognizing the action sequence may be the same as the example described above in FIG. 5. In addition, even if more than one motion occurs simultaneously in the three-dimensional skeleton, it must be recognized and constituted of n action sequences, and these must be transferred to the next step (S705). In addition, even if one or more motions occur simultaneously in one or more three-dimensional skeletons, it is of course necessary to recognize the action sequence without missing it and transfer it to the next step (S705).

데이터베이스의 행동 패턴 데이터로 학습을 수행하여 이상행동을 검출하는 단계(S705)는 상기 단계(S701)에서 구축된 행동 패턴 데이터베이스에 저장된 데이터를 이용하여, 학습을 수행하고, 학습을 통해 이상행동 검출 모델을 생성한 뒤, 상기 단계(S703)로부터 전달받은 행동 시퀀스가 이상행동에 해당하는지 검출하고 판별하는 것을 포함한다. 이는 도 6에 대해 상술한 바와 같을 수 있다.In the step (S705) of detecting abnormal behavior by performing learning with the behavior pattern data of the database, learning is performed using the data stored in the behavior pattern database constructed in step (S701), and an abnormal behavior detection model through learning After generating, it includes detecting and determining whether the action sequence received from the step (S703) corresponds to an abnormal action. This may be as described above with respect to FIG. 6.

보다 상세하게는, 상기 단계(S701)에서 구축된 데이터베이스를 이용한 학습을 통해 이상행동 검출 모델을 생성한다. 이러한 학습의 방식에 대해서도 본 발명은 제한을 두지 않는다. 예를 들어 RNN 알고리즘을 적용할 수도 있고, RNN의 변형 알고리즘인 LSTM 알고리즘을 적용하는 등 다양한 알고리즘을 적용할 수 있다. 상기 검출 모델이 생성되면, 이를 이용하여 심리 상태에 따른 이상행동 유무를 검출하고 판별하여, 이상행동으로 판단 시 관리자에게 통보할 수 있어 발생할 수 있는 위험을 사전에 감지하고 예방할 수 있다.In more detail, an abnormal behavior detection model is generated through learning using the database built in step S701. The present invention is not limited to this method of learning either. For example, an RNN algorithm can be applied, or a variety of algorithms can be applied, such as the LSTM algorithm, which is an RNN transformation algorithm. When the detection model is generated, it is possible to detect and determine the presence or absence of abnormal behavior according to the mental state by using this, and notify the administrator when it is determined as abnormal behavior, so that possible dangers can be detected and prevented in advance.

도 8은 본 발명의 일 실시예에 따른 심리상태 기반 이상행동 검출 장치 및 방법이 구현되는 환경을 도시한 것이다. 8 is a diagram illustrating an environment in which an apparatus and method for detecting abnormal behavior based on a mental state according to an embodiment of the present invention are implemented.

먼저 서버(800)는 그 구현 방식에 있어서 제한이 없는 바 종래의 중앙집권식 서버뿐 아니라 클라우드 등과 같이 다양한 방법으로 구현될 수 있다.First, since the server 800 is not limited in its implementation method, it may be implemented in various ways such as a cloud as well as a conventional centralized server.

관리자가 사용하는 단말은 통신이 가능한 전자 기기로 휴대형 정보 단말기기, 스마트폰, 모바일 전자기기, 거치형 컴퓨터, 노트북 등 그 단말의 유형에 제한이 없다. 서버와의 연결 방식에 관련하여서도 유선인지 무선인지에 대한 제한을 두지 않는다. 예를 들어, 관리자 단말(801)은 무선으로 서버와 연결될 수 있으며, 관리자 단말(802, 803)은 유선으로 연결될 수도 있고 무선으로 연결될 수도 있다.The terminal used by the administrator is an electronic device capable of communication, and there are no restrictions on the type of terminal such as a portable information terminal device, a smart phone, a mobile electronic device, a stationary computer, and a notebook computer. Regarding the connection method with the server, there is no restriction on whether it is wired or wireless. For example, the manager terminal 801 may be wirelessly connected to the server, and the manager terminals 802 and 803 may be connected by wire or wirelessly.

객체에 대한 센싱 정보를 수집하는 비 접촉 센서(804) 또한, 2D 카메라, 3D 카메라, 열 감지 적외선 카메라 등 그 유형에 제한을 두지 않는다.The non-contact sensor 804 that collects sensing information on an object is also not limited to its type, such as a 2D camera, a 3D camera, or a thermal infrared camera.

뿐만 아니라 본 발명의 일 실시예에 따른 심리상태 기반 이상행동 검출을 위한 장치가 서버에 모든 구성요소가 구비되어 있어 관리자는 사용 단말(801, 802, 803)을 통해 이상행동으로 판별된 행동을 하는 인물을 통보받을 수도 있다. 또한, 편의상 일부 구성요소는 서버에, 일부 구성요소는 관리자 단말로 나누어 구비될 수도 있는 바 그 구성 방식에 대하여 제한을 두지 않는다. In addition, since the apparatus for detecting abnormal behavior based on mental state according to an embodiment of the present invention is equipped with all components in the server, the administrator performs the behavior determined as abnormal behavior through the use terminals 801, 802, and 803. You may be notified of the person. In addition, for convenience, some components may be divided into a server and some components may be divided into a manager terminal, so there is no restriction on the configuration method.

또한, 심리상태 기반 이상행동 검출을 위한 방법에 있어서도 상술한 바와 같이 이상행동 검출을 위한 전부의 단계가 서버에서 처리되는 것일 수도 있으며, 일부 단계는 서버에서, 일부 단계는 사용자 단말에서 나누어 처리될 수도 있을 것이다.또한,심리상태 기반 이상행동 검출을 위한 방법은매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있으며 상기 방법을 실행하는 컴퓨터는,휴대형 정보 단말기기, 스마트 폰, 모바일 전자기기, 거치형 컴퓨터 등을 포함한다.In addition, in the method for detecting abnormal behavior based on mental state, as described above, all steps for detecting abnormal behavior may be processed by the server, and some steps may be processed by the server and some steps may be divided and processed by the user terminal. In addition, the method for detecting abnormal behavior based on a psychological state may be implemented in the form of a computer program stored in a medium, and the computer executing the method includes a portable information terminal device, a smart phone, a mobile electronic device, and a stationary computer. And the like.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다. Various embodiments of the present disclosure are not listed in all possible combinations, but are intended to describe representative aspects of the present disclosure, and matters described in the various embodiments may be applied independently or may be applied in combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. 예를 들어, 상기 이상행동 검출부는 컴퓨터로 판독가능한 프로그래밍 언어로 작성된 소프트웨어로 구현될 수도 있으며, 상기 범용 프로세서를 포함한 다양한 형태를 띨 수도 있다. 하나 혹은 그 이상의 결합으로 이루어진 하드웨어로 개시될 수도 있음은 자명하다.In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. For implementation by hardware, one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays), general purpose It may be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor, or the like. For example, the abnormal behavior detection unit may be implemented with software written in a computer-readable programming language, and may take various forms including the general-purpose processor. It is obvious that it may be disclosed as hardware consisting of one or more combinations.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행 가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.The scope of the present disclosure is software or machine-executable instructions (e.g., operating systems, applications, firmware, programs, etc.) that allow an operation according to a method of various embodiments to be executed on a device or a computer, and such software or It includes a non-transitory computer-readable medium (non-transitory computer-readable medium) which stores instructions and the like and is executable on a device or a computer.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로, 본 발명의 범위는 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications and changes without departing from the technical spirit of the present invention to those of ordinary skill in the technical field to which the present invention belongs, so the scope of the present invention is described above. It is not limited by one embodiment and the accompanying drawings.

100: 하나 이상의 비 접촉 센서
101: 센싱 정보 기반 행동 인식부
102: 이상행동 검출부
103: 행동패턴 데이터 베이스100: one or more non-contact sensors
101: sensing information-based behavior recognition unit
102: abnormal behavior detection unit
103: behavior pattern database

Claims (20)

심리 상태에 따른 행동 패턴 데이터가 구축되어 있는 데이터베이스;
객체에 대한 센싱 정보를 이용하여 객체를 검출하고 행동을 인식하는 센싱 정보 기반 행동 인식부;
상기 데이터 베이스의 상기 행동 패턴 데이터로 학습을 수행하여 이상 행동을 검출하는 이상행동 검출부;
를 포함하는 심리상태 기반 이상행동 검출 장치.
A database in which behavior pattern data according to a mental state is built;
A behavior recognition unit based on sensing information for detecting an object and recognizing a behavior by using sensing information on the object;
An abnormal behavior detector configured to detect abnormal behavior by performing learning with the behavior pattern data of the database;
A mental state-based abnormal behavior detection device comprising a.
 제 1항에 있어서, 상기 센싱 정보 기반 행동 인식부는,
상기 수집된 센싱 정보로부터 실시간으로 검출된 객체의 동일 인물 인지를 위한 동기화를 수행하는 심리상태 기반 이상행동 검출 장치.
The method of claim 1, wherein the sensing information-based behavior recognition unit,
A mental state-based abnormal behavior detection apparatus that performs synchronization for recognizing the same person of the object detected in real time from the collected sensing information.
 제 2항에 있어서, 상기 센싱 정보 기반 행동 인식부는,
상기 인물로부터 입체 스켈레톤 (3D skeleton)을 추출하는 것을 특징으로 하는 심리상태 기반 이상행동 검출 장치.
The method of claim 2, wherein the sensing information-based behavior recognition unit,
A psychological state-based abnormal behavior detection apparatus, characterized in that extracting a 3D skeleton from the person.
 제 3항에 있어서, 상기 데이터 베이스에 저장된 상기 행동 패턴 데이터는,
불안한 심리 상태에 따른 무의식적인 행동 관련 영상으로서,
신체의 미세한 움직임 및 전신 움직임이 표현된 것을 포함하는 심리상태 기반 이상행동 검출 장치.
The method of claim 3, wherein the behavior pattern data stored in the database,
As a video related to unconscious behavior according to an anxious psychological state,
A psychological state-based abnormal behavior detection device that includes expressions of minute movements of the body and whole body movements.
 제 4항에 있어서,
상기 센싱 정보 기반 행동 인식부는,
상기 입체 스켈레톤의 연속적인 움직임과 각도 변화를 포함한 세밀한 행동 시퀀스를 인식하는 것을 특징으로 하는 심리상태 기반 이상행동 검출 장치.
The method of claim 4,
The sensing information-based behavior recognition unit,
A mental state-based abnormal behavior detection apparatus, characterized in that recognizing a detailed sequence of actions including continuous movement and angle change of the three-dimensional skeleton.
 제 5항에 있어서,
상기 이상행동 검출부는,
상기 데이터 베이스의 상기 데이터를 이용하여 학습을 수행하여 생성된,
이상행동 검출 모델; 을 포함하는 것을 특징으로 하는 심리상태 기반 이상행동 검출 장치.
The method of claim 5,
The abnormal behavior detection unit,
Created by performing learning using the data in the database,
Abnormal behavior detection model; A mental state-based abnormal behavior detection device comprising a.
 제 6항에 있어서,
상기 이상행동 검출 모델은,
상기 행동 시퀀스가 불안한 심리상태 기반의 이상 행동에 해당하는지 판별하는 것을 특징으로 하는 심리상태 기반 이상행동 검출장치.
The method of claim 6,
The abnormal behavior detection model,
A mental state-based abnormal behavior detection apparatus, characterized in that it determines whether the behavior sequence corresponds to an abnormal behavior based on an unstable mental state.
 제 7항에 있어서
상기 이상행동 검출부는,
상기 이상행동 검출 모델이
상기 행동 시퀀스를 상기 이상행동으로 판별한 경우,
상기 인물을 실시간으로 식별하여 관리자에게 통보하는 것을 특징으로 하는 심리상태 기반 이상행동 검출 장치.
According to claim 7
The abnormal behavior detection unit,
The abnormal behavior detection model
When the behavior sequence is determined as the abnormal behavior,
A mental state-based abnormal behavior detection device, characterized in that the person is identified in real time and notified to the manager.
 제 1항에 있어서,
상기 객체에 대한 센싱 정보를 수집하는 기능을 제공하는 비 접촉 센서; 를 더 포함하는 심리상태 기반 이상행동 검출 장치.
The method of claim 1,
A non-contact sensor that provides a function of collecting sensing information on the object; A psychological state-based abnormal behavior detection device further comprising a.
 심리 상태에 따른 행동 패턴 데이터를 데이터 베이스로 구축하는 단계;
객체에 대한 센싱 정보를 기반으로 객체를 검출하고 객체의 행동을 인식하는 단계;
상기 데이터 베이스의 상기 행동 패턴 데이터로 학습을 수행하여 이상 행동을 검출하는 단계;
를 포함하는 심리 상태 기반 이상행동 검출 방법.
Building behavior pattern data according to a mental state into a database;
Detecting an object based on sensing information on the object and recognizing an action of the object;
Detecting an abnormal behavior by performing learning with the behavior pattern data in the database;
A mental state-based abnormal behavior detection method comprising a.
 제 10항에 있어서, 상기 동작을 인식하는 단계; 는,
상기 수집된 센싱 정보로부터 실시간으로 검출된 객체의 동일 인물 인지를 위한 동기화를 수행하는 심리상태 기반 이상행동 검출 방법.
11. The method of claim 10, further comprising: recognizing the motion; Is,
A mental state-based abnormal behavior detection method for performing synchronization for recognizing the same person of the object detected in real time from the collected sensing information.
 제 11항에 있어서, 상기 동작을 인식하는 단계; 는,
상기 인물로부터 입체 스켈레톤 (3D skeleton)을 추출하는 것을 특징으로 하는 심리상태 기반 이상행동 검출 방법.
The method of claim 11, further comprising: recognizing the motion; Is,
A mental state-based abnormal behavior detection method, characterized in that extracting a three-dimensional skeleton (3D skeleton) from the person.
 제 12항에 있어서, 상기 데이터 베이스에 저장된 상기 행동 패턴 데이터는,
불안한 심리 상태에 따른 무의식적인 행동 관련 영상으로서,
신체의 미세한 움직임 및 전신 움직임이 표현된 것을 포함하는 심리상태 기반 이상 행동 검출 방법.
The method of claim 12, wherein the behavior pattern data stored in the database,
As a video related to unconscious behavior according to an anxious psychological state,
A method for detecting abnormal behavior based on a psychological state, including expressing minute movements of the body and whole body movements.
 제 13항에 있어서,
상기 동작을 인식하는 단계; 는,
상기 입체 스켈레톤의 연속적인 움직임과 각도를 포함한 세밀한 행동 시퀀스를 인식하는 것을 특징으로 하는 심리상태 기반 이상행동 검출 방법.
The method of claim 13,
Recognizing the motion; Is,
A mental state-based abnormal behavior detection method, characterized in that recognizing a detailed sequence of actions including the continuous movement and angle of the three-dimensional skeleton.
 제 14항에 있어서,
상기 이상행동을 검출하는 단계; 는,
상기 데이터 베이스의 상기 데이터를 이용하여 학습을 수행하여 생성된,
이상행동 검출 모델을 이용하는 단계; 를 포함하는 심리상태 기반 이상행동 검출 방법.
The method of claim 14,
Detecting the abnormal behavior; Is,
Created by performing learning using the data in the database,
Using an abnormal behavior detection model; A mental state-based abnormal behavior detection method comprising a.
 제 15항에 있어서,
상기 이상행동 검출 모델을 이용하는 단계; 는,
상기 행동 시퀀스가 불안한 심리상태 기반의 이상행동에 해당하는지 판별하는 것을 특징으로 하는 심리상태 기반 이상행동 검출 방법.
The method of claim 15,
Using the abnormal behavior detection model; Is,
A mental state-based abnormal behavior detection method, characterized in that it is determined whether the behavior sequence corresponds to an abnormal behavior based on an unstable mental state.
 제 16항에 있어서,
상기 이상행동 검출 모델이
상기 행동 시퀀스를 상기 이상행동으로 판별한 경우,
상기 인물을 실시간으로 식별하여 관리자에게 통보하는 단계; 를 더 포함하는 심리상태 기반 이상행동 검출 방법.
The method of claim 16,
The abnormal behavior detection model
When the behavior sequence is determined as the abnormal behavior,
Identifying the person in real time and notifying the manager; A psychological state-based abnormal behavior detection method further comprising a.
 제 10항에 있어서,
하나 이상의 비 접촉 센서를 이용하여 객체에 대한 센싱 정보를 수집하는 단계;
를 더 포함하는 심리상태 기반 이상행동 검출 방법.
The method of claim 10,
Collecting sensing information on an object using one or more non-contact sensors;
A psychological state-based abnormal behavior detection method further comprising a.
 컴퓨터에서
심리 상태에 따른 행동 패턴 데이터를 데이터 베이스로 구축하는 단계;
객체의 행동 인식을 위한 센싱 정보를 수집하고 전달받는 단계;
상기 수집된 정보를 이용하여 객체를 검출하고 행동을 인식하는 단계;
상기 데이터 베이스의 상기 행동 패턴 데이터로 학습을 수행하여 이상 행동을 검출하는 단계; 를 실행시키되,
상기 데이터는 불안한 심리 상태에 따른 무의식적인 행동 관련 영상으로서,
신체의 미세한 움직임 및 전신 움직임이 표현된 것을 포함하는 심리상태 기반 이상행동을 검출하는, 매체에 저장된 컴퓨터 프로그램.
On the computer
Building behavior pattern data according to a mental state into a database;
Collecting and receiving sensing information for recognizing an object's behavior;
Detecting an object and recognizing an action using the collected information;
Detecting an abnormal behavior by performing learning with the behavior pattern data in the database; Run
The data is an image related to unconscious behavior according to an anxious psychological state,
A computer program stored in a medium that detects abnormal behavior based on a mental state, including expressions of minute movements of the body and whole body movements.
 제 19항에 있어서,
상기 동작을 인식하는 단계; 는,
상기 인물로부터 입체 스켈레톤 (3D skeleton)을 추출하고,
상기 입체 스켈레톤의 연속적인 움직임과 각도를 포함한 세밀한 행동 시퀀스를 인식하는 것을 특징으로 하는, 심리상태 기반 이상행동을 검출하는, 매체에 저장된 컴퓨터 프로그램.The method of claim 19,
Recognizing the motion; Is,
Extracting a 3D skeleton from the person,
A computer program stored in a medium for detecting an abnormal behavior based on a mental state, characterized in that it recognizes a detailed sequence of actions including the continuous movement and angle of the three-dimensional skeleton.
KR1020190150525A 2019-11-21 2019-11-21 Method and Apparatus for detecting abnormal behavior based on psychological state KR20210062375A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190150525A KR20210062375A (en) 2019-11-21 2019-11-21 Method and Apparatus for detecting abnormal behavior based on psychological state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190150525A KR20210062375A (en) 2019-11-21 2019-11-21 Method and Apparatus for detecting abnormal behavior based on psychological state

Publications (1)

Publication Number Publication Date
KR20210062375A true KR20210062375A (en) 2021-05-31

Family

ID=76150252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190150525A KR20210062375A (en) 2019-11-21 2019-11-21 Method and Apparatus for detecting abnormal behavior based on psychological state

Country Status (1)

Country Link
KR (1) KR20210062375A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609937A (en) * 2021-07-24 2021-11-05 全图通位置网络有限公司 Emergency processing method, system and storage medium for urban rail transit

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609937A (en) * 2021-07-24 2021-11-05 全图通位置网络有限公司 Emergency processing method, system and storage medium for urban rail transit
CN113609937B (en) * 2021-07-24 2023-12-22 全图通位置网络有限公司 Emergency processing method, system and storage medium for urban rail transit

Similar Documents

Publication Publication Date Title
Kwolek et al. Improving fall detection by the use of depth sensor and accelerometer
Yang et al. Relative distance features for gait recognition with Kinect
US20150077329A1 (en) Eye tracking-based user interface method and apparatus
CN105844746B (en) A kind of access control device, system and method that identity is identified by gait information
JP2020046928A (en) Information processor, information processing system, and information processing method and program
KR20180096038A (en) Crime prediction system based on moving behavior pattern
Nar et al. Abnormal activity detection for bank ATM surveillance
JP5718632B2 (en) Part recognition device, part recognition method, and part recognition program
Ottakath et al. ViDMASK dataset for face mask detection with social distance measurement
RU2315352C2 (en) Method and system for automatically finding three-dimensional images
CN113011211B (en) Smoking behavior detection method and device, electronic equipment and storage medium
Pino et al. Improving mobile device interaction by eye tracking analysis
KR20210062375A (en) Method and Apparatus for detecting abnormal behavior based on psychological state
Kapoor et al. Light-weight seated posture guidance system with machine learning and computer vision
Bansal et al. Elderly people fall detection system using skeleton tracking and recognition
Oumaima et al. Vision-based fall detection and prevention for the elderly people: A review & ongoing research
Sugimoto et al. Robust rule-based method for human activity recognition
WO2020016963A1 (en) Information processing device, control method, and program
Pang et al. Human behavioral analytics system for video surveillance
KR101286750B1 (en) Password estimation system using gesture.
Sharif et al. Human gait recognition using deep learning: A comprehensive review
Ismail et al. Human gesture recognition using a low cost stereo vision in rehab activities
Shrivastava et al. Human activity recognition by analysis of skeleton joint position in internet of things (IOT) environment
CN109274930B (en) Safety monitoring method and device based on gait recognition
Bastico et al. Continuous Person Identification and Tracking in Healthcare by Integrating Accelerometer Data and Deep Learning Filled 3D Skeletons