WO2022119080A1 - 비식별화 데이터를 이용한 딥러닝 기반 이상행동감지 시스템 및 방법 - Google Patents

비식별화 데이터를 이용한 딥러닝 기반 이상행동감지 시스템 및 방법 Download PDF

Info

Publication number
WO2022119080A1
WO2022119080A1 PCT/KR2021/011583 KR2021011583W WO2022119080A1 WO 2022119080 A1 WO2022119080 A1 WO 2022119080A1 KR 2021011583 W KR2021011583 W KR 2021011583W WO 2022119080 A1 WO2022119080 A1 WO 2022119080A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
abnormal behavior
abnormal
deep learning
image information
Prior art date
Application number
PCT/KR2021/011583
Other languages
English (en)
French (fr)
Inventor
한수연
Original Assignee
주식회사 유니유니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유니유니 filed Critical 주식회사 유니유니
Priority to US18/265,364 priority Critical patent/US20240046702A1/en
Publication of WO2022119080A1 publication Critical patent/WO2022119080A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning

Definitions

  • the present invention relates to a system and method for detecting abnormal behavior based on deep learning.
  • a hidden camera which combines an ultra-small camera and a high-performance small wireless transmitter, is installed secretly in predetermined places such as public baths, toilets, changing rooms, hotels, offices, offices, etc. Cases of invasion of privacy are on the rise.
  • hidden cameras are frequently installed in businesses that require protection of privacy due to unavoidable exposure of the body, such as changing rooms of clothing stores, amusement facilities such as water parks, restrooms of various stores, and lodging establishments.
  • the video filmed by the victim has been leaked, causing enormous damage to the victim.
  • the detector has a problem of 'post-detection' in which a hidden camera is detected post-mortem after a crime has occurred.
  • An object of the present invention is to provide an abnormal behavior detection system in which users can safely use public facilities by detecting and preventing abnormal behavior of a subject within a predetermined area in order to solve the above-described problems.
  • a deep learning-based abnormal behavior detection system for solving the above-described problems, a sensing device for generating de-identified image information data by detecting the behavior of a subject within a predetermined area; receiving de-identified image information data from the sensing device, extracting characteristic information from the de-identified image information data, outputting behavioral prediction information reflecting temporal changes in the characteristic information, and generating the behavioral prediction information a deep learning server that calculates a similarity by comparing with previously learned behavior patterns, determines whether the behavior prediction information belongs to a normal behavior type or an abnormal behavior type based on the similarity, and determines whether an abnormal behavior is present; And when it is determined that the non-identified image information data belongs to the abnormal behavior type by receiving the abnormal behavior determination result from the deep learning server, it generates a warning signal informing that the behavior of the subject is abnormal behavior, and a management server or terminal It includes a web server that sends to
  • the deep learning server CNN for extracting feature information from the received de-identified image information data; an LSTM for receiving the feature information from the CNN in time series and outputting behavioral prediction information reflecting temporal changes; and a classification layer that compares the behavior prediction information received from the LSTM with learned behavior patterns, wherein the classification layer is more similar to any behavior pattern among the behavior patterns from which the behavior prediction information is learned based on the degree of similarity It is characterized by judging the behavior type of the behavior prediction information to which the behavior pattern judged to be most similar belongs.
  • the senor is characterized in that the ToF (Time of Flight) or a thermal image sensor.
  • ToF Time of Flight
  • thermal image sensor a thermal image sensor
  • the abnormal behavior determining unit CNN for extracting feature information from the received de-identified image information data; an LSTM for receiving the feature information from the CNN in time series and outputting behavioral prediction information reflecting temporal changes; and a classification layer that compares the behavior prediction information received from the LSTM with learned behavior patterns, wherein the classification layer is more similar to any behavior pattern among the behavior patterns from which the behavior prediction information is learned based on the degree of similarity It is characterized by judging the behavior type of the behavior prediction information to which the behavior pattern judged to be most similar belongs.
  • the non-identified image information data in the abnormal behavior determining unit when the non-identified image information data in the abnormal behavior determining unit is classified as abnormal behavior data, it may further include a warning notification unit for generating a warning signal so that the target can be recognized.
  • the non-identified image information data when the non-identified image information data is classified as abnormal behavior data in the abnormal behavior determination unit, it may further include a crisis notification unit for recognizing an external crisis and transmitting a crisis signal to the management server.
  • the present invention is effective in preventing various crimes in advance by detecting abnormal behavior such as installing a hidden camera in a predetermined area such as a toilet.
  • the present invention has the effect of fundamentally solving the personal privacy problem by acquiring a de-identified image in which personal information does not appear for various actions in the bathroom.
  • FIG. 2 is a reference diagram for explaining a process of analyzing de-identified image information data according to an embodiment of the present invention.
  • FIG. 3 is a reference diagram schematically illustrating an entire system environment for using the abnormal behavior determination result according to an embodiment of the present invention.
  • FIG. 4 is a block diagram schematically showing the structure of an abnormal behavior detection system according to an embodiment of the present invention.
  • FIG. 5 is a configuration diagram for explaining a process of determining an abnormal behavior in the abnormal behavior detection system according to an embodiment of the present invention.
  • the present invention relates to a system that analyzes de-identified image information data based on deep learning to detect abnormal behavior, such as installing a hidden camera in the bathroom, or dangerous situations such as falling, and falling, by analyzing human behavior by itself. It is a technique for determining whether a behavior is abnormal.
  • a multilayer neural network model which means deep learning, has the structure shown in FIG. 1 .
  • FIG. 1 is a schematic diagram showing the structure of a multi-layer neural network model (deep learning or deep neural network model).
  • the multilayer neural network model consists of an input layer, a hidden layer, and an output layer.
  • the input layer consists of nodes corresponding to each input variable, and the number of nodes is equal to the number of input variables.
  • the hidden layer serves to process the linear combination of variable values transmitted from the input layer as a non-linear function such as a sigmoid function and transmit it to the output layer or another hidden layer.
  • a vanishing gradient problem in which the error is diluted in the preceding layer may occur.
  • ReLU Rectified Linear Unit
  • the sigmoid function has a value between 0 and 1, and when performing backpropagation using gradient descent, the gradient is continuously multiplied as it passes through the layers, so the gradient converges to 0.
  • ReLU that outputs 0 when the input value is less than 0 and outputs the input value as it is when the input value is greater than 0 can be used.
  • ReLU can be partially activated by outputting 0 for an input less than 0, and there is no vanishing of gradient and it is a linear function, so it has the advantage of very simple differential calculation.
  • the output layer is a node corresponding to the output variable, and in the classification model, as many output nodes as the number of classes are generated.
  • the present invention utilizes such deep learning in a unique way to accurately analyze human behavior and detect abnormal behavior within a predetermined area to detect the installation of a hidden camera or the occurrence of an emergency.
  • FIG. 2 is a reference diagram for explaining a process of analyzing de-identified image information data according to an embodiment of the present invention
  • FIG. 3 is an overall system for utilizing the abnormal behavior determination result according to an embodiment of the present invention.
  • It is a reference diagram schematically illustrating an environment
  • FIG. 4 is a block diagram schematically illustrating the structure of an abnormal behavior detection system according to an embodiment of the present invention
  • FIG. 5 is abnormal behavior detection according to an embodiment of the present invention. It is a diagram to explain the process of judging abnormal behavior in the system.
  • the abnormal behavior of installing a hidden camera inside the bathroom will be exemplarily described.
  • the present invention is not limited to the act of installing a hidden camera inside the toilet, and it is possible to determine whether abnormal behavior by generating non-identifying image information for various abnormal behaviors such as falls, collapses, and unauthorized intrusions of patients or the elderly. can
  • Abnormal behavior detection system 100 for determining whether abnormal behavior by acquiring a user's abnormal behavior as de-identified image information includes a de-identification image information generating unit 1100, an abnormal behavior determining unit 1200, and a communication unit 1300. , and a system management unit 1400 .
  • the abnormal behavior detection system 1000 includes a de-identified image information generating unit 1100 for photographing a predetermined area such as a toilet.
  • the de-identification image information generating unit 1100 senses the behavior of the subject in a predetermined area, and further generates image information data in which personal information such as the subject's face is de-identified.
  • 'de-identification' means processing so that the identity of the person being photographed cannot be known. Accordingly, the present invention can be smoothly operated without a problem of privacy in a place where personal privacy is to be respected, such as a bathroom.
  • embodiment 1000 according to the present invention is described in the context of a bathroom, it is not necessarily limited thereto and may be applied anywhere in a predetermined place/space where personal privacy must be respected, such as a dressing room or a fitting room in a shopping mall.
  • Abnormal behavior detection system 1000 using a learning model for abnormal behavior with respect to de-identified image information data, abnormal behavior determination unit 1200 to classify into normal behavior data or abnormal behavior data ) is included.
  • the abnormal behavior determination unit 1200 can accurately determine the abnormal behavior in the bathroom as a learning model for the abnormal behavior generated through deep learning.
  • the abnormal behavior determination unit 1200 includes a CNN 1210, LSTM 1220, and a classification layer 1230 to accurately detect abnormal behavior by analyzing de-identified image information data. do.
  • the CNN 1210 is a type of a multi-layered feed-forward artificial neural network used to analyze a visual image, and is also called a convolutional neural network.
  • the CNN 1210 receives de-identified image information data from the de-identified image information generator 1100 and extracts feature information from the de-identified image information data.
  • the CNN 1210 transmits the extracted feature information to the LSTM 1220 .
  • the LSTM 1220 is a recurrent neural network capable of long-term dependency learning, and is also called Long Short Term Memory Networks.
  • the LSTM 1220 receives feature information from the CNN 1210 in time series and outputs behavioral prediction information reflecting temporal changes.
  • the embodiment 1000 according to the present invention extracts feature information by the CNN 1210 and outputs the behavior prediction information reflecting the temporal change in the LSTM 1220, and each frame in the image is It greatly improves the accuracy of abnormal behavior detection by giving the connectivity of
  • the present invention can combine CNN and LSTM in various ways, and it can also be implemented as a coupling method between a CNN composed of two two-dimensional convolutional layers and an LSTM with improved connectivity by stacking two single-layer unidirectional layers.
  • the CNN 1210 extracts feature information about spatial characteristics and the characteristics of a person who is a subject, for example, feature information in consideration of the spatial characteristics of a toilet from image information obtained in a toilet It is possible to extract characteristic information by predicting the behavioral characteristics of people who act in a space called toilet and toilet.
  • the LSTM 1220 may output the behavior prediction information by identifying the context of the behavior based on the data frame continuous for a predetermined time.
  • the embodiment 1000 according to the present invention is transmitted to the management server 100 or the terminal 200. It notifies by sending an abnormal behavior signal.
  • the server 100 or the terminal to notify that the behavior of the subject is abnormal behavior.
  • a communication unit 1300 for transmitting an abnormal behavior signal to at least one of 200 .
  • the communication unit 1300 transmits an abnormal behavior signal to the server 100 or the terminal 200 through the communication network 300 as shown in FIG. 3 .
  • the communication network 300 includes all types of a wide area network (WAN), metropolitan area network (MAN), local area network (LAN), personal area network (PAN), etc. means network.
  • WAN wide area network
  • MAN metropolitan area network
  • LAN local area network
  • PAN personal area network
  • the de-identified image information generating unit 1100 may be a thermal imaging camera that detects the body temperature of a subject as an image in consideration of the specificity of a space in which privacy should be respected. In this case, the de-identified image information generating unit 1100 generates thermal image information data as de-identified image information data through photographing. Accordingly, even if the photographing according to the present invention is performed in the bathroom, the photographed image shows only temperature data so that it is not possible to know who the photographed person is, so that people can use the toilet with confidence. Also, according to another embodiment of the present invention, the de-identified image information generating unit 1100 may be a Time of Flight (ToF) sensor.
  • ToF Time of Flight
  • Embodiment 1000 generates an access signal by detecting a subject entering a toilet in a toilet in real time, and counting the generated access signal to derive the number of people value based on the subjects entering the set area It further includes a number of people calculation unit (1510).
  • the number of people calculating unit 1510 may be various devices for detecting human behavior, and may be an infrared sensor or a ToF sensor like the above-described image capturing control unit 1410 .
  • the number of people calculating unit 1510 may be a separate configuration from the image capturing control unit 1410, and in some cases, the number of people calculating unit 1510 and the image capturing control unit 1410 have the same configuration as one configuration and multiple functions. may be implemented.
  • a warning notification unit that emits a warning signal to the outside so that the subject can recognize it (1600).
  • the warning notification unit 1600 emits a set warning signal when receiving the abnormal behavior data signal from the abnormal behavior determining unit 1200 .
  • the warning signal may be in various forms, for example, may be in the form of a warning sound such as a police car siren or flashing red. Therefore, according to the present invention, it is possible to reliably prevent a crime in advance by immediately stopping the act of installing a hidden camera without the presence of an administrator or security personnel.
  • the embodiment 1000 according to the present invention includes a crisis notification unit 1700 for recognizing an external crisis and transmitting a crisis signal to the management server 100 .
  • the crisis notification unit 1700 recognizes an external situation due to the occurrence of an unexpected situation such as assault or robbery in the bathroom and immediately transmits a crisis signal to the management server 100 .
  • the crisis notification unit 1700 includes a DB 1710 that holds rescue signals and a voice recognition unit 1720 that receives an externally generated voice.
  • the voice recognition unit 1720 is a device capable of recognizing the victim's voice, and may correspond to, for example, a microphone.
  • the crisis notification unit 1700 includes a crisis determination unit 1730 that compares the voice signal recognized through the voice recognition unit 1720 with the DB 1710 and transmits a crisis signal to the management server 100 .
  • the crisis determination unit 1730 transmits a crisis signal to the management server 100 when the recognized voice signal is the same as or similar to the rescue signal stored in the DB.
  • the present invention can also implement a security function that responds to violent crimes that occur suddenly.
  • the crisis determination unit 1730 compares the rescue signal learned by the learning model of the present invention with the voice signal, and when the externally recognized voice signal is the same as or similar to the learned rescue signal, the crisis is sent to the management server 100 .
  • the learned structural signal is learned in a manner similar to the learning model described above.
  • the CNN 1210 extracts feature information from the received voice signal
  • the LSTM 1220 receives the feature information from the CNN 1210 in time series and outputs voice prediction information reflecting temporal changes.
  • the classification layer 1230 compares the speech prediction information received from the LSTM 1220 with the learned speech patterns.
  • the learned voice patterns are divided into a general signal type and a structural signal type, and the classification layer 1230 determines which voice pattern among the learned voice patterns the voice prediction information is more similar to, based on the similarity, and determines the most similar.
  • the signal type to which the voice pattern belongs is determined as the signal type of the voice prediction information.
  • the embodiment 1000 according to the present invention further includes a manager register, a manager comparison unit, and a manager approval unit in case the actions of the managers and the criminals are similar in the toilet compartment.
  • the act of replacing the tissue in the tissue hanger may have a similar pattern or similar form to the act of installing a hidden camera in the tissue hanger.
  • the present invention includes a manager registration unit, a manager comparison unit, and a manager approval unit to detect an abnormal behavior without error.
  • the manager register stores the manager's temperature data and/or form.
  • the de-identified image information generation unit 1100 captures the manager to generate de-identified image information data
  • the CNN 1210 of the abnormal behavior determination unit extracts feature information from the de-identified image information data for the manager. and send it to the administrator register. Accordingly, the manager registration unit stores characteristic information about the manager.
  • the manager comparison unit compares the feature information about the manager stored in the manager register with the feature information about the target detected in real time. If both characteristic information are the same, the manager comparison unit transmits a manager recognition signal to the manager approval unit, and the manager approval unit transmits a stop signal to at least any one of the components except the crisis notification unit 1700 of the present invention to cause an abnormality of the present invention Stop the behavior detection function. Accordingly, the security function can be maintained at all times against a crime situation that occurs unexpectedly according to the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Alarm Systems (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Emergency Alarm Devices (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비식별화 데이터를 이용하여 화장실과 같은 소정 영역에서 몰래 카메라 설치와 같은 이상행동을 감지하는 딥러닝 기반의 이상행동 탐지 시스템에 관한 것이다. 본 발명은 소정 영역에서 대상자의 행동을 감지하고, 대상자의 개인정보를 비식별화한 영상정보 데이터를 생성하는 비식별화 영상정보생성부와, 이상행동에 대한 학습모델을 이용하여 비식별화한 영상정보 데이터를 정상행동 데이터나 이상행동 데이터로 구분하는 이상행동 판별부를 포함한다.

Description

비식별화 데이터를 이용한 딥러닝 기반 이상행동감지 시스템 및 방법
본 발명은 딥러닝 기반의 이상행동감지 시스템 및 방법에 관한 것이다.
최근, 전자 및 광학기술이 발달함에 따라 카메라의 성능은 향상되고 그 크기는 점차 소형화됨에 따라, 이를 악용하여 범죄에 이용하는 사례도 빈번하게 발생하고 있다. 예컨대, 초소형 카메라와 마이크로폰 및 고성능의 소형 무선송신기를 결합한 몰래 카메라를 불특정 다수의 사람들이 이용하는 장소에 설치한 후 그 내부 상황을 엿보거나 녹취 및 녹화하는 행태가 급증하고 있다.
2000년대 이후 급속한 발전을 이루고 있는 전자 문명은 각종 디바이스 들을 자동화시켜 현대인들의 생활을 더욱 윤택하고 편리하게 향상시키고 있는 반면에, 타인의 비밀을 쉽게 탐지해낼 수 있는 전자 장치까지도 발전되어 현대인들의 비밀 정보가 정보 관계자의 의사와는 무관하게 노출될 위험이 있다.
초소형 카메라와 고성능의 소형 무선 송신기가 결합된 몰래 카메라를 공중 목욕탕, 화장실, 탈의실, 호텔, 집무실, 사무실 등과 같은 소정 장소에 은밀하게 설치해 놓고 내부 상황을 엿보고 이를 녹화하여 불법적인 용도로 사용함으로써 개인의 사생활을 침해하는 사례가 급증하고 있다.
특히, 의류 판매장의 탈의실, 워터파크 등의 위락시설, 각종 판매장의 화장실 및 숙박업소와 같이 신체노출이 불가피하여 사생활 보호가 지켜져야 하는 업소를 대상으로 몰래카메라가 빈번하게 설치되고 있으며, 몰래카메라에 의해 촬영된 영상이 유출되어 범죄의 대상이 된 피해자에게 막대한 피해를 발생시키고 있다.
한편, 몰래카메라를 탐지하기 위해서는 별도의 탐지기를 이용하여 몰래 카메라를 탐지해야 한다. 탐지기를 이용하여 몰래 카메라를 탐지하는 경우, 탐지기는 범죄 발생된 후 사후적으로 몰래 카메라를 탐지하는, '사후 적발'이라는 문제를 갖는다.
그러나, 사생활 보호가 요구되는 장소에서 몰래카메라 설치 등과 같은 행위는 비정상적인 행동 패턴이 발생되므로, 이와 같은 비정상적 행동을 사전에 탐지할 수 있다면 '사전 예방' 측면에서 불법행위를 예방할 수 있을 것이며, 이와 같은 비정상적 행동을 탐지할 수 있는 사회적 니즈가 절실히 요구되고 있다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위해, 소정 영역내에서 피사체의 이상행동을 탐지하여 사전예방함으로써 사용자들이 안심하고 공공시설물을 이용할 수 있는 이상행동감지 시스템을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 딥러닝 기반의 이상행동감지 시스템은, 소정 영역내에서 대상자의 행동을 감지하여 비식별화된 영상정보 데이터를 생성하는 감지장치; 상기 감지장치로부터 비식별화된 영상정보 데이터를 수신하여, 상기 비식별화된 영상정보 데이터로부터 특징정보를 추출하고, 상기 특징정보의 시간적 변화를 반영한 행동예측정보를 출력하고, 상기 행동예측정보를 기 학습된 행동패턴들과 비교하여 유사도를 산출하여, 상기 유사도를 기반으로 상기 행동예측정보가 정상행동유형과 이상행동유형 중 어디에 속하는지 판단하여 이상행동 여부를 판별하는 딥러닝 서버; 및 상기 딥러닝 서버로부터 이상행동 판단 결과를 수신하여 상기 비식별화된 영상정보 데이터가 이상행동 유형에 속하는 것으로 판단되면, 상기 대상자의 행동이 이상행동임을 알려주는 경고 신호를 생성하여 관리 서버 또는 단말로 송신하는 웹서버를 포함한다.
또한, 상기 감지장치는 ToF(Time of Flight) 센서를 포함하는 것을 특징으로 한다.
또한, 상기 딥러닝 서버는 입력받은 비식별화한 영상정보 데이터로부터 특징정보를 추출하는 CNN; 상기 CNN으로부터 상기 특징정보를 시계열적으로 입력받아 시간적 변화를 반영한 행동예측정보를 출력하는 LSTM; 및 상기 LSTM으로부터 입력받은 상기 행동예측정보를 학습된 행동패턴들과 비교하는 분류계층을 포함하며, 상기 분류계층은 유사도를 기준으로 상기 행동예측정보가 학습된 행동패턴들 중 어느 행동패턴에 더 유사한지 판단하고, 가장 유사하다고 판단된 행동패턴이 속하는 행동유형을 행동예측정보의 행동유형으로 판단하는 것을 특징으로 한다.
상술한 문제점을 해결하기 위한 본 발명의 다른 일실시예에 따른 딥러닝 기반의 이상행동감지 시스템은, 소정 영역내에서 피사체의 행동을 감지하여 행동패턴을 분석하는 시스템에 있어서, 소정 영역을 감지하는 센서로부터 소정 영역 내의 피사체 행동이 감지된 비식별화 영상정보 데이터를 시계열적으로 입력받는 수신부; 상기 수신된 비식별화 영상정보 데이터로부터 특징정보를 추출하고, 상기 특징정보의 시간적 변화를 반영한 행동예측정보를 출력하고, 상기 행동예측정보를 기 학습된 행동패턴들과 비교하여 유사도를 산출하여, 상기 유사도를 기반으로 상기 행동예측정보가 정상행동유형과 이상행동유형 중 어디에 속하는지 판단하여 이상행동 여부를 판별하는 이상행동 판별부; 및 상기 이상행동 판별부에서 상기 비식별화된 영상정보 데이터가 이상행동 유형에 속하는 것으로 판단되면, 상기 피사체의 행동이 이상행동임을 알려주는 신호를 관리 서버 또는 단말로 송신하는 송신부를 포함한다.
또한, 상기 센서는 ToF(Time of Flight) 또는 열화상 센서인 것을 특징으로 한다.
또한, 상기 이상행동 판별부는 입력받은 비식별화한 영상정보 데이터로부터 특징정보를 추출하는 CNN; 상기 CNN으로부터 상기 특징정보를 시계열적으로 입력받아 시간적 변화를 반영한 행동예측정보를 출력하는 LSTM; 및 상기 LSTM으로부터 입력받은 상기 행동예측정보를 학습된 행동패턴들과 비교하는 분류계층을 포함하며, 상기 분류계층은 유사도를 기준으로 상기 행동예측정보가 학습된 행동패턴들 중 어느 행동패턴에 더 유사한지 판단하고, 가장 유사하다고 판단된 행동패턴이 속하는 행동유형을 행동예측정보의 행동유형으로 판단하는 것을 특징으로 한다.
또한, 상기 이상행동 판별부에서 상기 비식별화된 영상정보 데이터가 이상행동 데이터로 구분되는 경우, 대상자가 인지할 수 있도록 경고신호를 생성하는 경고알림부를 더 포함할 수 있다.
또한, 상기 이상행동 판별부에서 상기 비식별화된 영상정보 데이터가 이상행동 데이터로 구분되는 경우, 외부의 위기를 인지하여 관리 서버로 위기신호를 송신하는 위기알림부를 더 포함할 수 있다.
본 발명은 화장실과 같은 소정 영역에서 몰래 카메라 설치 등의 이상행동을 탐지함으로써 각종 범죄를 사전에 예방할 수 있는 효과가 있다.
또한, 본 발명은 화장실 내 다양한 행동들에 대하여 개인정보가 일체 나타나지 않는 비식별화 영상으로 획득함으로써 개인 프라이버시 문제를 원천적으로 해결할 수 있는 효과가 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 다층 신경망 모델(딥러닝 또는 심층 신경망 모델)의 구조를 도시한 모식도이다.
도 2는 본 발명의 일실시예에 따른 비식별화 영상정보 데이터를 분석하는 과정을 설명하기 위한 참고도이다.
도 3는 본 발명의 일실시예에 따른 이상행동 판단 결과를 활용하기 위한 전체 시스템 환경을 개략적으로 도시한 참고도이다.
도 4은 본 발명의 일실시예에 따른 이상행동감지 시스템의 구조를 개략적으로 도시한 블록도이다.
도 5는 본 발명의 일실시예에 따른 이상행동감지 시스템에서 이상행동을 판단하는 과정을 설명하기 위한 구성도이다.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
본 발명은 비식별화한 영상정보 데이터를 딥러닝 기반으로 분석하여 화장실 내 몰래 카메라 설치와 같은 이상행동이나, 쓰러짐, 낙상과 같은 위험상황을 감지하는 시스템에 관한 것으로, 사람의 행동을 스스로 분석하여 이상행동인지를 판단하는 기술이다.
일반적으로 딥러닝을 의미하는 다층 신경망 모델은 도 1에서 도시하는 구조를 갖는다. 도 1은 다층 신경망 모델(딥러닝 또는 심층 신경망 모델)의 구조를 도시한 모식도이다. 도 1에 도시된 바와 같이 다층 신경망 모델은 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)으로 구성된다. 입력층은 각 입력변수에 대응되는 노드로 구성되며, 노드의 수는 입력변수의 개수와 같다. 은닉층은 입력층으로부터 전달되는 변수값들의 선형 결합을 시그모이드(sigmoid) 함수와 같은 비선형 함수로 처리하여 출력층 또는 다른 은닉층에 전달하는 역할을 한다. 한편, Back propagation에서 chain rule을 적용하면서 error가 앞단의 layer에서 희석되는 vanishing gradient 문제가 발생될 수도 있는 바, 시그모이드 함수 대신 ReLU(Rectified Linear Unit)를 이용할 수도 있다.
즉, 시그모이드 함수는 0에서 1사이의 값을 가지는데 gradient descent를 사용해서 backpropagation 수행시 layer를 지나면서 gradient를 계속 곱하게 되므로 gradient는 0으로 수렴하게 되어, layer가 많아질 수록 잘 작동하지 않는 문제점이 있을 수 있다. 따라서, 이와 같은 시그모이드 함수의 문제점을 해결하기 위해서 입력값이 0보다 작으면 0으로 출력하고 입력값이 0보다 크면 입력값을 그대로 출력하게 되는 ReLU를 이용할 수 있다. ReLU는 0 이하의 입력에 대해서 0을 출력함으로써 부분적으로 활성화시킬 수 있으며, gradient의 vanishing이 없고 선형 함수이므로 미분 계산이 매우 간단한 장점이 있다.
출력층은 출력 변수에 대응되는 노드로서 분류 모형에서는 클래스의 수만큼 출력 노드가 생성된다.
본 발명은 이러한 딥러닝을 독특한 방식으로 활용하여 사람의 행동을 정확하게 분석하여, 소정영역 내에서 이상행동을 감지함으로써 몰래 카메라 설치나 위급상황 발생을 탐지할 수 있다. 이하, 본원에 첨부된 도면을 참조하여 본 발명에 따른 실시예(1000)에 대하여 상술한다.
도 2는 본 발명의 일실시예에 따른 비식별화 영상정보 데이터를 분석하는 과정을 설명하기 위한 참고도이며, 도 3는 본 발명의 일실시예에 따른 이상행동 판단 결과를 활용하기 위한 전체 시스템 환경을 개략적으로 도시한 참고도이며, 도 4은 본 발명의 일실시예에 따른 이상행동감지 시스템의 구조를 개략적으로 도시한 블록도이며, 도 5는 본 발명의 일실시예에 따른 이상행동감지 시스템에서 이상행동을 판단하는 과정을 설명하기 위한 구성도이다.
이하 설명하는 실시예에서는 화장실 내부에 몰래카메라를 설치하는 이상행동을 예시적으로 설명한다. 그러나, 본 발명은 화장실 내부에 몰래카메라를 설치하는 행위에 국한되지 않고, 환자나 노약자의 낙상사고, 쓰러짐, 무단 침입 등 다양한 이상행동에 대해서도 비식별화 영상정보로 생성하여 이상행동 여부를 판단할 수 있다.
사용자의 이상행동을 비식별화 영상정보로 획득하여 이상행동 여부를 판단하는 이상행동감지 시스템(100)은 비식별화 영상정보생성부(1100), 이상행동 판별부(1200), 통신부(1300), 시스템관리부(1400) 등을 포함한다.
이상행동감지 시스템(1000)은 화장실과 같은 소정영역을 촬영하는 비식별화 영상정보생성부(1100)를 포함한다. 비식별화 영상정보생성부(1100)는 소정영역에서 대상자의 행동을 센싱하며, 나아가 대상자의 얼굴 등 개인정보를 비식별화한 영상정보 데이터를 생성한다. 여기서 '비식별화'란 촬영된 사람의 신원을 알 수 없도록 처리한 것을 의미한다. 이에 따라, 본 발명은 화장실과 같이 개인적인 프라이버시가 존중되어야 하는 장소에서 사생활 침해문제 없이 원활하게 작동될 수 있다. 또한, 본 발명에 따른 실시예(1000)는 화장실 내에서의 상황에서 설명되나, 반드시 이에 한정되지 않고 탈의실이나 쇼핑몰 내 피팅룸과 같이 개인 프라이버시가 존중되어야 하는 소정의 장소/공간 어디에나 적용될 수 있다.
본 발명의 일실시예에 따른 이상행동감지 시스템(1000)은 비식별화한 영상정보 데이터에 대하여 이상행동에 대한 학습 모델을 이용하여 정상행동 데이터나 이상행동 데이터로 구분하는 이상행동 판별부(1200)를 포함한다. 이상행동 판별부(1200)는 딥러닝을 통하여 생성된 이상행동에 대한 학습 모델로 정확하게 화장실 내 이상행동을 판별할 수 있다.
도 2 및 도 4를 참조하면, 이상행동 판별부(1200)는 비식별화 영상정보 데이터를 분석하여 이상행동을 정확하게 감지하기 위해 CNN(1210), LSTM(1220) 그리고 분류 계층(1230)을 포함한다.
CNN(1210)은 시각적 영상을 분석하는데 사용되는 다층의 피드-포워드적인 인공신경망의 한 종류로서 합성곱 신경망(Convolutional Neural Network)이라고도 불린다. CNN(1210)은 비식별화 영상정보생성부(1100)로부터 비식별화한 영상정보 데이터를 입력받아, 비식별화한 영상정보 데이터로부터 특징정보를 추출한다.
CNN(1210)은 추출된 특징정보를 LSTM(1220)으로 전달한다. LSTM(1220)은 장기 의존성 학습이 가능한 순환 신경망으로서 장단기 메모리(Long Short Term Memory Networks)라고도 불린다. LSTM(1220)은 CNN(1210)으로부터 특징정보를 시계열적으로 입력받아 시간적 변화를 반영한 행동예측정보를 출력한다.
도 2에서 알 수 있듯이, 본 발명에 따른 실시예(1000)는 CNN(1210)에 의하여 특징정보를 추출하고 LSTM(1220)에서 시간적 변화를 반영한 행동예측정보를 출력하여, 영상에서의 각 프레임끼리의 연결성을 부여함으로써 이상행동감지에 대한 정확성을 대폭 향상시킨다. 본 발명은 다양한 방식으로 CNN과 LSTM을 결합할 수 있고, 두 개의 2차원 콘볼루션 레이어로 구성된 CNN과 단층 단방향 레이어 2개를 쌓아 연결성을 높인 LSTM 간의 결합방식으로도 구현될 수도 있다. 본 발명의 일실시예에 따르면, CNN(1210)에서는 공간특성 및 피사체인 사람의 특성에 관한 특징정보를 추출하며, 예를들어 화장실 내에서 획득된 영상정보에서 화장실이라는 공간의 특성을 감안한 특징정보와 화장실이라는 공간에서 행위가 일어나는 사람의 행동특성을 예측하여 특징정보를 추출할 수 있다.
LSTM(1220)은 소정시간 연속된 데이터 프레임을 기반으로 행동의 맥락을 파악하여 행동예측정보를 출력할 수 있다. LSTM(1220)의 행동예측정보 출력으로 대상자의 행동이 이상행동으로 판단되는 경우, 도 3에 도시된 바와 같이, 본 발명에 따른 실시예(1000)는 관리서버(100)나 단말(200)로 이상행동 신호를 송신하여 알린다. 이를 위해, 상기 실시예(1000)는, 비식별화한 영상정보 데이터가 이상행동 판별부(1200)에서 이상행동 데이터로 구분되는 경우, 대상자의 행동이 이상행동임을 알리기 위해 서버(100)나 단말(200) 중 적어도 어느 하나에 이상행동 신호를 송신하는 통신부(1300)를 포함한다. 통신부(1300)는 도 3에서 나타나듯이 통신망(300)을 통해 서버(100)나 단말(200)로 이상행동 신호를 송신한다. 여기서, 통신망(300)은 광역 통신망(Wide Area Network:WAN), 도시권 통신망(Metropolitan Area Network:MAN), 근거리 통신망(Local Area Network:LAN), 개인 통신망(Personal Area Network:PAN) 등 모든 종류의 네트워크를 의미한다.
한편, 비식별화 영상정보생성부(1100)는 프라이버시가 존중되어야 하는 공간의 특수성을 고려하여 대상자의 체온을 화상으로 감지하는 열화상 카메라일 수 있다. 이러한 경우, 비식별화 영상정보생성부(1100)는 촬영을 통해 비식별화한 영상정보 데이터로서 열화상 영상정보 데이터를 생성한다. 이에 따라, 화장실에서 본 발명에 의한 촬영이 진행되더라도, 촬영된 영상은 촬영된 사람이 누구인지 알 수 없도록 오직 온도 데이터만을 나타내므로, 사람들은 안심하고 화장실을 이용할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 비식별화 영상정보생성부(1100)는 ToF(Time of Flight) 센서일 수도 있다. ToF 센서는 레이저 펄스가 반사되어 돌아오는 시간을 측정하여 주변 환경이나 사물을 감지하는 기술로서 센서에서 조사된 빛이 사람과 같은 피사체에 반사되어 돌아오는 시간을 측정하여 피사체의 거리나 3D 스캐닝을 할 수 있는 센서이다. ToF 센서는 이와 같은 피사체의 반사된 광신호의 이동시간을 사용하여 피사체와의 거리와 깊이를 탐지할 수 있으며, 사람과 같은 피사체의 보다 정확한 동작인식이 가능한 특징이 있다. ToF 센서는 짧은 시간에 물체를 정확하게 감지할 수 있으며, 기압 및 온도의 영향을 거의 받지 않는 장점이 있다. 또한, 레이저를 사용하므로 장거리 및 범위도 매우 정밀하게 측정 가능하며, 저전력 적외선 레이저 광을 광원으로 사용하고 변조된 펄스로 눈에 대한 안전을 보장할 수 있다.
이상행동 판별부(1200)는 LSTM(1220)으로부터 입력받은 행동예측정보를 학습된 행동패턴들과 비교하는 분류계층(1230)을 더 포함한다. 학습된 행동패턴들은 정상행동유형과 이상행동유형으로 나뉘는데, 이상행동유형은 예를 들면 화장실 내 몰래 카메라를 설치하는 행동을 의미하고, 정상행동유형은 용무를 보는 행위나 청소하는 행위 혹은 휴지를 교체하는 행위 등을 의미할 수 있다.
예를 들어, 이상행동유형에 속하는 행동패턴들은 화장실 내 용무공간(변기가 설치된 공간)에서 공간분리 칸막이의 상측부와 하측부에 몰래 카메라를 설치하는 행위, 휴지걸이에 몰래 카메라를 설치하는 행위 등을 포함할 수 있다. 여기서, 공간분리 칸막이는 변기를 기준으로 좌우측에 설치되는 한쌍의 칸막이를 의미한다. 이에 따라, 이상행동유형은 5가지의 행동패턴으로 분류될 수 있고, 이는 1) 좌측 칸막이의 상부에 몰래 카메라를 설치하는 행위, 2) 좌측 칸막이의 하부에 몰래 카메라를 설치하는 행위, 3) 우측 칸막이의 상부에 몰래 카메라를 설치하는 행위, 4) 우측 칸막이의 하부에 몰래 카메라를 설치하는 행위, 그리고 5) 휴지걸이에 몰래 카메라를 설치하는 행위 등을 의미한다. 이를 고려하면, 정상행동유형에 속하는 행동패턴들은 1) 용무를 보는 행위와, 2) 이상행동유형에 속하지 않는 행동패턴을 의미한다.
분류계층(1230)은 행동예측정보와 학습된 행동패턴들을 비교하여, 행동예측정보가 정상행동유형과 이상행동유형 중 어느 유형에 속하는지를 판단한다. 이를 위해, 분류계층(1230)은 행동예측정보와 동일하거나 가장 유사한 행동패턴을 파악하고, 도출된 행동패턴이 속하는 행동유형을 행동예측정보의 행동 유형으로 분류한다. 이에 따라, 본 발명은 비식별화 영상정보생성부(1100)에 의해 촬영된 대상자의 행위가 정상행동인지 이상행동인지 판단하게 된다.
도 5는 본 발명의 일실시예에 따른 이상행동감지 시스템에서 이상행동을 판단하는 과정을 설명하기 위한 구성도이다.
도 5에 도시된 이상행동감지 시스템(1000)은 원격지에 설치된 감지장치(300), 스트리밍 서버(400), 딥러닝 서버(500) 및 웹서버(600)를 포함한다.
감지장치(300)는 앞서 실시예에서 설명한 비식별화 영상정보생성부(1100)를 포함한다. 감지장치는 모듈 또는 단말형태로 화장실과 같은 이상행동을 탐지할 수 있는 공간에 설치될 수 있으며, 비식별화된 영상정보 데이터를 획득하는 ToF 센서 또는 열화상 센서, 사용자의 움직임을 감지하는 움직임 센서, 사용자의 음성을 인식할 수 있는 마이크 등의 음성인식 수단, 경고음 등을 출력할 수 있는 스피커, 외부 서버와 통신을 할 수 있는 통신수단 등을 포함한다.
도시된 바와 같이, 감지장치(300)는 센서를 통해서 소정 영역 내에 들어오는 대상자를 감지하여 출입신호를 생성하고(S501), 출입신호가 생성된 경우 비식별화 영상정보 생성부에 전원을 인가하여 영상정보를 획득하여 비식별화 데이터를 생성한다(S503). 이후, 생성된 비식별화 데이터를 부호화 및 암호화 과정을 거쳐 스트리밍 서버(400)로 전송한다.
스트리밍 서버(400)는 감지장치(300)로부터 수신한 비식별화 데이터를 암호화/복호화 등의 소정의 전처리 수행하며(S507), 전처리된 데이터를 딥러닝 서버(500)로 전송한다(S509). 스트리밍 서버(400)는 다수의 감지장치(300)로부터 데이터가 전송되는 경우 딥러닝 서버(500)에서 원활하게 데이터를 처리할 수 있도록 Load Balancing 등을 수행할 수도 있다.
딥러닝 서버(500)는 도 2를 참조하여 설명한 CNN(1210), LSTM(1220), 분류계층(1230)을 포함하며, 스트리밍 서버(400)로부터 수신한 전처리된 비식별화 데이터를 딥러닝 기반으로 분석하여 이상행동 여부를 판단한다(S511). 앞서 설명한 바와 같이, 딥러닝 서버(500)는 비식별화 데이터를 기반으로 특징정보를 추출하고 행동예측정보를 출력하여 기 학습된 행동패턴과 비교를 통해 유사도를 산출함으로써 행동예측정보가 이상행동 유형에 속하는지 여부를 판단한다.
웹서버(600)는 딥러닝 서버(500)로부터 이상행동 판단 결과를 수신(S513)하여, 대상자의 행동이 이상행동임을 알리기 위한 경고신호를 생성한다(S515). 이후, 관리서버(100) 또는 단말(200)로 경고신호를 전달한다.
한편, 도 4를 참조하면, 본 발명의 일실시예에 따른 이상행동감지 시스템(1000)은 시스템의 상태 관리를 위해 시스템 관리부(1400)를 더 포함할 수 있다. 시스템관리부(1400)는 설정된 영역으로 들어오는 대상자를 감지하여 출입 신호를 생성하고, 출입 신호가 생성되는 경우, 비식별화 영상정보생성부(1100)에 전원을 인가하는 영상촬영 제어부(1410)를 포함한다. 평시에 비식별화 영상정보생성부(1100)는 전기 절약을 위해 꺼진 상태를 유지하다가, 누군가 화장실 내 화장실칸으로 들어오면, 영상촬영 제어부(1410)는 비식별화 영상정보 생성부(1100)에 전원을 인가한다. 영상촬영 제어부(1410)는 사람의 행동을 감지하는 다양한 장치가 될 수 있고, 대표적으로 적외선 센서, TOF 센서 등이 될 수 있다.
또한, 시스템관리부(1400)는 외부의 충격에 의해 발생되는 진동이나 기울어짐을 감지하여 도난 신호를 생성하여 관리 서버(100)로 도난알림 신호를 송신하는 도난 감지부(1420)를 포함한다. 도난 감지부(1420)는 3축 자이로 센서나 3축 가속도 센서를 포함하여, 외부의 충격을 감지할 수 있다. 이에 따라, 누군가 본 발명이 구현된 디바이스를 훔치려하거나 혹은 몰래 카메라를 설치하려는 범죄자가 본 발명을 끄려고 시도하는 경우, 도난 감지부(1420)는 즉각 이를 감지하여 관리 서버(100)로 도난알림 신호를 송신하여, 관리자는 본 발명의 도난이나 고의적으로 작동을 중단시키려는 행위에 대하여 즉각 대응할 수 있다.
본 발명에 따른 실시예(1000)는 화장실 내 화장실칸으로 들어오는 대상자를 실시간으로 감지하여 출입 신호를 생성하고, 생성되는 출입 신호를 카운팅하여 설정된 영역에 입장하는 대상자들을 기반으로 인원수값을 도출하는 출입인원수 산출부(1510)를 더 포함한다. 출입인원수 산출부(1510)는 사람의 행동을 감지하는 다양한 장치가 될 수 있고, 전술한 영상촬영 제어부(1410)와 같이 적외선 센서 또는 ToF 센서가 될 수 있다. 또한, 출입인원수 산출부(1510)는 영상촬영 제어부(1410)와 별개의 구성일 수 있고, 경우에 따라서는 출입인원수 산출부(1510)와 영상촬영 제어부(1410)는 동일한 구성으로서 일구성 다기능으로 구현될 수도 있다.
본 발명에 따른 실시예(1000)는 출입인원수 산출부(1510)로부터 입력받은 인원수값과 당일 날짜값을 이용하여 날짜별 인원수값을 산출하고, 날짜별 인원수값을 시간별로 구분하여 시간별 인원수값을 산출하는 통계산출부(1520)를 더 포함한다. 통계산출부(1520)는 날짜별 인원수값과 특정날짜의 시간별 인원수값을 통해 날짜와 시간에 기반한 출입인원 통계 데이터를 산출한다. 통계산출부(1520)는 출입인원 통계 데이터를 생성하여, 본 발명은 화장실을 출입하는 인원수를 날짜와 시간에 따라 정확하게 데이터화 한다. 출입인원 통계 데이터는 관리자의 화장실 관리에 참고될 수 있고, 나아가 지방자치단체와 같은 공공기관의 향후 관리계획을 위해 사용될 수도 있다.
또한, 본 발명에 따른 실시예(1000)는 출입인원수 산출부(1510)로부터 입력받은 인원수값을 이용하여 청소알림 신호를 송신하는 청소 알림부(1530)를 포함한다. 청소 알림부(1530)는 입력받은 인원수값이 기설정된 기준 인원수값을 초과하는 경우 관리 서버(100)로 청소알림 신호를 송신한다. 따라서, 본 발명은 화장실을 실제로 사용한 인원수에 기반하여 알맞은 시기에 관리자에게 청소필요 시기를 알릴 수 있다.
나아가, 본 발명에 따른 실시예(1000)는 출입인원수 산출부(1510)로 부터 입력받은 인원수값을 이용하여 소모품 교체신호를 관리 서버(100)로 송신하는 소모품 교체알림부(1540)를 포함한다. 소모품 교체알림부(1540)는 입력받은 인원수값과 기설정된 인원당 소모정도 비율값을 연산하여 예상소모값을 도출한다. 예상소모값이 기준소모값을 초과하는 경우, 소모품 교체알림부(1540)는 소모품 교체신호를 관리 서버 (100)로 송신한다. 예를 들어, 한 사람이 사용하는 화장지의 칸수가 7.8칸 이라면, 소모품 교체알림부(1540)는 입력받은 인원수값에 7.8을 곱하여 사용된 화장지 칸수 (예상소모값)를 도출한다. 만약, 도출된 실제 사용된 화장지수(예상소모값)가 화장 실칸에 비치된 화장지수(기준소모값)를 초과하는 경우, 소모품 교체알림부(1540)는 서버(100)로 화장지 교체신호를 송신한다.
본 발명에 따른 실시예(1000)는 이상행동 판별부(1200)에서 분류된 대상자의 행동유형정보를 사용자 단말(200)로 송신할 수 있고, 또한 청소 알림부(1530)와 소모품 교체알림부(1540)에서 생성된 청소알림 신호와 소모품 교체신호를 사용자 단말(200)로 송신할 수 있다. 사용자 단말(200)은 사용자가 인지할 수 있도록 제작된 사용자 인터페이스에 위험상태와 위생여부 나아가 소모품 부족여부를 표시한다. 또한, 사용자 단말(200)은 화장실 상태 표시뿐만 아니라 민원 요청부를 사용자에게 제공하여, 화장실 상태를 인지한 사용자는 관리자에게 현재 화장실에서 몰래 카메라가 설치되고 있다는 위험 상태나 소모품 부족으로 인한 추가 요청에 대한 민원을 제기할 수 있다. 또한, 본 발명에 따른 실시예(1000)는 관리 서버(100)로도 위와 동일한 방식으로 해당정보를 송신하여, 관리자는 화장실 상태를 인지하고 필요에 따른 조치를 취한 후 화장실 상태를 갱신할 수도 있다. 아울러, 관리 서버(100)는 본 발명에 따른 실시예(1000)로부터 수집된 화장실 정보를 상점 정보에 연계시킨 연계 정보를 사용자 단말(200)로 송신하고, 사용자는 사용자 단말(200)을 통해 현재위치 근처의 상점들에 대한 화장실 정보를 확인할 수도 있다.
본 발명에 따른 실시예(1000)는 비식별화한 영상정보 데이터가 이상 행동 판별부(1200)에서 이상행동 데이터로 구분되는 경우, 대상자가 인지할 수 있도록 경고신호를 외부로 발산하는 경고알림부(1600)를 포함한다. 경고알림부(1600)는 이상행동 판별부(1200)로부터 이상행동 데이터 신호를 수신받는 경우 설정된 경고신호를 발산한다. 경고신호는 다양한 형태일 수 있고, 예를 들어 경찰차 사이렌과 같은 경고음이나 붉은 점멸 등의 형태일 수 있다. 따라서, 본 발명은 관리자나 보안요원의 출동없이 즉각적으로 몰래 카메라 설치 행위를 중단시켜 사전에 범죄를 확실하게 예방할 수 있다.
또한, 본 발명에 따른 실시예(1000)는 외부의 위기를 인지하여 관리 서버(100)로 위기신호를 송신하는 위기알림부(1700)를 포함한다. 위기알림부(1700)는 화장실에서 폭행이나 강도와 같은 돌발상황 발생으로 외부상황을 인지하여 즉각 관리 서버(100)로 위기신호를 송신한다. 이를 위해, 위기알림부(1700)는 구조 신호들을 보유하는 DB(1710)와 외부에서 발생되는 음성을 수신하는 음성인식부(1720)를 포함한다. 여기서, 음성인식부(1720)는 피해자의 음성을 인식할 수 있는 장치로서, 예를 들어 마이크 등이 이에 해당될 수 있다. 또한, 위기알림부(1700)는 음성인식부(1720)를 통해 인식된 음성 신호를 DB(1710)와 비교하여 관리 서버(100)로 위기 신호를 송신하는 위기판단부(1730)를 포함한다. 위기판단부(1730)는 인식된 음성 신호가 DB에 저장된 구조 신호와 동일하거나 유사한 경우 관리 서버(100)로 위기 신호를 송신한다. 이에 따라, 본 발명은 돌발적으로 발생되는 강력 범죄에 대하여 초동적으로 대응하는 시큐리티 기능도 구현할 수 있다. 또는, 위기판단부(1730)는 본 발명의 학습모델에 의하여 학습된 구조 신호와 음성 신호를 비교하여, 외부로부터 인식된 음성 신호가 학습된 구조 신호와 동일하거나 유사한 경우 관리 서버(100)로 위기 신호를 송신한다. 학습된 구조 신호는 전술한 학습 모델과 유사한 방식으로 학습된다. 구체적으로, CNN(1210)은 입력받은 음성 신호로부터 특징정보를 추출하고, LSTM(1220)은 CNN(1210)으로부터 특징정보를 시계열적으로 입력받아 시간적 변화를 반영한 음성예측정보를 출력한다. 분류계층(1230)은 LSTM(1220)으로부터 입력받은 음성예측정보를 학습된 음성패턴들과 비교한다. 학습된 음성패턴들은 일반신호유형과 구조신호유형으로 나뉘고, 분류계층(1230)은 유사도를 기준으로 음성예측정보가 학습된 음성패턴들 중 어느 음성패턴에 더 유사한지 판단하고, 가장 유사하다고 판단된 음성패턴이 속하는 신호유형을 음성예측정보의 신호유형으로 판단한다.
[관리자 판별방법]
본 발명에 따른 실시예(1000)는 화장실칸에서 이루어지는 관리자의 행위와 범죄자의 행위가 유사한 경우를 대비하여 관리자 등록부, 관리자 비교부 그리고 관리자 승인부를 더 포함한다. 예를 들어, 휴지걸이에서 휴지를 교체하는 행위는 휴지걸이에 몰래 카메라를 설치하는 행위와 유사한 패턴 혹은 유사한 형태를 갖을 수 있다. 이러한 경우, 본 발명은 오차없이 이상행동을 감지하기 위해 관리자 등록부, 관리자 비교부 그리고 관리자 승인부를 포함한다.
관리자 등록부는 관리자의 온도 데이터 및/또는 형태를 저장한다. 사전에 비식별화 영상정보생성부(1100)는 관리자를 촬영하여 비식별화 영상정보 데이터를 생성하고, 이상행동 판별부의 CNN(1210)은 관리자에 대한 비식별화 영상정보 데이터로부터 특징정보를 추출하여 관리자 등록부로 송신한다. 이에 따라, 관리자 등록부는 관리자에 대한 특징정보를 저장한다.
관리자 비교부는 관리자 등록부에 저장된 관리자에 대한 특징정보와 실시간으로 감지된 대상자에 대한 특징정보를 비교한다. 양 특징정보가 동일하다면, 관리자 비교부는 관리자 인지신호를 관리자 승인부로 송신하고, 관리자 승인부는 본 발명의 위기알림부(1700)를 제외한 구성들 중 적어도 어느 하나에 중단신호를 송신하여 본 발명의 이상행동감지 기능을 중단시킨다. 이에 따라, 본 발명의 돌발적으로 생기는 범죄상황에 대하여 항시 시큐리티 기능을 유지할 수 있다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (8)

  1. 소정 영역내에서 대상자의 행동을 감지하여 비식별화된 영상정보 데이터를 생성하는 감지장치;
    상기 감지장치로부터 비식별화된 영상정보 데이터를 수신하여, 상기 비식별화된 영상정보 데이터로부터 특징정보를 추출하고, 상기 특징정보의 시간적 변화를 반영한 행동예측정보를 출력하고, 상기 행동예측정보를 기 학습된 행동패턴들과 비교하여 유사도를 산출하여, 상기 유사도를 기반으로 상기 행동예측정보가 정상행동유형과 이상행동유형 중 어디에 속하는지 판단하여 이상행동 여부를 판별하는 딥러닝 서버; 및
    상기 딥러닝 서버로부터 이상행동 판단 결과를 수신하여 상기 비식별화된 영상정보 데이터가 이상행동 유형에 속하는 것으로 판단되면, 상기 대상자의 행동이 이상행동임을 알려주는 경고 신호를 생성하여 관리 서버 또는 단말로 송신하는 웹서버를 포함하는
    딥러닝 기반의 이상행동감지 시스템.
  2. 제1항에 있어서,
    상기 감지장치는 ToF(Time of Flight) 센서를 포함하는 것을 특징으로 하는 딥러닝 기반의 이상행동감지 시스템.
  3. 제1항에 있어서, 상기 딥러닝 서버는
    입력받은 비식별화한 영상정보 데이터로부터 특징정보를 추출하는 CNN;
    상기 CNN으로부터 상기 특징정보를 시계열적으로 입력받아 시간적 변화를 반영한 행동예측정보를 출력하는 LSTM; 및
    상기 LSTM으로부터 입력받은 상기 행동예측정보를 학습된 행동패턴들과 비교하는 분류계층을 포함하며,
    상기 분류계층은 유사도를 기준으로 상기 행동예측정보가 학습된 행동패턴들 중 어느 행동패턴에 더 유사한지 판단하고, 가장 유사하다고 판단된 행동패턴이 속하는 행동유형을 행동예측정보의 행동유형으로 판단하는 것을 특징으로 하는 딥러닝 기반의 이상행동감지 시스템.
  4. 소정 영역내에서 피사체의 행동을 감지하여 행동패턴을 분석하는 시스템에 있어서,
    소정 영역을 감지하는 센서로부터 소정 영역 내의 피사체 행동이 감지된 비식별화 영상정보 데이터를 시계열적으로 입력받는 수신부;
    상기 수신된 비식별화 영상정보 데이터로부터 특징정보를 추출하고, 상기 특징정보의 시간적 변화를 반영한 행동예측정보를 출력하고, 상기 행동예측정보를 기 학습된 행동패턴들과 비교하여 유사도를 산출하여, 상기 유사도를 기반으로 상기 행동예측정보가 정상행동유형과 이상행동유형 중 어디에 속하는지 판단하여 이상행동 여부를 판별하는 이상행동 판별부; 및
    상기 이상행동 판별부에서 상기 비식별화된 영상정보 데이터가 이상행동 유형에 속하는 것으로 판단되면, 상기 피사체의 행동이 이상행동임을 알려주는 신호를 관리 서버 또는 단말로 송신하는 송신부를 포함하는
    딥러닝 기반의 이상행동감지 시스템.
  5. 제4항에 있어서,
    상기 센서는 ToF(Time of Flight) 또는 열화상 센서인 것을 특징으로 하는 딥러닝 기반의 이상행동감지 시스템.
  6. 제4항에 있어서, 상기 이상행동 판별부는
    입력받은 비식별화한 영상정보 데이터로부터 특징정보를 추출하는 CNN;
    상기 CNN으로부터 상기 특징정보를 시계열적으로 입력받아 시간적 변화를 반영한 행동예측정보를 출력하는 LSTM; 및
    상기 LSTM으로부터 입력받은 상기 행동예측정보를 학습된 행동패턴들과 비교하는 분류계층을 포함하며,
    상기 분류계층은 유사도를 기준으로 상기 행동예측정보가 학습된 행동패턴들 중 어느 행동패턴에 더 유사한지 판단하고, 가장 유사하다고 판단된 행동패턴이 속하는 행동유형을 행동예측정보의 행동유형으로 판단하는 것을 특징으로 하는 딥러닝 기반의 이상행동감지 시스템.
  7. 제4항에 있어서,
    상기 이상행동 판별부에서 상기 비식별화된 영상정보 데이터가 이상행동 데이터로 구분되는 경우, 대상자가 인지할 수 있도록 경고신호를 생성하는 경고알림부를 더 포함하는 딥러닝 기반의 이상행동감지 시스템; 및
  8. 제4항에 있어서,
    상기 이상행동 판별부에서 상기 비식별화된 영상정보 데이터가 이상행동 데이터로 구분되는 경우, 외부의 위기를 인지하여 관리 서버로 위기신호를 송신하는 위기알림부를 더 포함하는 딥러닝 기반의 이상행동감지 시스템.
PCT/KR2021/011583 2020-10-15 2021-08-30 비식별화 데이터를 이용한 딥러닝 기반 이상행동감지 시스템 및 방법 WO2022119080A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/265,364 US20240046702A1 (en) 2020-10-15 2021-08-30 Deep learning-based abnormal behavior detection system and method using anonymized data

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20200133301 2020-10-15
KR1020200168545A KR102306799B1 (ko) 2020-10-15 2020-12-04 비식별화 데이터를 이용하여 안심 화장실 내 몰래 카메라 설치행동을 감지하는 딥러닝 기반의 이상행동탐지 시스템
KR10-2020-0168545 2020-12-04

Publications (1)

Publication Number Publication Date
WO2022119080A1 true WO2022119080A1 (ko) 2022-06-09

Family

ID=78507706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011583 WO2022119080A1 (ko) 2020-10-15 2021-08-30 비식별화 데이터를 이용한 딥러닝 기반 이상행동감지 시스템 및 방법

Country Status (3)

Country Link
US (1) US20240046702A1 (ko)
KR (8) KR102306799B1 (ko)
WO (1) WO2022119080A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102596077B1 (ko) * 2022-08-30 2023-10-31 (주) 이론시스템 인공지능 기반 공공 화장실 및 우범 지역의 거동수상자 감지 및 판별 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110028703A (ko) * 2009-09-14 2011-03-22 주식회사코어벨 핵심어 인식 기술을 이용한 엘리베이터 스마트센서 노드 방범 시스템
KR101194167B1 (ko) * 2012-05-22 2012-10-24 (주)버들시스템 소규모 수도시설의 침입감지 및 영상녹화 시스템
KR101845077B1 (ko) * 2016-12-12 2018-04-03 김한주 윤곽 분석 서버의 동작 방법, 윤곽 분석 서버와 통신하는 온도 윤곽 센싱 장치, 및 윤곽 분석 서버를 포함하는 보안 시스템
KR102016253B1 (ko) * 2018-02-27 2019-08-29 한국철도공사 열차 화장실 냄새 검출 시스템 및 방법
KR20200103194A (ko) * 2019-02-18 2020-09-02 세종대학교산학협력단 영상 기반 비정상 상황 모니터링 방법 및 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100347800B1 (ko) * 2000-08-29 2002-08-07 주식회사 루덴스일렉트로닉스 데이터통신망을 이용한 보안메세징 시스템 및 그보안메세징 방법
JP2011139278A (ja) * 2009-12-28 2011-07-14 Hitachi Kokusai Electric Inc 監視システム
KR101889913B1 (ko) * 2016-12-23 2018-08-21 (주)유미테크 스마트 화장실 관리서버
KR101980551B1 (ko) * 2018-11-08 2019-05-21 주식회사 다누시스 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법
KR102145144B1 (ko) * 2020-02-27 2020-08-18 주식회사 에이아이넷 인공지능 기계학습 이상탐지 기반 승강기 안전사고 예방 및 유지보수를 위한 지능형 원격방재 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110028703A (ko) * 2009-09-14 2011-03-22 주식회사코어벨 핵심어 인식 기술을 이용한 엘리베이터 스마트센서 노드 방범 시스템
KR101194167B1 (ko) * 2012-05-22 2012-10-24 (주)버들시스템 소규모 수도시설의 침입감지 및 영상녹화 시스템
KR101845077B1 (ko) * 2016-12-12 2018-04-03 김한주 윤곽 분석 서버의 동작 방법, 윤곽 분석 서버와 통신하는 온도 윤곽 센싱 장치, 및 윤곽 분석 서버를 포함하는 보안 시스템
KR102016253B1 (ko) * 2018-02-27 2019-08-29 한국철도공사 열차 화장실 냄새 검출 시스템 및 방법
KR20200103194A (ko) * 2019-02-18 2020-09-02 세종대학교산학협력단 영상 기반 비정상 상황 모니터링 방법 및 시스템

Also Published As

Publication number Publication date
KR102455997B1 (ko) 2022-10-18
KR102590275B1 (ko) 2023-10-17
KR20220050030A (ko) 2022-04-22
KR102306799B1 (ko) 2021-11-05
KR20220050033A (ko) 2022-04-22
US20240046702A1 (en) 2024-02-08
KR20220050031A (ko) 2022-04-22
KR20220050032A (ko) 2022-04-22
KR102455996B1 (ko) 2022-10-18
KR102455998B1 (ko) 2022-10-18
KR20220127196A (ko) 2022-09-19
KR20230147579A (ko) 2023-10-23
KR20230028349A (ko) 2023-02-28
KR102455999B1 (ko) 2022-10-18

Similar Documents

Publication Publication Date Title
US10223888B2 (en) Personnel authentication and tracking system
KR101841882B1 (ko) 무인방범 시스템 및 방법
KR102356666B1 (ko) 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법 및 장치
WO2023022429A1 (ko) 딥러닝 기반 비식별화 데이터 분석을 통한 이상행동감지 시스템
WO2022119080A1 (ko) 비식별화 데이터를 이용한 딥러닝 기반 이상행동감지 시스템 및 방법
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
WO2017012266A1 (zh) 服刑犯人使用的防殴打自动报警和监控***及方法
KR101370982B1 (ko) 무선태그를 이용한 이동감지장치 및 이를 구비한 보안장치와 이를 이용한 이동감지방법
KR102488741B1 (ko) 현장 상황 식별성이 향상된 비상벨 시스템
KR20210068243A (ko) 인공지능 기반 승강기 위험상황 자동 예측판단시스템
WO2022102839A1 (ko) 음향 기반의 비상벨 관제 시스템 및 그 방법
KR20230024770A (ko) 인공지능 기반으로 낙상 사고를 판단하고, 보호자 단말로 낙상 발생 알림을 제공하는 장치, 방법
JP2011227675A (ja) 通報装置
Thomas et al. Safepass-An Automatic Contactless Entry Control System
KR102641750B1 (ko) 몰래 카메라 탐지 기능을 갖는 비상벨 시스템
KR102635351B1 (ko) 범죄 예방 시스템
KR20020066920A (ko) 음성경비시스템
CN110288790A (zh) 一种前台电子机器人安防监管***
KR102614695B1 (ko) 스마트 비상벨단말기 및 이를 이용한 경보 시스템
Sittalatchoumy et al. Transfer Learning based Video Surveillance for Abnormal Activity Detection
KR20170006862A (ko) 승강기 보안시스템
KR101378856B1 (ko) 안전 관리 방법 및 그 장치
KR20220064131A (ko) 인공지능 네트워크를 이용한 범죄 예방 시스템 및 그 방법
KR20090002458A (ko) 탑승 정보 제공 장치 및 상기 장치를 수행하는 방법
KR101023785B1 (ko) 범죄 사전예방 및 검거를 위한 지문인식 초인종 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900768

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18265364

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21900768

Country of ref document: EP

Kind code of ref document: A1