KR101979375B1 - Method of predicting object behavior of surveillance video - Google Patents
Method of predicting object behavior of surveillance video Download PDFInfo
- Publication number
- KR101979375B1 KR101979375B1 KR1020180021992A KR20180021992A KR101979375B1 KR 101979375 B1 KR101979375 B1 KR 101979375B1 KR 1020180021992 A KR1020180021992 A KR 1020180021992A KR 20180021992 A KR20180021992 A KR 20180021992A KR 101979375 B1 KR101979375 B1 KR 101979375B1
- Authority
- KR
- South Korea
- Prior art keywords
- behavior
- metadata
- appearance
- image
- learning
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G06K9/00771—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G06K2017/0045—
Abstract
Description
본 발명은 객체 행동 예측 기술에 관한 것으로, 보다 상세하게는, 객체 메타데이터의 학습결과를 활용하여 객체의 향후행동을 예측함으로써 학습의 효율성을 개선할 수 있는 감시 영상의 객체 행동 예측 방법에 관한 관한 것이다.The present invention relates to an object behavior prediction technique, and more particularly, to a method for predicting object behavior of a surveillance image that can improve learning efficiency by predicting future behavior of an object by using learning results of object metadata. will be.
영상의 객체 분석 기술은 감시 카메라를 이용하여 촬영된 영상데이터에서 객체를 인식하고 객체를 분석하여 영상 분석 과정에 활용할 수 있다. 종래의 영상의 객체 분석 기술은 영상에 있는 실제의 객체 중심으로 객체를 분석하여 행동패턴 등을 분석하고 분석 결과를 바탕으로 학습을 수행하기 때문에 시간이 오래 소요되고 효율성이 저하되는 단점이 있다.The object analysis technology of an image may recognize an object from image data photographed using a surveillance camera, analyze the object, and use the image analysis process. The conventional object analysis technique of image has a disadvantage in that it takes a long time and its efficiency decreases because it analyzes the object based on the actual object in the image, analyzes behavior patterns, and performs the learning based on the analysis result.
한국등록특허 제10-1795798호(2017.11.02)는 지능형 영상감시 시스템에 관한 것으로, 각각 설정된 구역을 촬영하는 복수의 카메라와, 상기 복수의 카메라의 촬영영상을 수신받으며, 수신된 촬영영상을 분석하여 객체 검출 및 영역 검출 중 어느 하나 이상의 검출동작을 수행하는 지능형 영상 처리장치와, 상기 지능형 영상 처리장치에 접속되어, 상기 지능형 영상 처리장치에서 분석된 검출 데이터 및 상기 촬영영상을 수신받는 모니터링 장치를 포함한다.Korean Patent Registration No. 10-1795798 (Nov. 02, 2017) relates to an intelligent video surveillance system, which receives a plurality of cameras each photographing a set area, and receiving images of the plurality of cameras, and analyzes the received images. An intelligent image processing apparatus for performing any one or more detection operations of object detection and region detection, and a monitoring apparatus connected to the intelligent image processing apparatus and receiving detection data and the captured image analyzed by the intelligent image processing apparatus. Include.
한국공개특허 제10-2015-0112712호(2015.10.07)는 객체 행동패턴 CCTV 영상 분석서버에 관한 것으로, 마이크로프로세서로 구성된 주제어부, 영상분석 API, 객체인식모듈, 송수신부로 구성된 객체 행동패턴 CCTV 영상 분석서버에 있어서, 상기 영상분석 API는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 주제어부 장기저장 메모리에 원본 영상데이터를 저장 및 객체인식모듈 해마신경망 메모리에 저장하며; 상기 송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 주제어부로 전송하며; 상기 주제어부는 객체인식모듈에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송하며; 상기 객체인식모듈은 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상으로 분할하여 X-Y좌표 값과 시간 데이터를 매칭시켜 디지털 줌 확대하여 분할영상을 저장하며; 상기 객체인식모듈은 각 각의 디지털 줌 확대된 분할영상 및 분할영상에 대해 객체인식 프로그램에 의해 객체인식 후 인식된 객체를 분류한 객체분류 영상을 주제어부로 전송하며; 상기 주제어부는 상기 객체분류 영상 및 상기 분할영상의 행동패턴을 분류한 행동패턴 영상에 대하여 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 한다.Korean Patent Laid-Open No. 10-2015-0112712 (2015.10.07) relates to an object behavior pattern CCTV image analysis server, and includes an object behavior pattern CCTV image composed of a microprocessor, an image analysis API, an object recognition module, and a transceiver. In the analysis server, the image analysis API receives the original image data captured by the digital surveillance camera and stores the original image data in the long-term storage memory of the main fisherman and the object recognition module in the hippocampal neural network memory; The transmission and reception unit measures the transmission traffic with the integrated crime center control server connected through a network and transmits to the main control unit; The main control unit transmits the low-capacity video compression file obtained by encrypting and compressing the original video data received by the object recognition module to the low-quality low-capacity data below the traffic measured by the transmission / reception unit to the integrated security center center control server through a network; The object recognition module stores the divided image by dividing the original image data received in the hippocampal neural network memory into one or more on the X-axis and Y-axis so as to match the X-Y coordinate value and the time data to digitally zoom in and store the divided image; The object recognition module transmits an object classification image, which classifies the object recognized after object recognition by the object recognition program, to the main control unit for each of the digital zoom-expanded divided image and the divided image; The main control part encrypts and compresses a risk behavior priority feature value by comparing the object pattern image and the behavior pattern image classifying the behavior pattern of the segmented image with the risk object and behavior pattern stored in the long-term storage memory. The event compression file is transmitted to the integrated crime center control server.
본 발명의 일 실시예는 객체 메타데이터의 학습결과를 활용하여 객체의 향후행동을 예측함으로써 학습의 효율성을 개선할 수 있는 컴퓨터 수행 가능한 감시 영상의 객체 행동 예측 방법을 제공하고자 한다.An embodiment of the present invention is to provide a method for predicting object behavior of a computer-implemented surveillance video that can improve learning efficiency by predicting future behavior of an object by using learning results of object metadata.
본 발명의 일 실시예는 질의 기반의 객체상태와 움직임 패턴 기반의 객체행위를 기초로 생성된 객체 메타데이터를 통해 보다 효율적으로 객체의 행동유형을 분류하고 향후행동을 예측할 수 있는 컴퓨터 수행 가능한 감시 영상의 객체 행동 예측 방법을 제공하고자 한다.An embodiment of the present invention provides a computer-implemented surveillance image that can classify object behavior types more efficiently and predict future behavior through object metadata generated based on query-based object state and movement pattern-based object behavior. To provide an object behavior prediction method of.
실시예들 중에서, 컴퓨터 수행 가능한 감시 영상의 객체 행동 예측 방법은 (a) 감시 영상에서 객체를 인식하는 단계, (b) 상기 객체의 사전 설정된 질의를 통해 객체상태를 결정하고 상기 객체의 움직임 패턴을 통해 객체행위를 결정하여 상기 객체를 분석하는 단계, (c) 상기 객체상태와 상기 객체행위를 기초로 객체 메타데이터를 생성하는 단계 및 (d) 기존 객체 메타데이터의 학습결과를 활용하여 상기 객체의 행동유형을 분류하고 상기 객체의 향후행동을 예측하는 단계를 포함한다.Among the embodiments, the method of predicting the object behavior of a computer-implemented surveillance image includes (a) recognizing an object in the surveillance image, (b) determining an object state through a preset query of the object, and determining a motion pattern of the object. Determining the object behavior through analyzing the object; (c) generating object metadata based on the object state and the object behavior; and (d) using the learning result of the existing object metadata to determine the object's behavior. Classifying the type of behavior and predicting future behavior of the object.
상기 (b) 단계는 상기 감시 영상에서 상기 객체의 주요 출현 여부를 기초로 상기 객체의 분석구간을 결정하는 단계를 포함할 수 있다.The step (b) may include determining an analysis section of the object based on whether the main appearance of the object in the surveillance image.
상기 (b) 단계는 상기 객체의 출현 영역범위 및 상기 객체의 출현 시간구간을 기초로 상기 객체의 주요 출현 여부를 결정하는 단계를 더 포함할 수 있다.The step (b) may further include determining whether the main appearance of the object is based on the appearance region range of the object and the appearance time period of the object.
상기 (c) 단계는 상기 객체상태를 상기 질의에 관한 답변에 따라 제1 문형으로 결정하고 상기 객체행위를 상기 움직임 패턴에 따라 제2 문형으로 결정하는 단계를 포함할 수 있다.The step (c) may include determining the object state as the first sentence type according to the answer to the query and determining the object behavior as the second sentence type according to the movement pattern.
상기 (c) 단계는 상기 제1 및 제2 문형들을 통해 상기 객체 메타데이터를 생성하고 상기 객체 메타데이터로부터 영상검색태그를 생성하는 단계를 더 포함할 수 있다.The step (c) may further include generating the object metadata through the first and second sentence types and generating an image search tag from the object metadata.
상기 (c) 단계는 상기 영상검색태그를 상기 객체의 분석구간에 해당하는 영상의 시작 시점과 연관시키는 단계를 더 포함할 수 있다.The step (c) may further include associating the image search tag with a start time of an image corresponding to the analysis section of the object.
상기 (d) 단계는 상기 인식된 객체를 기초로 가상학습 데이터를 상기 기존 객체 메타데이터로서 생성하여 딥러닝 기반의 신경망 학습을 수행하는 단계를 포함할 수 있다.Step (d) may include performing deep learning based neural network learning by generating virtual learning data as the existing object metadata based on the recognized object.
상기 (d) 단계는 상기 객체의 향후행동이 기 지정된 특정 시나리오에 정의된 행동과 동일한 경우에는 상기 객체의 행동유형과 향후행동을 사용자 단말에 제공하는 단계를 포함할 수 있다.The step (d) may include providing a behavior type and future behavior of the object to the user terminal when the future behavior of the object is the same as the behavior defined in a predetermined specific scenario.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다 거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique can have the following effects. However, since a specific embodiment does not mean to include all of the following effects or only the following effects, it should not be understood that the scope of the disclosed technology is limited by this.
본 발명의 일 실시예에 따른 컴퓨터 수행 가능한 감시 영상의 객체 행동 예측 방법은 객체 메타데이터의 학습결과를 활용하여 객체의 향후행동을 예측함으로써 학습의 효율성을 개선할 수 있다.The object behavior prediction method of a computer-implemented surveillance image according to an embodiment of the present invention may improve learning efficiency by predicting future behavior of an object by using a learning result of object metadata.
본 발명의 일 실시예에 따른 컴퓨터 수행 가능한 감시 영상의 객체 행동 예측 방법은 질의 기반의 객체상태와 움직임 패턴 기반의 객체행위를 기초로 생성된 객체 메타데이터를 통해 보다 효율적으로 객체의 행동유형을 분류하고 향후행동을 예측할 수 있다.According to an embodiment of the present invention, an object behavior prediction method of a computer-implemented surveillance image classifies an object's behavior type more efficiently through object metadata generated based on a query-based object state and a movement pattern-based object behavior. And predict future behavior.
도 1은 본 발명의 일 실시예에 따른 객체 행동 예측 시스템을 나타내는 도면이다.
도 2는 도 1에 있는 객체 행동 예측 장치의 구성을 나타내는 도면이다.
도 3은 도 2에 있는 프로세서의 기능 요소를 나타내는 블록도이다.
도 4는 도 3에 있는 프로세서가 객체 행동 예측 프로시저를 실행하는 과정을 설명하기 위한 흐름도이다.1 is a diagram illustrating an object behavior prediction system according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of an object behavior prediction apparatus of FIG. 1.
3 is a block diagram illustrating functional elements of a processor in FIG. 2.
4 is a flowchart illustrating a process of executing an object behavior prediction procedure by the processor of FIG. 3.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다 거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as limited by the embodiments described in the text. That is, since the embodiments may be variously modified and may have various forms, the scope of the present invention should be understood to include equivalents capable of realizing the technical idea. In addition, the objects or effects presented in the present invention does not mean that a specific embodiment should include all or only such effects, the scope of the present invention should not be understood as being limited thereby.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are intended to distinguish one component from another component, and the scope of rights should not be limited by these terms. For example, the first component may be named a second component, and similarly, the second component may also be named a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" to another component, it should be understood that there may be other components in between, although it may be directly connected to the other component. On the other hand, when a component is referred to as being "directly connected" to another component, it should be understood that there is no other component in between. On the other hand, other expressions describing the relationship between the components, such as "between" and "immediately between" or "neighboring to" and "directly neighboring", should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "comprise" or "have" refer to a feature, number, step, operation, component, part or implementation thereof. It is to be understood that the combination is intended to be present and does not exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, an identification code (e.g., a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step clearly indicates a specific order in context. Unless stated otherwise, they may occur out of the order noted. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all kinds of recording devices in which data can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art unless otherwise defined. Generally, the terms defined in the dictionary used are to be interpreted to coincide with the meanings in the context of the related art, and should not be interpreted as having ideal or excessively formal meanings unless clearly defined in the present application.
도 1은 본 발명의 일 실시예에 따른 객체 행동 예측 시스템을 나타내는 도면이다.1 is a diagram illustrating an object behavior prediction system according to an embodiment of the present invention.
도 1을 참조하면, 객체 행동 예측 시스템(100)은 객체 행동 예측 장치(110), 비디오 감시 장치(120) 및 사용자 단말(130)을 포함할 수 있다.Referring to FIG. 1, the object
객체 행동 예측 장치(110)는 비디오 감시 장치(120) 및 사용자 단말(130)와 네트워크를 통해 연결될 수 있는 컴퓨팅 장치에 해당한다. 일 실시예에서, 객체 행동 예측 장치(110)는 비디오 감시 장치(120)로부터 수신된 감시 영상을 기초로 객체의 향후행동 예측을 수행할 수 있다.The object
비디오 감시 장치(120)는 객체 행동 예측 장치(110)와 네트워크를 통해 연결되어 객체 행동 예측 장치(110)에 감시 영상을 제공할 수 있는 컴퓨팅 장치에 해당한다. 일 실시예에서, 비디오 감시 장치(120)는 감시 카메라(125)와 유무선 통신망을 통하거나 전기적으로 연결되어 감시 카메라(125)로부터 영상을 수신할 수 있고, 수신된 영상을 기초로 비디오 감시를 수행하여 영상 중 적어도 일부를 저장할 수 있으며, 수신된 영상 또는 저장된 영상을 감시 영상으로서 객체 행동 예측 장치(110)에 전송할 수 있다. 일 실시예에서, 비디오 감시 장치(120)는 수신된 영상을 분석하여 객체의 움직임을 검출할 수 있고, 객체의 움직임이 검출된 영상을 선별적으로 저장하고 감시 영상으로서 객체 행동 예측 장치(110)에 전송할 수 있다.The
일 실시예에서, 비디오 감시 장치(120)는 DVR(Digital Video Recorder)로 구현될 수 있고, 디스크에 영상을 저장하거나 저장된 영상을 재생할 수 있는 분리형(stand-alone) 셋톱 박스나 PC에서 이용할 수 있는 소프트웨어를 포함할 수 있다. 일 실시예에서, 감시 카메라(125)는 아날로그 CCTV(closed circuit television) 카메라와 UHD(Ultra High Definition) CCTV 중 적어도 하나를 통해 구현될 수 있으나, 이에 제한되지는 않는다.In one embodiment, the
사용자 단말(130)은 객체 행동 예측 장치(110)와 네트워크를 통해 연결될 수 있는 컴퓨팅 장치에 해당하고, 예를 들어, 데스크톱, 노트북, 태블릿 PC 또는 스마트폰으로 구현될 수 있다. 일 실시예에서, 사용자 단말(130)은 객체 행동 예측 에이전트를 통해 객체 행동 예측 장치(110)와 연결될 수 있고, 여기에서, 객체 행동 예측 에이전트는 사용자 단말(130)에 설치되면 사용자 단말(130)의 승인 하에 사용자 단말(130)과 객체 행동 예측 장치(110)가 상호 연동되도록 할 수 있는 소프트웨어인 에이전트 프로그램에 해당하며, 예를 들어, 모바일 어플리케이션으로 구현될 수 있다.The
일 실시예에서, 객체 행동 예측 장치(110)와 비디오 감시 장치(120)는 상호 독립적인 컴퓨팅 장치로서 구현될 수 있으나, 다른 일 실시예에서, 물리적으로 또는 기능적으로 통합된 컴퓨팅 장치로 구현될 수도 있다. 이하, 편의상, 전자의 실시예를 참조하여 설명하도록 한다.In one embodiment, the object
도 2는 도 1에 있는 객체 행동 예측 장치의 구성을 나타내는 도면이다.FIG. 2 is a diagram illustrating a configuration of an object behavior prediction apparatus of FIG. 1.
도 2를 참조하면, 객체 행동 예측 장치(110)는 프로세서(210), 메모리(220), 사용자 입출력부(230), 네트워크 입출력부(240) 및 객체 데이터베이스(250)를 포함할 수 있다.Referring to FIG. 2, the object
프로세서(210)는 도 4에 있는 객체 행동 예측 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(220)를 관리할 수 있으며, 메모리(220)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 객체 행동 예측 장치(110)의 동작 전반을 제어할 수 있고, 메모리(220), 사용자 입출력부(230), 네트워크 입출력부(240) 및 객체 데이터베이스(250)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있으며, 객체 행동 예측 장치(110)의 CPU(Central Processing Unit)로 구현될 수 있다.The
메모리(220)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 객체 행동 예측 장치(110)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 이처럼, 메모리(220)는 휘발성 및 비휘발성 메모리로 구현될 수 있고, 만일 비휘발성 메모리로 구현되면 하이퍼링크를 통해 연결되도록 구현될 수 있다.The
사용자 입출력부(230)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 마우스, 트랙볼, 터치 패드, 그래픽 태블릿, 스캐너, 터치 스크린, 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(230)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 객체 행동 예측 장치(110)는 서버로서 수행될 수 있다.The user input /
네트워크 입출력부(240)은 네트워크를 통해 사용자 단말(130)과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network) 통신을 위한 어댑터를 포함할 수 있다.The network input /
객체 데이터베이스(250)는 기존 객체 메타데이터의 학습결과를 데이터베이스로서 포함할 수 있고, 일 실시예에서, 객체종류 별로 사전 설정된 질의 및 객체 행동 예측 모델을 포함할 수 있다. 일 실시예에서, 프로세서(210)는 객체 데이터베이스(250)를 기반으로 객체 행동 예측 프로시저를 실행하고 딥러닝 기반의 신경망 학습을 수행할 수 있고, 주기 또는 비주기적으로 빅데이터 분석을 수행하여 객체 데이터베이스(250)를 갱신할 수 있다.The
도 3은 도 2에 있는 프로세서의 기능 요소를 나타내는 블록도이다.3 is a block diagram illustrating functional elements of a processor in FIG. 2.
도 3을 참조하면, 프로세서(210)는 객체 인식부(310), 객체 분석부(320), 객체 메타데이터 생성부(330), 객체 향후행동 예측부(340) 및 제어부(350)를 포함할 수 있다.Referring to FIG. 3, the
객체 인식부(310)는 감시 영상에서 객체를 인식한다. 일 실시예에서, 객체 인식부(310)는 비디오 감시 장치(120)로부터 감시 영상이 제공되면 해당 감시 영상을 분석하여 감시 영상에서 적어도 하나의 객체의 유무를 검출할 수 있고, 그렇다면, 검출된 적어도 하나의 객체 각각에 관한 형상 정보를 분석하여 각각의 객체종류(예를 들어, 사람이나 차량)를 결정할 수 있다.The
일 실시예에서, 객체 인식부(310)는 이전 영상에서의 움직임 여부를 기초로 또는 감시 영상에서 주변 영역과 유사 색상에 해당되는지 여부를 기초로 감시 영상을 각각이 적어도 기준 값 이상의 영역 크기를 가지는 N (N은 자연수) 개의 분할 영역들로 분할할 수 있고, 분할 영역들 각각을 분석하여 적어도 하나의 객체를 인식할 수 있다. 일 실시예에서, 객체 인식부(310)는 감시 영상의 PTZ(Pan-Tilt-Zoom) 정보를 기초로 N 개를 특정 값으로 설정할 수 있다.In one embodiment, the
객체 분석부(320)는 객체의 사전 설정된 질의를 통해 객체상태를 결정하고 객체의 움직임 패턴을 통해 객체행위를 결정하여 객체를 분석한다. 일 실시예에서, 객체 분석부(320)는 감시 영상에서 인식된 객체를 기 학습된 객체 행동 예측 모델을 기초로 분석하여 객체상태 및 객체행위를 결정할 수 있다.The
객체 분석부(320)는 객체 데이터베이스(250)를 검색하여 감시 영상에서 인식된 객체의 객체종류에 설정된 질의를 가져와 해당 질의를 기초로 해당 객체에 관한 질의처리를 수행하여 해당 객체의 객체상태를 결정할 수 있고, 예를 들어, 인식된 객체의 객체종류가 사람이면 사람과 매칭되어 설정된 복수의 질의 데이터들을 기초로 객체를 분석하여 [사람이 가방을 착용]을 해당 객체의 객체상태로 결정할 수 있다. 일 실시예에서, 질의는 설계자 또는 사용자에 의해 객체종류 별로 상이하게 설정되어 객체 데이터베이스(250)에 저장 및 관리될 수 있고, 전체 형상에 관한 제1 질의(예를 들어, 인식되는 객체의 전체 형상이 기 저장된 적어도 하나의 전체 형상 중 하나와 매칭되는지에 관한 질의), 세부 형상에 관한 제2 질의(예를 들어, 인식되는 객체의 특정 부분(예를 들어, 얼굴)의 세부 형상이 기 저장된 적어도 하나의 세부 형상 중 하나와 매칭되는지에 관한 질의) 및 객체 특성에 관한 제3 질의(예를 들어, 인식되는 객체가 해당 객체종류와 연관된 객체 특성에 부합되는지에 관한 질의) 중 적어도 하나를 포함할 수 있다.The
객체 분석부(320)는 객체 데이터베이스(250)에 기 저장되고 행위분석 알고리즘을 포함하는 객체 행동 예측 모델을 기초로 감시 영상에서 인식된 객체를 분석하여 해당 객체의 객체종류와 매칭되는 객체행위를 결정할 수 있고, 예를 들어, 인식된 객체의 객체종류가 사람이면 일련의 감시 영상에서 연속되는 객체의 움직임 패턴을 기초로 객체를 분석하여 [사람이 오른쪽으로 이동 중]을 해당 객체의 객체행위로 결정할 수 있다.The
객체 분석부(320)는 감시 영상에서 객체의 주요 출현 여부를 기초로 객체의 분석구간을 결정할 수 있다. 일 실시예에서, 객체 분석부(320)는 객체의 출현 영역범위 및 객체의 출현 시간구간을 기초로 객체의 주요 출현 여부를 결정할 수 있다. 보다 구체적으로, 객체 분석부(320)는 가장 최근에 특정 시간구간(예를 들어, 1분) 동안 수신된 일련의 감시 영상에서 해당 객체가 인식된 출현 시간구간(예를 들어, 30초) 및 전체 화면범위 대비하여 차지하는 출현 영역범위의 산술연산 결과(예를 들어, 평균 또는 최대-최소)를 검출하여 주요 출현 여부를 결정할 수 있고, 주요 출연 여부에 따라 해당 객체의 분석구간을 주요 출연 대상과 연관된 제1 분석구간(예를 들어, 1분) 또는 비-주요 출연 대상과 연관된 제2 분석구간(예를 들어, 30초)으로 설정할 수 있다. 여기에서, 특정 시간구간 및 제1 내지 제2 분석구간은 상호 동일하거나 상이한 값으로 설계자 또는 사용자에 의해 각각 설정될 수 있다.The
일 실시예에서, 객체 분석부(320)는 검출된 출현 영역범위와 기준 영역범위 간의 비교 및 검출된 출현 시간구간과 기준 시간구간 간의 비교를 통해 해당 객체의 주요 출현 여부를 결정할 수 있고, 예를 들어, 하기의 수학식 1을 기초로 주요 출현 지수(r)를 산출하여 기 설정된 기준 출현 지수 r0 보다 큰지 여부에 따라 해당 객체의 주요 출현 여부를 결정할 수 있다. 여기에서, 기준 영역범위, 기준 시간구간 및 기준 출현 지수 각각은 설계자 또는 사용자에 의해 각각 설정될 수 있다.In one embodiment, the
[수학식 1][Equation 1]
(여기에서, r은 주요 출현 지수를 의미하고, t는 출현 시간구간을 의미하며, t0는 기준 시간구간을 의미하고, a는 출현 영역범위를 나타내며, a0는 기준 영역범위를 의미하고, m은 1 이상 3 이하의 자연수로서 값이 클수록 해당 객체의 움직임이 큰 것을 의미함(예를 들어, m=1: 움직임 없음, m=2: 정적인 움직임, m=3: 동적인 움직임)(Where r denotes a major occurrence index, t denotes an appearance time interval, t 0 denotes a reference time interval, a denotes an appearance region range, a 0 denotes a reference region range, m is a natural number between 1 and 3, the larger the value, the larger the movement of the object (for example, m = 1: no movement, m = 2: static movement, m = 3: dynamic movement)
객체 메타데이터 생성부(330)는 객체상태와 객체행위를 기초로 객체 메타데이터를 생성한다. 일 실시예에서, 객체 메타데이터 생성부(330)는 객체상태를 질의에 관한 답변에 따라 제1 문형으로 결정하고 객체행위를 움직임 패턴에 따라 제2 문형으로 결정할 수 있고, 제1 및 제2 문형들을 통해 객체 메타데이터를 생성할 수 있으며, 해당 객체의 객체종류를 해당 객체 메타데이터에 별도의 문형으로 포함시킬 수 있다. 예를 들어, 객체 메타데이터 생성부(330)는 객체 분석부(320)에 의해 결정된 해당 객체의 객체종류 [사람]을 제0 문형으로, 객체상태의 키워드 [가방을 착용]을 제1 문형으로 결정하고 해당 객체의 객체행위의 키워드 [오른쪽으로 이동]을 제2 문형으로 결정할 수 있고, 결정된 제0 내지 제2 문형을 포함하는 객체 메타데이터를 생성할 수 있다.The
일 실시예에서, 객체 메타데이터 생성부(330)는 객체 분석부(320)에 의해 분석된 해당 객체의 주요 출현 여부 및 주요 출연되는 것으로 결정된 시간 구간을 기초로 제3 문형을 결정하여 해당 객체 메타데이터에 포함시킬 수 있다. 예를 들어, 객체 메타데이터 생성부(330)는 해당 객체가 감시 영상의 전체 시간구간을 기준으로 [시간구간 A ~ B] 에서 주요 출현된 것으로 분석되었다면 [주요 출연, 시간구간 A ~ B]를 제3 문형으로서 결정할 수 있다.In one embodiment, the object
객체 메타데이터 생성부(330)는 객체 메타데이터로부터 영상검색태그를 생성할수 있다. 일 실시예에서, 객체 메타데이터 생성부(330)는 객체 메타데이터에 있는 객체종류 및 제1 내지 제3 문형 중 적어도 하나를 기초로 적어도 하나의 태그로 구성된 영상검색태그를 생성할수 있고, 예를 들어, 해당 객체의 객체종류 [사람], 제1 문형의 키워드 [가방-착용], 제2 문형의 키워드 [오른쪽-이동] 및 제3 문형의 키워드 [주요출연, 시간구간 A~B] 각각에 해당되는 텍스트를 태그로서 추출하여 해당 태그들로 구성된 영상검색태그를 생성할수 있다.The
객체 메타데이터 생성부(330)는 영상검색태그를 해당 객체의 분석구간에 해당하는 영상의 시작 시점과 연관시킬 수 있다. 일 실시예에서, 객체 메타데이터 생성부(330)는 객체 메타데이터를 통해 생성된 영상검색태그를 감시 영상의 시작 시점에 인덱싱할 수 있고, 감시 영상에 관하여 사용자에 의해 영상검색태그에 있는 특정 태그가 검색되면 해당 검색된 특정 태그와 결합된 영상의 특정 시점을 검출하여 해당 특정 시점부터 영상이 재생되도록 할 수 있다.The
일 실시예에서, 객체 메타데이터 생성부(330)는 생성된 영상검색태그를 영상의 시작 시점에 연관시켜 해당 영상의 재생이 시작되면 해당 시작 시점부터 이후에 연속되는 시간구간에 동기화되도록 해당 영상검색태그를 세팅할 수 있다.In one embodiment, the
객체 향후행동 예측부(340)는 기존 객체 메타데이터의 학습결과를 활용하여 객체의 행동유형을 분류하고 객체의 향후행동을 예측한다. 일 실시예에서, 객체 향후행동 예측부(340)는 기 저장된 학습 알고리즘에 따라 기존 객체 메타데이터를 기초로 기 학습된 객체 행동 예측 모델을 객체 데이터베이스(250)에 저장할 수 있고, 저장된 객체 행동 예측 모델에 생성된 객체 메타데이터를 적용하여 해당 객체의 행동유형을 분류하고 향후행동을 예측할 수 있다. 예를 들어, 객체 향후행동 예측부(340)는 객체 행동 예측 모델을 기초로 감시 영상의 분석구간에서 ([사람], [가방을 착용], [오른쪽으로 이동])의 객체 메타데이터로 정의되는 제1 객체에 관한 행동유형을 분석하여 해당 객체의 행동유형을 [주차장 이동]으로 분류할 수 있고, 분류된 행동유형과 해당 객체 메타데이터를 기초로 해당 객체의 향후행동 [차로 이동하여 탑승]를 예측할 수 있다.The object future
객체 향후행동 예측부(340)는 예측된 객체의 향후행동이 기 지정된 특정 시나리오에 정의된 행동과 동일한 경우에는 해당 객체의 행동유형과 향후행동을 사용자 단말(130)에 제공할 수 있다. 일 실시예에서, 객체 향후행동 예측부(340)는 객체 행동 예측 모델에 저장된 복수의 시나리오들 중에서 예측된 객체의 향후행동과 동일한 행동이 정의된 적어도 하나의 특정 시나리오를 검출할 수 있고, 검출된 적어도 하나의 특정 시나리오 각각에 관해 해당 객체의 객체 메타데이터 및 분류된 행동유형과의 매칭도를 산출하여 기준 매칭도 이상으로 확인되면 해당 감시 영상과 연관된 사용자 단말(130)에 해당 객체의 행동유형과 향후행동의 제공을 결정할 수 있다.The object future
일 실시예에서, 객체 향후행동 예측부(340)는 검출된 적어도 하나의 특정 시나리오 각각에 관하여 예측된 향후행동과 매칭되는 시나리오 상의 행동이 해당 시나리오에 정의된 일련의 위험 단계들 중 어느 단계에 해당하는지를 검출하여 예측된 향후행동의 위험 단계가 결정할 수 있다. 일 실시예에서, 객체 향후행동 예측부(340)는 결정된 향후행동의 위험 단계가 기준 위험 단계 이상이면 사운드 모듈(미도시됨)을 통해 경고 컨텐츠를 출력하거나 비디오 감시 장치(120)에 해당 객체의 행동유형, 향후행동 및 위험 경보를 권장하는 경고 컨텐츠를 제공할 수 있다.In one embodiment, the object
일 실시예에서, 객체 향후행동 예측부(340)는 산출된 매칭도가 기준 매칭도 이상이고 예측된 향후행동의 위험 단계가 기준 위험 단계 이상이면 관제 서버(미도시됨)에 해당 감시 영상, 해당 객체의 행동유형과 향후행동 및 예측된 향후행동의 위험 단계을 전송하여 구조를 요청하고 사용자 단말(130)에 긴급 메시지를 전송할 수 있다.In one embodiment, the object future
일 실시예에서, 객체 향후행동 예측부(340)는 산출된 매칭도가 기준 매칭도 이상이고 예측된 향후행동의 위험 단계가 기준 위험 단계 미만이면 사용자 단말(130)에 설치된 객체 행동 예측 에이전트를 통해 해당 객체의 행동유형과 향후행동을 포함하는 객체 행동 예측 메시지를 전송할 수 있다. In an embodiment, the object future
일 실시예에서, 객체 향후행동 예측부(340)는 산출된 매칭도가 기준 매칭도 미만이고 예측된 향후행동의 위험 단계가 기준 위험 단계 미만이면 해당 시점으로부터 특정 시간 구간 동안 해당 객체의 객체 메타데이터 및 행동유형을 추적하여 해당 시나리오와의 비교 결과를 생성할 수 있다.In an embodiment, the object future
객체 향후행동 예측부(340)는 인식된 객체를 기초로 가상학습 데이터를 기존 객체 메타데이터로서 생성하여 딥러닝 기반의 신경망 학습을 수행할 수 있다. 일 실시예에서, 객체 향후행동 예측부(340)는 객체의 향후행동 예측이 완료되면 해당 예측 과정에서 생성된 객체 메타데이터를 가상학습 데이터로서 이용하여 딥러닝 기반의 신경망 학습을 수행함으로써 기 저장된 객체 행동 예측 모델을 갱신할 수 있다. 즉, 객체 향후행동 예측부(340)는 객체 메타데이터를 통한 신경망 학습을 기반으로 저장된 객체 행동 예측 모델을 학습하여 객체 메타데이터를 기반으로 객체의 행동유형을 분류하고 향후행동을 예측할 수 있도록 하여 학습의 효율성을 개선할 수 있다.The object future
일 실시예에서, 객체 향후행동 예측부(340)는 신경망 학습의 수행 과정에서 예측된 향후행동의 위험 단계가 기준 단계 이상에 해당되는 객체 메타데이터를 가상학습 데이터로서 이용하는 경우에는 해당 객체 메타데이터의 반영 가중치를 상향 조정할 수 있다. 예를 들어, 객체 향후행동 예측부(340)는 다층 신경망으로 구현된 학습 알고리즘을 기초로 해당 객체 메타데이터를 가상학습 데이터로서 신경망 학습을 수행할 수 있고, 이 과정에서 다층 신경망에 있는 각 노드를 연결하는 가중치 중 해당 객체 메타데이터와 가장 높게 연관된 노드와 연결된 가중치를 조정할 수 있다.According to an embodiment, the object future
제어부(350)는 프로세서(210)의 동작 전반을 제어할 수 있고, 객체 인식부(310), 객체 분석부(320), 객체 메타데이터 생성부(330) 및 객체 향후행동 예측부(340) 간의 데이터 흐름을 제어할 수 잇다.The
도 4는 도 3에 있는 프로세서가 객체 행동 예측 프로시저를 실행하는 과정을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a process of executing an object behavior prediction procedure by the processor of FIG. 3.
도 4에서, 객체 인식부(310)는 감시 영상에서 객체를 인식한다(단계 S410). 객체 분석부(320)는 객체의 사전 설정된 질의를 통해 객체상태를 결정하고 객체의 움직임 패턴을 통해 객체행위를 결정하여 해당 객체를 분석한다(단계 S420). 객체 메타데이터 생성부(330)는 객체상태와 객체행위를 기초로 객체 메타데이터를 생성한다(단계 S430). 객체 향후행동 예측부(340)는 기존 객체 메타데이터의 학습결과를 활용하여 객체의 행동유형을 분류하고 해당 객체의 향후행동을 예측한다(단계 S440). 일 실시예에서, 객체 향후행동 예측부(340)는 인식된 객체를 기초로 가상학습 데이터를 기존 객체 메타데이터로서 생성하여 딥러닝 기반의 신경망 학습을 수행할 수 있다.In FIG. 4, the
본 발명의 일 실시예에 따르면, 객체 행동 예측 장치(110)는 객체 메타데이터의 학습결과를 활용하여 객체의 향후행동을 예측함으로써 학습의 효율성을 개선할 수 있다.According to an embodiment of the present invention, the object
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to a preferred embodiment of the present application, those skilled in the art various modifications of the present application without departing from the spirit and scope of the invention described in the claims below And can be changed.
100: 객체 행동 예측 시스템
110: 객체 행동 예측 장치 120: 비디오 감시 장치
130: 사용자 단말
210: 프로세서 220: 메모리
230: 사용자 입출력부 240: 네트워크 입출력부
250: 객체 데이터베이스
310: 객체 인식부 320: 객체 분석부
330: 객체 메타데이터 생성부 340: 객체 향후행동 예측부
350: 제어부100: object behavior prediction system
110: object behavior prediction device 120: video surveillance device
130: user terminal
210: processor 220: memory
230: user input and output unit 240: network input and output unit
250: object database
310: object recognition unit 320: object analysis unit
330: object metadata generation unit 340: object future behavior prediction unit
350: control unit
Claims (8)
(b) 상기 객체의 사전 설정된 질의를 통해 객체상태를 결정하고 상기 객체의 움직임 패턴을 통해 객체행위를 결정하여 상기 객체를 분석하는 단계;
(c) 상기 객체상태와 상기 객체행위를 기초로 객체 메타데이터를 생성하는 단계; 및
(d) 기존 객체 메타데이터의 학습결과를 활용하여 상기 객체의 행동유형을 분류하고 상기 객체의 향후행동을 예측하는 단계를 포함하되,
상기 (b) 단계는 상기 감시 영상에서 상기 객체의 출현 영역범위 및 상기 객체의 출현 시간구간을 기초로 상기 객체의 주요 출현 여부를 결정하여 상기 결정된 주요 출현 여부를 기초로 상기 객체의 분석구간을 결정하는 단계 및 상기 출현 영역범위와 기준 영역범위 간의 비교 및 상기 출현 시간구간과 기준 시간구간 간의 비교와 관련된 하기의 수학식 1을 기초로 주요 출현 지수를 산출하여 기 설정된 기준 출현 지수 보다 큰지 여부에 따라 해당 객체의 상기 주요 출현 여부를 결정하는 단계를 더 포함하고,
상기 (c) 단계는 상기 객체상태를 상기 질의에 관한 답변에 따라 제1 문형으로 결정하고 상기 객체행위를 상기 움직임 패턴에 따라 제2 문형으로 결정하며 해당 객체의 주요 출현 여부 및 주요 출현되는 것으로 결정된 시간 구간을 기초로 제3문형을 결정하는 단계 및 상기 제1 내지 제3 문형들을 통해 상기 객체 메타데이터를 생성하고 상기 객체 메타데이터로부터 영상검색태그를 생성하여 상기 영상검색태그를 상기 객체의 분석구간에 해당하는 영상의 시작 시점과 연관시키는 단계를 더 포함하며,
상기 (d) 단계는 상기 인식된 객체를 기초로 가상학습 데이터를 상기 기존 객체 메타데이터로서 생성하여 딥러닝 기반의 신경망 학습을 수행하는 단계, 상기 객체의 향후행동이 기 지정된 특정 시나리오에 정의된 행동과 동일한 경우에는 상기 객체의 행동유형과 향후행동을 사용자 단말에 제공하는 단계 및 상기 예측된 향후행동이 상기 기 지정된 특정 시나리오에 관하여 정의된 복수의 위험 단계들 중 어느 위험 단계에 해당하는지 검출하여 검출된 위험 단계가 기준 단계 이상일 경우 해당 객체 메타데이터를 상기 가상학습 데이터로 이용하는 경우에 해당 객체 메타데이터의 반영 가중치를 상향 조정하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 수행 가능한 감시 영상의 객체 행동 예측 방법.
[수학식1]
여기에서, r은 주요 출현 지수를 의미하고, r0는 설계자에 의해 기 설정된 기준 출현 지수를, t는 출현 시간구간을 의미하며, t0는 기준 시간구간을 의미하고, a는 출현 영역범위를 나타내며, a0는 기준 영역범위를 의미하고, m은 1 이상 3 이하의 자연수로서 값이 클수록 해당 객체의 움직임이 큰 것을 의미한다.
(a) recognizing an object in the surveillance image;
(b) analyzing the object by determining an object state through a predetermined query of the object and determining an object behavior through a movement pattern of the object;
(c) generating object metadata based on the object state and the object behavior; And
(d) classifying the behavior type of the object by using the learning result of the existing object metadata and predicting future behavior of the object,
The step (b) determines whether the main appearance of the object is based on the appearance region range of the object and the appearance time interval of the object in the surveillance image, and determines the analysis period of the object based on the determined main appearance. And calculating a main appearance index based on Equation 1 below, which is related to the comparison between the appearance area range and the reference area range and the comparison between the appearance time period and the reference time period. Determining whether the main appearance of the object further includes:
In the step (c), the object state is determined as the first sentence type according to the answer to the query, and the object behavior is determined as the second sentence type according to the movement pattern, and whether or not the main appearance and the main appearance of the corresponding object are determined. Determining a third sentence type based on a time interval and generating the object metadata through the first to third sentence types, and generating an image search tag from the object metadata to determine the image search tag by analyzing the object. And associating with a start time point of an image corresponding to
In the step (d), the virtual learning data is generated as the existing object metadata based on the recognized object to perform deep learning based neural network learning, and the future behavior of the object is defined in a specific scenario in which the predefined action is specified. If the same as the step of providing the type of action and future behavior of the object to the user terminal and detecting and detecting which of the risk stages of the plurality of risk stages defined for the predetermined specific scenario If the risk level is higher than the reference level, if the object metadata is used as the virtual learning data, increasing the reflection weight of the object metadata further comprises predicting the object behavior of the computer-executable surveillance image Way.
[Equation 1]
Here, r denotes a major occurrence index, r0 denotes a reference occurrence index preset by the designer, t denotes an appearance time interval, t0 denotes a reference time interval, a denotes an appearance region range, a0 means a reference area range, and m is a natural number of 1 or more and 3 or less, and the larger the value, the greater the movement of the object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180021992A KR101979375B1 (en) | 2018-02-23 | 2018-02-23 | Method of predicting object behavior of surveillance video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180021992A KR101979375B1 (en) | 2018-02-23 | 2018-02-23 | Method of predicting object behavior of surveillance video |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101979375B1 true KR101979375B1 (en) | 2019-08-28 |
Family
ID=67775350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180021992A KR101979375B1 (en) | 2018-02-23 | 2018-02-23 | Method of predicting object behavior of surveillance video |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101979375B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021235682A1 (en) * | 2020-05-18 | 2021-11-25 | StradVision, Inc. | Method and device for performing behavior prediction by using explainable self-focused attention |
KR20220072316A (en) | 2020-11-25 | 2022-06-02 | 주식회사 넥스트케이 | Image Analysis Apparatus for Detecting Multi-object Events and Driving Method Thereof |
KR20220094416A (en) | 2020-12-29 | 2022-07-06 | (주)에이아이매틱스 | System for predicting position of objection near future |
US11527067B2 (en) | 2019-11-07 | 2022-12-13 | Electronics And Telecommunications Research Institute | Electronic device, action instance generation method, and recording medium |
KR102664916B1 (en) * | 2020-05-18 | 2024-05-17 | 주식회사 스트라드비젼 | Method and apparatus for performing behavior prediction using Explanable Self-Focused Attention |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140106883A (en) * | 2013-02-27 | 2014-09-04 | 한국전자통신연구원 | Apparatus and method for detecting a risk situation by analyzing a relation of object |
KR20150112712A (en) | 2014-06-05 | 2015-10-07 | 주식회사 성우음향정보통신 | The analyzing server of cctv images among behavior patterns of objects |
KR101720781B1 (en) * | 2015-12-21 | 2017-03-28 | 고려대학교 산학협력단 | Apparatus and method for prediction of abnormal behavior of object |
KR101731461B1 (en) * | 2015-12-09 | 2017-05-11 | 고려대학교 산학협력단 | Apparatus and method for behavior detection of object |
-
2018
- 2018-02-23 KR KR1020180021992A patent/KR101979375B1/en active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140106883A (en) * | 2013-02-27 | 2014-09-04 | 한국전자통신연구원 | Apparatus and method for detecting a risk situation by analyzing a relation of object |
KR20150112712A (en) | 2014-06-05 | 2015-10-07 | 주식회사 성우음향정보통신 | The analyzing server of cctv images among behavior patterns of objects |
KR101731461B1 (en) * | 2015-12-09 | 2017-05-11 | 고려대학교 산학협력단 | Apparatus and method for behavior detection of object |
KR101720781B1 (en) * | 2015-12-21 | 2017-03-28 | 고려대학교 산학협력단 | Apparatus and method for prediction of abnormal behavior of object |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11527067B2 (en) | 2019-11-07 | 2022-12-13 | Electronics And Telecommunications Research Institute | Electronic device, action instance generation method, and recording medium |
WO2021235682A1 (en) * | 2020-05-18 | 2021-11-25 | StradVision, Inc. | Method and device for performing behavior prediction by using explainable self-focused attention |
KR102664916B1 (en) * | 2020-05-18 | 2024-05-17 | 주식회사 스트라드비젼 | Method and apparatus for performing behavior prediction using Explanable Self-Focused Attention |
KR20220072316A (en) | 2020-11-25 | 2022-06-02 | 주식회사 넥스트케이 | Image Analysis Apparatus for Detecting Multi-object Events and Driving Method Thereof |
KR20220094416A (en) | 2020-12-29 | 2022-07-06 | (주)에이아이매틱스 | System for predicting position of objection near future |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11735018B2 (en) | Security system with face recognition | |
US11669979B2 (en) | Method of searching data to identify images of an object captured by a camera system | |
US11195067B2 (en) | Systems and methods for machine learning-based site-specific threat modeling and threat detection | |
Nikouei et al. | Smart surveillance as an edge network service: From harr-cascade, svm to a lightweight cnn | |
KR101979375B1 (en) | Method of predicting object behavior of surveillance video | |
US8660368B2 (en) | Anomalous pattern discovery | |
US11295139B2 (en) | Human presence detection in edge devices | |
JP2023145558A (en) | Appearance search system and method | |
JP6814673B2 (en) | Movement route prediction device and movement route prediction method | |
WO2014132841A1 (en) | Person search method and platform occupant search device | |
EP2113846B1 (en) | Behavior history searching device and behavior history searching method | |
KR102384299B1 (en) | Cctv camera device having assault detection function and method for detecting assault based on cctv image performed | |
CN107122743B (en) | Security monitoring method and device and electronic equipment | |
KR102028930B1 (en) | method of providing categorized video processing for moving objects based on AI learning using moving information of objects | |
Mishra et al. | An intelligent motion detection using OpenCV | |
KR102110375B1 (en) | Video watch method based on transfer of learning | |
JP2007028680A (en) | Monitoring device | |
JP2019117556A (en) | Information processing apparatus, information processing method and program | |
US11527091B2 (en) | Analyzing apparatus, control method, and program | |
Varghese et al. | Video anomaly detection in confined areas | |
KR102475752B1 (en) | Method and apparatus for prodicting moving path | |
US10997398B2 (en) | Information processing apparatus, authentication system, method of controlling same, and medium | |
Meena et al. | Hybrid Neural Network Architecture for Multi-Label Object Recognition using Feature Fusion | |
US20230360402A1 (en) | Video-based public safety incident prediction system and method therefor | |
CN111860070A (en) | Method and device for identifying changed object |