KR20240018142A - Apparatus and method for surveillance - Google Patents

Abstract

본 발명은 감시 장치 및 방법에 관한 것으로서, 경량의 인공지능 모델을 이용하여 감시 영역에 포함된 객체의 이상 행동을 감시하는 감시 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 감시 장치는 영상에서 객체를 검출하는 객체 검출부와, 상기 검출된 객체를 추적하는 객체 추적부, 및 상기 객체의 이상 행동 여부를 판단하는 제1 이상 행동 판단부를 포함하되, 상기 제1 이상 행동 판단부는 상기 영상에서 상기 객체의 전체 몸체를 포함하는 제1 영역 및 상기 객체의 일부 몸체를 포함하는 제2 영역 중 적어도 하나를 참조하여 상기 객체의 이상 행동 여부를 판단한다.The present invention relates to a monitoring device and method, which monitors abnormal behavior of objects included in a surveillance area using a lightweight artificial intelligence model.
The monitoring device according to an embodiment of the present invention includes an object detection unit that detects an object in an image, an object tracking unit that tracks the detected object, and a first abnormal behavior determination unit that determines whether the object behaves abnormally, The first abnormal behavior determination unit determines whether the object is behaving abnormally by referring to at least one of a first area including the entire body of the object and a second area including a partial body of the object in the image.

Description

감시 장치 및 방법{Apparatus and method for surveillance}Surveillance device and method {Apparatus and method for surveillance}

본 발명은 감시 장치 및 방법에 관한 것으로서, 더욱 상세하게는 경량의 인공지능 모델을 이용하여 감시 영역에 포함된 객체의 이상 행동을 감시하는 감시 장치 및 방법에 관한 것이다.The present invention relates to a monitoring device and method, and more specifically, to a monitoring device and method for monitoring abnormal behavior of objects included in a surveillance area using a lightweight artificial intelligence model.

행동 분석 기술은 동영상에 포함된 객체의 움직임을 분석하여 행동을 추정하는 기술이다. 해당 기술은 동영상의 일정 프레임 간격 동안 관심 객체에 대한 움직임이나 관절 정보를 추출하고 이를 바탕으로 해당 객체의 행동을 추정함으로써 이상 행동을 검출할 수 있다. 행동 분석 기술은 스포츠 및 로보틱스 등 많은 분야에서 활용될 수 있다.Behavior analysis technology is a technology that estimates behavior by analyzing the movement of objects included in a video. This technology can detect abnormal behavior by extracting movement or joint information about the object of interest during certain frame intervals in the video and estimating the behavior of the object based on this. Behavior analysis technology can be used in many fields, including sports and robotics.

행동 분석 기술에 대한 다양한 연구가 진행되고 있으며 특히 배경, 조명, 크기 변화에 상관없이 강인한 특징 추출이 가능한 스켈레톤(skeleton) 기반의 행동 분석 기술이 많은 관심을 받고 있다. 스켈레톤 기반의 행동 분석 기술은 입력된 영상에 포함된 객체가 어떤 행동을 하고 있는지 추정하는 기술이다. 여기서, 스켈레톤 데이터는 자세 추정 모델이나 센서를 이용해 뽑은 2D 또는 3D 관절 좌표를 포함할 수 있다.A variety of research is being conducted on behavior analysis technology, and in particular, skeleton-based behavior analysis technology, which enables robust feature extraction regardless of background, lighting, and size changes, is receiving a lot of attention. Skeleton-based behavior analysis technology is a technology that estimates the behavior of objects included in an input image. Here, the skeleton data may include 2D or 3D joint coordinates extracted using a posture estimation model or sensor.

한편, 스켈레톤 기반의 행동 분석 기술에 따른 행동 분석을 수행하기 위해서는 높은 성능의 연산 비용이 필요하다. 또한, 본 기술에 따르면 RGB 데이터로부터 스켈레톤을 추출하고, 추출된 스켈레톤을 행동 분석 네트워크에 통과시켜야 하기 때문에 실생활에 적용하는 데에는 무리가 따를 수 있다.Meanwhile, high-performance computational costs are required to perform behavior analysis using skeleton-based behavior analysis technology. Additionally, according to this technology, it may be difficult to apply it to real life because it requires extracting a skeleton from RGB data and passing the extracted skeleton through a behavior analysis network.

따라서, 보다 적은 연산으로도 영상에 포함된 객체의 이상 행동을 검출할 수 있도록 하는 발명의 등장이 요구된다.Therefore, there is a need for an invention that can detect abnormal behavior of objects included in an image with fewer operations.

일본 공개특허공보 특개2020-24517호 (2020.02.13)Japanese Patent Publication No. 2020-24517 (2020.02.13)

본 발명이 해결하고자 하는 과제는 경량의 인공지능 모델을 이용하여 감시 영역에 포함된 객체의 이상 행동을 감시하는 감시 장치 및 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide a monitoring device and method for monitoring abnormal behavior of objects included in a surveillance area using a lightweight artificial intelligence model.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the problems mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.

상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 감시 장치는 영상에서 객체를 검출하는 객체 검출부와, 상기 검출된 객체를 추적하는 객체 추적부, 및 상기 객체의 이상 행동 여부를 판단하는 제1 이상 행동 판단부를 포함하되, 상기 제1 이상 행동 판단부는 상기 영상에서 상기 객체의 전체 몸체를 포함하는 제1 영역 및 상기 객체의 일부 몸체를 포함하는 제2 영역 중 적어도 하나를 참조하여 상기 객체의 이상 행동 여부를 판단한다.In order to achieve the above task, a monitoring device according to an embodiment of the present invention includes an object detection unit that detects an object in an image, an object tracking unit that tracks the detected object, and a first device that determines whether the object is behaving abnormally. It includes an abnormal behavior determination unit, wherein the first abnormal behavior determination unit refers to at least one of a first area including the entire body of the object and a second area including a partial body of the object in the image. Decide whether to act or not.

상기 객체 검출부는 욜로(YOLO; You Only Live Once) 알고리즘을 이용하여 상기 영상에서 객체를 검출한다.The object detection unit detects objects in the image using the YOLO (You Only Live Once) algorithm.

상기 제1 영역 및 제2 영역은 상기 욜로 알고리즘이 이용되어 생성된 영역을 포함한다.The first area and the second area include areas created using the YOLO algorithm.

상기 객체 추적부는 딥소트(DeepSORT) 알고리즘을 이용하여 상기 검출된 객체를 추적한다.The object tracking unit tracks the detected object using the DeepSORT algorithm.

상기 제1 이상 행동 판단부는 상기 제1 영역의 종횡비를 참조하여 상기 객체의 이상 행동 여부를 판단한다.The first abnormal behavior determination unit determines whether the object behaves abnormally by referring to the aspect ratio of the first area.

상기 제1 이상 행동 판단부는 상기 제2 영역의 기준 위치에 대한 상기 제2 영역의 현재 위치를 참조하여 상기 객체의 이상 행동 여부를 판단한다.The first abnormal behavior determination unit determines whether the object behaves abnormally by referring to the current location of the second area with respect to the reference position of the second area.

상기 제1 이상 행동 판단부는 상기 영상에서 상기 객체의 전체 몸체를 포함하는 제3 영역을 설정하고, 상기 제3 영역 중 상기 객체의 일부 몸체가 배치된 위치를 참조하여 상기 객체의 이상 행동 여부를 판단한다.The first abnormal behavior determination unit sets a third area including the entire body of the object in the image, and determines whether the object is behaving abnormally by referring to the position where a part of the body of the object is located in the third area. do.

상기 감시 장치는 학습을 통하여 생성된 이상 행동 분석 모델을 이용하여 상기 객체의 이상 행동 여부를 판단하는 제2 이상 행동 판단부를 더 포함한다.The monitoring device further includes a second abnormal behavior determination unit that determines whether the object behaves abnormally using an abnormal behavior analysis model generated through learning.

상기 이상 행동 분석 모델은 관련 분포(in distribution) 데이터 및 비관련 분포(out of distribution) 데이터를 학습하여 생성된 것을 포함한다.The abnormal behavior analysis model includes one created by learning related distribution (in distribution) data and unrelated distribution (out of distribution) data.

상기 객체는 사람을 포함하고, 상기 객체의 일부 몸체는 사람의 머리를 포함한다.The object includes a person, and a portion of the body of the object includes a person's head.

본 발명의 실시예에 따른 감시 방법은 영상에서 객체를 검출하는 단계와, 상기 검출된 객체를 추적하는 단계, 및 상기 객체의 이상 행동 여부를 판단하는 단계를 포함하되, 상기 객체의 이상 행동 여부를 판단하는 단계는 상기 영상에서 상기 객체의 전체 몸체를 포함하는 제1 영역 및 상기 객체의 일부 몸체를 포함하는 제2 영역 중 적어도 하나를 참조하여 상기 객체의 이상 행동 여부를 판단하는 단계를 포함한다.The monitoring method according to an embodiment of the present invention includes the steps of detecting an object in an image, tracking the detected object, and determining whether the object behaves abnormally. The determining step includes determining whether the object is behaving abnormally by referring to at least one of a first region including the entire body of the object and a second region including a partial body of the object in the image.

상기 영상에서 객체를 검출하는 단계는 욜로(YOLO; You Only Live Once) 알고리즘을 이용하여 상기 영상에서 객체를 검출하는 단계를 포함한다.Detecting an object in the image includes detecting the object in the image using a YOLO (You Only Live Once) algorithm.

상기 제1 영역 및 제2 영역은 상기 욜로 알고리즘이 이용되어 생성된 영역을 포함한다.The first area and the second area include areas created using the YOLO algorithm.

상기 검출된 객체를 추적하는 단계는 딥소트(DeepSORT) 알고리즘을 이용하여 상기 검출된 객체를 추적하는 단계를 포함한다.Tracking the detected object includes tracking the detected object using a DeepSORT algorithm.

상기 객체의 이상 행동 여부를 판단하는 단계는 상기 제1 영역의 종횡비를 참조하여 상기 객체의 이상 행동 여부를 판단하는 단계를 포함한다.The step of determining whether the object behaves abnormally includes determining whether the object behaves abnormally by referring to the aspect ratio of the first area.

상기 객체의 이상 행동 여부를 판단하는 단계는 상기 제2 영역의 기준 위치에 대한 상기 제2 영역의 현재 위치를 참조하여 상기 객체의 이상 행동 여부를 판단하는 단계를 포함한다.The step of determining whether the object behaves abnormally includes determining whether the object behaves abnormally by referring to the current location of the second area with respect to the reference position of the second area.

상기 객체의 이상 행동 여부를 판단하는 단계는, 상기 영상에서 상기 객체의 전체 몸체를 포함하는 제3 영역을 설정하는 단계, 및 상기 제3 영역 중 상기 객체의 일부 몸체가 배치된 위치를 참조하여 상기 객체의 이상 행동 여부를 판단하는 단계를 포함한다.The step of determining whether the object is behaving abnormally includes setting a third area including the entire body of the object in the image, and referring to a position where a part of the body of the object is located in the third area. It includes the step of determining whether the object is behaving abnormally.

상기 감시 방법은 학습을 통하여 생성된 이상 행동 분석 모델을 이용하여 상기 객체의 이상 행동 여부를 판단하는 단계를 더 포함한다.The monitoring method further includes determining whether the object behaves abnormally using an abnormal behavior analysis model generated through learning.

상기 이상 행동 분석 모델은 관련 분포(in distribution) 데이터 및 비관련 분포(out of distribution) 데이터를 학습하여 생성된 것을 포함한다.The abnormal behavior analysis model includes one created by learning related distribution (in distribution) data and unrelated distribution (out of distribution) data.

상기 객체는 사람을 포함하고, 상기 객체의 일부 몸체는 사람의 머리를 포함한다.The object includes a person, and a portion of the body of the object includes a person's head.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and drawings.

상기한 바와 같은 본 발명의 감시 장치 및 방법에 따르면 경량의 인공지능 모델을 이용하여 감시 영역에 포함된 객체의 이상 행동을 감시하기 때문에 상대적으로 적은 연산으로 객체의 이상 행동을 검출할 수 있는 장점이 있다.According to the monitoring device and method of the present invention as described above, abnormal behavior of objects included in the surveillance area is monitored using a lightweight artificial intelligence model, so there is an advantage of detecting abnormal behavior of objects with relatively few calculations. there is.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 감시 시스템을 나타낸 도면이다.
도 2는 관리 서버의 블록도이다.
도 3은 인공지능 프로세서의 블록도이다.
도 4는 본 발명의 실시예에 따른 감시 장치의 블록도이다.
도 5는 영상 분석부의 블록도이다.
도 6은 영상에 객체가 포함된 것을 나타낸 도면이다.
도 7은 영상에서 객체가 검출된 것을 나타낸 도면이다.
도 8은 영상에서 객체가 추적되는 것을 나타낸 도면이다.
도 9는 제1 영역의 종횡비가 참조되어 객체의 자세가 판단되는 것을 설명하기 위한 도면이다.
도 10은 제2 영역의 위치가 참조되어 객체의 자세가 판단되는 것을 설명하기 위한 도면이다.
도 11은 객체의 일부 몸체의 위치가 참조되어 객체의 자세가 판단되는 것을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 감시 방법을 나타낸 흐름도이다.1 is a diagram showing a monitoring system.
Figure 2 is a block diagram of a management server.
Figure 3 is a block diagram of an artificial intelligence processor.
Figure 4 is a block diagram of a monitoring device according to an embodiment of the present invention.
Figure 5 is a block diagram of the image analysis unit.
Figure 6 is a diagram showing that an object is included in an image.
Figure 7 is a diagram showing an object detected in an image.
Figure 8 is a diagram showing an object being tracked in an image.
Figure 9 is a diagram for explaining that the posture of an object is determined by referring to the aspect ratio of the first area.
FIG. 10 is a diagram for explaining that the posture of an object is determined by referring to the location of the second area.
Figure 11 is a diagram for explaining that the posture of an object is determined by referring to the position of a part of the body of the object.
Figure 12 is a flowchart showing a monitoring method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely intended to ensure that the disclosure of the present invention is complete and to provide common knowledge in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings that can be commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.

도 1은 감시 시스템을 나타낸 도면이다.1 is a diagram showing a monitoring system.

도 1을 참조하면, 감시 시스템(10)은 관리 서버(100), 감시 장치(200) 및 모니터링 장치(300)를 포함하여 구성된다.Referring to FIG. 1, the monitoring system 10 includes a management server 100, a monitoring device 200, and a monitoring device 300.

관리 서버(100)는 감시 장치(200)에 의해 촬영된 영상을 관리하는 역할을 수행한다. 예를 들어, 관리 서버(100)는 촬영 영상을 저장하거나 송신할 수 있다. 감시 시스템(10)은 적어도 하나의 감시 장치(200)를 포함할 수 있다. 관리 서버(100)는 적어도 하나의 감시 장치(200)에 의해 촬영된 영상을 개별적으로 저장할 수 있다.The management server 100 serves to manage images captured by the monitoring device 200. For example, the management server 100 may store or transmit captured images. Monitoring system 10 may include at least one monitoring device 200. The management server 100 may individually store images captured by at least one monitoring device 200.

또한, 관리 서버(100)는 인공지능 모델을 생성하여 감시 장치(200)에 제공할 수 있다. 관리 서버(100)는 인공지능 모델을 감시 시스템(10)에 포함된 모든 감시 장치(200)에 제공할 수 있다. 감시 장치(200)는 관리 서버(100)로부터 제공된 인공지능 모델을 이용하여 영상에서 객체를 검출하고, 검출된 객체에 대한 이상 행동 여부를 판단할 수 있다. 관리 서버(100)의 구체적인 구성 및 기능에 대해서는 도 2 및 도 3을 통하여 후술하기로 한다.Additionally, the management server 100 may create an artificial intelligence model and provide it to the monitoring device 200. The management server 100 may provide the artificial intelligence model to all monitoring devices 200 included in the monitoring system 10. The monitoring device 200 can detect an object in an image using an artificial intelligence model provided by the management server 100 and determine whether there is abnormal behavior for the detected object. The specific configuration and function of the management server 100 will be described later with reference to FIGS. 2 and 3.

감시 장치(200)는 감시 영역을 촬영하여 영상을 생성할 수 있다. 감시 장치(200)에 의해 생성되는 영상은 정지 영상 또는 동영상일 수 있다.The monitoring device 200 can generate an image by photographing the surveillance area. The image generated by the monitoring device 200 may be a still image or a moving image.

감시 장치(200)는 특정 장소의 고정된 위치에 배치된 것이거나, 일정한 경로를 따라 자동 또는 수동으로 이동 가능한 것일 수 있다. 또는, 감시 장치(200)는 사람 또는 로봇 등에 의하여 운반될 수도 있다. 감시 장치(200)는 유무선 인터넷에 연결하여 사용 가능한 IP 카메라일 수 있다. 감시 장치(200)는 팬(pan), 틸트(tilt), 및 줌(zoom) 기능을 갖는 PTZ 카메라일 수 있다. 감시 장치(200)는 감시 영역을 녹화하거나 사진을 촬영하는 기능을 가질 수 있다. 감시 장치(200)는 감시 영역에서 발생하는 소리를 녹음하는 기능을 가질 수 있다. 감시 장치(200)는 감시 영역에서 움직임 또는 소리가 발생하는 경우, 이에 대한 알림을 출력하거나 녹화 또는 사진 촬영을 수행할 수 있다.The monitoring device 200 may be placed at a fixed location in a specific location, or may be automatically or manually moved along a certain path. Alternatively, the monitoring device 200 may be transported by a person or a robot. The monitoring device 200 may be an IP camera that can be used by connecting to the wired or wireless Internet. The monitoring device 200 may be a PTZ camera with pan, tilt, and zoom functions. The monitoring device 200 may have the function of recording or taking pictures of the surveillance area. The monitoring device 200 may have the function of recording sounds occurring in the monitoring area. When movement or sound occurs in the surveillance area, the monitoring device 200 may output a notification or perform recording or photography.

또한, 감시 장치(200)는 촬영 영상을 분석하여 촬영 영상에 포함된 객체의 이상 행동 여부를 판단할 수 있다. 객체의 이상 행동 여부를 판단하기 위하여 감시 장치(200)는 인공지능 모델을 이용할 수 있다. 특히, 감시 장치(200)는 경량의 인공지능 모델을 이용하여 객체의 이상 행동 여부를 판단할 수 있다. 감시 장치(200)의 구체적인 구성 및 기능에 대한 자세한 설명은 도 4 및 도 5를 통하여 후술하기로 한다.Additionally, the monitoring device 200 may analyze the captured image and determine whether an object included in the captured image is behaving abnormally. The monitoring device 200 may use an artificial intelligence model to determine whether an object is behaving abnormally. In particular, the monitoring device 200 can determine whether an object is behaving abnormally using a lightweight artificial intelligence model. A detailed description of the specific configuration and function of the monitoring device 200 will be described later with reference to FIGS. 4 and 5.

모니터링 장치(300)는 관리 서버(100)에 접속하여 감시 장치(200)에 의해 촬영된 영상을 출력할 수 있다. 사용자는 모니터링 장치(300)에서 출력된 영상을 이용하여 감시 영역에 대한 감시 결과를 확인할 수 있다. 또한, 모니터링 장치(300)는 감시 장치(200)로 제어 명령을 송신할 수 있다. 제어 명령은 감시 장치(200)의 팬, 틸트 또는 줌을 제어하기 위한 명령일 수 있으며, 촬영 개시 또는 촬영 종료를 위한 명령일 수 있다.The monitoring device 300 can connect to the management server 100 and output images captured by the monitoring device 200. The user can check the surveillance results for the surveillance area using the image output from the monitoring device 300. Additionally, the monitoring device 300 may transmit a control command to the monitoring device 200. The control command may be a command for controlling the pan, tilt, or zoom of the monitoring device 200, and may be a command for starting or ending filming.

또한, 모니터링 장치(300)는 감시 장치(200)에 의한 이상 행동 판단 결과를 수신하여 출력할 수 있다. 전술한 바와 같이, 감시 장치(200)는 객체의 이상 행동 여부를 판단할 수 있다. 그리하여, 이상 행동을 수행하는 객체가 발견되는 경우 감시 장치(200)는 해당 결과를 모니터링 장치(300)로 송신할 수 있다. 이에, 사용자는 모니터링 장치(300)를 통하여 출력된 이상 행동 판단 결과를 참조하여 해당 객체에 대한 조치를 취할 수 있다.Additionally, the monitoring device 300 may receive and output the abnormal behavior determination result by the monitoring device 200. As described above, the monitoring device 200 can determine whether an object is behaving abnormally. Thus, when an object performing abnormal behavior is discovered, the monitoring device 200 may transmit the corresponding result to the monitoring device 300. Accordingly, the user can take action on the object by referring to the abnormal behavior determination result output through the monitoring device 300.

감시 시스템(10)은 적어도 하나의 감시 장치(200)를 포함할 수 있다. 모니터링 장치(300)는 적어도 하나의 감시 장치(200) 각각에 접속하여 감시 장치(200)에 의한 이상 행동 판단 결과를 개별적으로 수신하여 출력할 수 있다.Monitoring system 10 may include at least one monitoring device 200. The monitoring device 300 may connect to each of at least one monitoring device 200 to individually receive and output abnormal behavior determination results by the monitoring device 200.

관리 서버(100), 감시 장치(200) 및 모니터링 장치(300)는 통신망(400)을 통해 서로 연결될 수 있다. 통신망(400)은 유선 통신망이거나 무선 통신망일 수 있다. 예를 들어, 통신망(400)은 LANs(Local Area Networks), WANs(Wide Area Networks) 또는 MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크이거나, 무선 LANs, CDMA, 블루투스 또는 위성 통신 등의 무선 네트워크를 포함할 수 있다. 그러나, 본 발명의 통신망(400)이 이에 한정되는 것은 아니며 관리 서버(100), 감시 장치(200) 및 모니터링 장치(300)는 다양한 형태의 통신망에 의해 서로 통신을 수행할 수 있다.The management server 100, the monitoring device 200, and the monitoring device 300 may be connected to each other through the communication network 400. The communication network 400 may be a wired communication network or a wireless communication network. For example, the communication network 400 is a wired network such as Local Area Networks (LANs), Wide Area Networks (WANs), Metropolitan Area Networks (MANs), or Integrated Service Digital Networks (ISDNs), or wireless LANs, CDMA, Bluetooth, or It may include wireless networks such as satellite communications. However, the communication network 400 of the present invention is not limited to this, and the management server 100, surveillance device 200, and monitoring device 300 can communicate with each other through various types of communication networks.

도 2는 관리 서버의 블록도이고, 도 3은 인공지능 프로세서의 블록도이다.Figure 2 is a block diagram of a management server, and Figure 3 is a block diagram of an artificial intelligence processor.

도 2를 참조하면, 관리 서버(100)는 통신부(110), 저장부(120), 제어부(130), 인공지능 프로세서(140) 및 입력부(150)를 포함하여 구성된다.Referring to FIG. 2, the management server 100 includes a communication unit 110, a storage unit 120, a control unit 130, an artificial intelligence processor 140, and an input unit 150.

통신부(110)는 감시 장치(200)로부터 촬영 영상을 수신하고, 모니터링 장치(300)로 촬영 영상을 송신할 수 있다. 또한, 통신부(110)는 감시 장치(200)로 인공지능 모델을 송신할 수 있다.The communication unit 110 may receive captured images from the monitoring device 200 and transmit the captured images to the monitoring device 300. Additionally, the communication unit 110 may transmit an artificial intelligence model to the monitoring device 200.

저장부(120)는 감시 장치(200)로부터 수신된 촬영 영상을 저장할 수 있다. 또한, 저장부(120)는 인공지능 프로세서(140)에 의해 생성된 인공지능 모델을 저장할 수 있다. 구체적으로, 저장부(120)는 후술하는 인공지능 프로세서(140)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 저장부(120)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리, 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SDD) 등으로 구현된다. 저장부(120)는 인공지능 프로세서(140)에 의해 액세스되고, 인공지능 프로세서(140)에 의한 데이터 읽기, 쓰기, 편집, 삭제, 갱신이 수행될 수 있다. 또한, 저장부(120)는 본 발명의 일 실시예에 따른 데이터 분류 및 인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예: 딥 러닝 모델)을 저장할 수 있다.The storage unit 120 may store captured images received from the monitoring device 200. Additionally, the storage unit 120 may store an artificial intelligence model generated by the artificial intelligence processor 140. Specifically, the storage unit 120 can store various programs and data necessary for the operation of the artificial intelligence processor 140, which will be described later. The storage unit 120 is implemented with non-volatile memory, volatile memory, flash memory, hard disk drive (HDD), solid state drive (SDD), etc. The storage unit 120 is accessed by the artificial intelligence processor 140, and data reading, writing, editing, deletion, and updating can be performed by the artificial intelligence processor 140. Additionally, the storage unit 120 may store a neural network model (eg, deep learning model) generated through a learning algorithm for data classification and recognition according to an embodiment of the present invention.

입력부(150)는 인공지능 모델의 학습에 필요한 데이터를 입력 받을 수 있다. 또는, 입력부(150)는 새로운 인공지능 모델 또는 인공지능 알고리즘을 입력 받을 수도 있다.The input unit 150 can receive data required for learning an artificial intelligence model. Alternatively, the input unit 150 may receive input of a new artificial intelligence model or artificial intelligence algorithm.

인공지능 프로세서(140)는 인공지능 모델을 생성하고, 생성된 인공지능 모델에 대한 갱신을 수행할 수 있다. 인공지능 프로세서(140)는 신경망을 학습할 수 있는 컴퓨팅 장치로서, 서버, 데스크탑 PC, 노트북 PC, 태블릿 PC 등 다양한 전자 장치의 형태로 구현될 수 있다.The artificial intelligence processor 140 can create an artificial intelligence model and update the created artificial intelligence model. The artificial intelligence processor 140 is a computing device capable of learning neural networks, and can be implemented in the form of various electronic devices such as servers, desktop PCs, laptop PCs, and tablet PCs.

인공지능 프로세서(140)는 저장부(120)에 저장된 프로그램을 이용하여 신경망(neural network)을 학습할 수 있다. 특히, 인공지능 프로세서(140)는 감시 장치(200)에 의한 감시 관련 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 감시 관련 데이터를 인식하기 위한 신경망은 컴퓨터 상에서 인간의 뇌 구조를 모사(simulation)하도록 설계될 수 있으며, 인간 신경망의 뉴런을 모사하는 가중치를 갖는 복수의 네트워크 노드를 포함할 수 있다. 복수의 네트워크 노드는 각각의 연결 관계에 따라 데이터를 교환하여 뉴런이 시냅스를 통해 신호를 주고받는 뉴런의 시냅스 활동을 모사할 수 있다. 여기서, 신경망은 신경망 모델로부터 개발된 딥 러닝(Deep Learning) 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드는 서로 다른 계층에 위치하여 컨볼루션(convolution) 연결 관계에 따라 데이터를 교환할 수 있다. 신경망 모델의 예로는 심층 신경망(DNN; Deep Neural Network), 컨볼루션 심층 신경망(CNN; Convolutional Neural Network), 순환 신경망(RNN; Recurrent Neural Network), 제한적 볼츠만 기계(RBM; Restricted Boltzmann Machine), 심층신뢰신경망(DBN; Deep Belief Network)이 포함될 수 있다.The artificial intelligence processor 140 can learn a neural network using a program stored in the storage unit 120. In particular, the artificial intelligence processor 140 can learn a neural network for recognizing data related to surveillance by the surveillance device 200. Here, a neural network for recognizing surveillance-related data may be designed to simulate the structure of the human brain on a computer, and may include a plurality of network nodes with weights simulating neurons of a human neural network. Multiple network nodes can exchange data according to their respective connection relationships to simulate the synaptic activity of neurons in which neurons send and receive signals through synapses. Here, the neural network may include a deep learning model developed from a neural network model. In a deep learning model, multiple network nodes are located in different layers and can exchange data according to convolutional connection relationships. Examples of neural network models include Deep Neural Network (DNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), and Deep Trust. A neural network (DBN; Deep Belief Network) may be included.

이와 같은 기능을 수행하는 인공지능 프로세서(140)는 범용 프로세서(예: CPU)일 수 있으나, 인공지능 학습을 위한 인공지능 전용 프로세서(예: GPU)일 수도 있다.The artificial intelligence processor 140 that performs this function may be a general-purpose processor (e.g., CPU), but may also be an artificial intelligence-specific processor (e.g., GPU) for artificial intelligence learning.

도 3을 참조하면, 인공지능 프로세서(140)는 데이터 학습부(141)를 포함하여 구성된다.Referring to FIG. 3, the artificial intelligence processor 140 includes a data learning unit 141.

데이터 학습부(141)는 데이터의 분류 및 인식을 위한 신경망 학습을 수행할 수 있다. 데이터 학습부(141)는 데이터의 분류 및 인식을 결정하기 위해 어떤 학습 데이터를 사용할 것인지, 그리고 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식하는지에 대한 기준을 학습할 수 있다. 데이터 학습부(141)는 학습에 사용할 학습 데이터를 획득하고, 획득된 학습 데이터를 딥 러닝 모델에 적용하여 딥 러닝 모델을 학습할 수 있다.The data learning unit 141 may perform neural network learning for classification and recognition of data. The data learning unit 141 may learn standards for what learning data to use to determine classification and recognition of data, and how to classify and recognize data using the learning data. The data learning unit 141 may acquire learning data to be used for learning, and apply the acquired learning data to the deep learning model to learn the deep learning model.

데이터 학습부(141)는 적어도 하나의 하드웨어 칩 형태로 제작되어 인공지능 프로세서(140)에 탑재될 수 있다. 예를 들어, 데이터 학습부(141)는 인공지능 전용 하드웨어 칩 형태로 제작되거나, 범용 프로세서(CPU) 또는 전용 그래픽 프로세서(GPU)의 일부로 제작되어 인공지능 프로세서(140)에 탑재될 수 있다. 또한, 데이터 학습부(141)는 소프트웨어로 구현될 수 있다. 데이터 학습부(141)가 소프트웨어 모듈(또는 명령어를 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 저장부(120) 또는 별도의 컴퓨터 판독 가능 매체에 저장될 수 있다. 이러한 경우 적어도 하나의 소프트웨어 모듈은 운영체제(OS; Operating System) 또는 애플리케이션에 의해 실행된다.The data learning unit 141 may be manufactured in the form of at least one hardware chip and mounted on the artificial intelligence processor 140. For example, the data learning unit 141 may be manufactured in the form of an artificial intelligence-specific hardware chip, or manufactured as part of a general-purpose processor (CPU) or a dedicated graphics processor (GPU) and mounted on the artificial intelligence processor 140. Additionally, the data learning unit 141 may be implemented as software. When the data learning unit 141 is implemented as a software module (or a program module including instructions), the software module may be stored in the storage unit 120 or a separate computer-readable medium. In this case, at least one software module is executed by an operating system (OS) or an application.

데이터 학습부(141)는 데이터 획득부(141a), 모델 학습부(141b) 및 모델 평가부(141c)를 포함하여 구성된다.The data learning unit 141 includes a data acquisition unit 141a, a model learning unit 141b, and a model evaluation unit 141c.

데이터 획득부(141a)는 데이터의 분류 및 인식을 위한 신경망 모델에 대해 요청된 학습 데이터를 획득할 수 있다. 예를 들어, 데이터 획득부(141a)는 신경망 모델에 학습 데이터로 입력하기 위한 감시 관련 데이터 및 샘플 데이터 중 적어도 하나를 획득할 수 있다. 데이터 획득부(141a)에 의해 획득된 데이터는 입력부(150)를 통해 입력된 것이거나 통신부(110)를 통해 수신된 것일 수 있다.The data acquisition unit 141a may acquire training data requested for a neural network model for classification and recognition of data. For example, the data acquisition unit 141a may acquire at least one of surveillance-related data and sample data to be input as learning data to a neural network model. Data acquired by the data acquisition unit 141a may be input through the input unit 150 or may be received through the communication unit 110.

모델 학습부(141b)는 데이터 획득부(141a)에 의해 획득된 학습 데이터를 이용하여 신경망 모델이 데이터를 어떻게 분류하는지 판단하는 기준을 갖도록 학습할 수 있다. 이 경우, 모델 학습부(141b)는 학습 데이터의 적어도 일부를 판단 기준으로 하여 지도 학습(supervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또는, 모델 학습부(141b)는 비지도 학습을 통해 신경망 모델을 학습시켜 지도 없이 학습 데이터를 사용하여 자가 학습하여 기준을 발견할 수 있다. 또는, 모델 학습부(141b)는 학습 기반의 상황 판단 결과가 정확한지 피드백을 이용하여 강화 학습을 통해 신경망 모델을 학습시킬 수 있다. 또는, 모델 학습부(141b)는 오차 역전파(back-propagation) 방법 또는 그래디언트 디센트(gradient decent) 방법을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다.The model learning unit 141b can learn to have a standard for determining how the neural network model classifies data using the training data acquired by the data acquisition unit 141a. In this case, the model learning unit 141b may learn a neural network model through supervised learning using at least part of the learning data as a judgment standard. Alternatively, the model learning unit 141b can learn a neural network model through unsupervised learning and discover the standard by self-learning using learning data without guidance. Alternatively, the model learning unit 141b may learn a neural network model through reinforcement learning using feedback to determine whether the learning-based situation judgment result is accurate. Alternatively, the model learning unit 141b may train the neural network model using a learning algorithm including an error back-propagation method or a gradient descent method.

신경망 모델이 학습되면, 모델 학습부(141b)는 학습된 신경망 모델을 저장부(120)에 저장할 수 있다.When the neural network model is learned, the model learning unit 141b may store the learned neural network model in the storage unit 120.

데이터 학습부(141)는 학습 데이터 전처리기(미도시) 및 학습 데이터 선택부(미도시)를 더 포함하여 인식 모델의 분석 결과를 향상시키거나 생성에 필요한 자원 또는 시간을 절약할 수 있다.The data learning unit 141 may further include a learning data preprocessor (not shown) and a learning data selection unit (not shown) to improve the analysis results of the recognition model or save resources or time required for creation.

학습 데이터 전처리기는 획득된 데이터가 상황을 결정하기 위한 학습에 사용될 수 있도록 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는 획득된 데이터를 사전에 설정된 포맷으로 변환하여 모델 학습부(141b)가 학습을 위해 획득한 학습 데이터를 이미지 인식에 사용할 수 있도록 할 수 있다.The learning data preprocessor may preprocess the acquired data so that the acquired data can be used for learning to determine the situation. For example, the learning data preprocessor may convert the acquired data into a preset format so that the model learning unit 141b can use the training data acquired for training for image recognition.

학습 데이터 선택부는 데이터 획득부(141a)에 의해 획득된 학습 데이터 또는 전처리기에 의해 전처리된 학습 데이터로부터 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(141b)로 제공될 수 있다. 예를 들어, 학습 데이터 선택부는 감시 장치(200)를 통해 획득된 영상 중 특정 영역을 검출하여 특정 영역에 포함된 객체에 대한 데이터만을 학습 데이터로 선택할 수 있다.The learning data selection unit may select data necessary for learning from the learning data acquired by the data acquisition unit 141a or the learning data preprocessed by the preprocessor. The selected learning data may be provided to the model learning unit 141b. For example, the learning data selection unit may detect a specific area among images acquired through the monitoring device 200 and select only data about objects included in the specific area as learning data.

모델 평가부(141c)는 신경망 모델의 분석 결과를 향상시키는 역할을 수행한다. 모델 평가부(141c)는 평가 데이터를 신경망 모델에 입력하고, 평가 데이터로부터 출력된 분석 결과가 사전에 설정된 기준을 만족하지 않는 경우 모델 학습부(141b)가 신경망 모델을 재학습시키도록 할 수 있다. 이러한 경우 평가 데이터는 인식 모델을 평가하기 위한 미리 정의된 데이터일 수 있다. 예를 들어, 모델 평가부(141c)는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중 분석 결과가 부정확한 평가 데이터의 개수 또는 비율이 사전에 설정된 기준을 초과하는 경우 해당 모델이 그 기준을 만족하지 않는 것으로 평가할 수 있다.The model evaluation unit 141c serves to improve the analysis results of the neural network model. The model evaluation unit 141c inputs evaluation data into the neural network model, and when the analysis result output from the evaluation data does not meet preset standards, the model learning unit 141b can retrain the neural network model. . In this case, the evaluation data may be predefined data for evaluating the recognition model. For example, the model evaluation unit 141c determines that among the analysis results of the learned recognition model for evaluation data, if the number or ratio of inaccurate evaluation data exceeds a preset standard, the model satisfies the standard. It can be evaluated as not doing it.

이와 같은 방식으로 인공지능 프로세서(140)는 감시를 위한 인공지능 모델을 생성할 수 있으며, 생성된 인공지능 모델은 감시 장치(200)에 제공될 수 있다. 또한, 인공지능 프로세서(140)는 단일의 인공지능 모델 생성에 이용될 수 있을 뿐만 아니라, 복수의 인공지능 모델 생성에 이용될 수 있다. 구체적으로, 인공지능 프로세서(140)는 객체 검출 모델 및 이상 행동 분석 모델을 동시에 및/또는 시간 차이를 두고 생성할 수 있다. 객체 검출 모델은 영상에서 객체를 검출하는데 이용되고, 이상 행동 분석 모델은 영상을 분석하여 영상에 포함된 객체의 이상 행동 여부를 판단할 수 있다.In this way, the artificial intelligence processor 140 can create an artificial intelligence model for monitoring, and the generated artificial intelligence model can be provided to the monitoring device 200. Additionally, the artificial intelligence processor 140 can be used not only to create a single artificial intelligence model, but also to create multiple artificial intelligence models. Specifically, the artificial intelligence processor 140 may generate an object detection model and an abnormal behavior analysis model simultaneously and/or with time differences. The object detection model is used to detect objects in the video, and the abnormal behavior analysis model can analyze the video to determine whether objects included in the video behave abnormally.

제어부(130)는 통신부(110), 저장부(120), 인공지능 프로세서(140) 및 입력부(150)에 대한 전반적인 제어를 수행할 수 있다.The control unit 130 may perform overall control over the communication unit 110, storage unit 120, artificial intelligence processor 140, and input unit 150.

도 4는 본 발명의 실시예에 따른 감시 장치의 블록도이고, 도 5는 영상 분석부의 블록도이다.Figure 4 is a block diagram of a monitoring device according to an embodiment of the present invention, and Figure 5 is a block diagram of an image analysis unit.

도 4를 참조하면, 본 발명의 실시예에 따른 감시 장치(200)는 촬영부(210), 저장부(220), 제어부(230), 영상 분석부(240) 및 통신부(250)를 포함하여 구성된다.Referring to FIG. 4, the monitoring device 200 according to an embodiment of the present invention includes a photographing unit 210, a storage unit 220, a control unit 230, an image analysis unit 240, and a communication unit 250. It is composed.

촬영부(210)는 감시 영역을 촬영하여 감시 영역에 대한 영상을 생성할 수 있다. 이를 위하여, 촬영부(210)는 주변 광을 수신하는 렌즈(미도시), 광 신호를 전기 신호로 변환하는 이미지 센서(미도시) 및 전기 신호를 영상 신호로 변환하여 처리하는 영상 처리 센서(미도시)를 구비할 수 있다. 촬영부(210)에 의해 생성되는 영상은 정지 영상 또는 동영상일 수 있다.The photographing unit 210 may capture the surveillance area and generate an image of the surveillance area. To this end, the photographing unit 210 includes a lens (not shown) that receives ambient light, an image sensor (not shown) that converts optical signals into electrical signals, and an image processing sensor (not shown) that converts and processes electrical signals into image signals. Poetry) can be provided. The image generated by the photographing unit 210 may be a still image or a moving image.

저장부(220)는 촬영부(210)에 의해 생성된 촬영 영상을 저장할 수 있다. 또한, 저장부(220)는 통신부(250)를 통하여 수신된 인공지능 모델을 저장할 수 있다.The storage unit 220 may store the captured image generated by the capturing unit 210. Additionally, the storage unit 220 may store the artificial intelligence model received through the communication unit 250.

통신부(210)는 관리 서버(100)로 촬영 영상을 송신하고, 관리 서버(100)로부터 인공지능 모델을 수신할 수 있다. 또한, 통신부(210)는 모니터링 장치(300)로 촬영 영상을 송신하거나 이상 행동 판단 결과를 송신할 수 있다.The communication unit 210 may transmit a captured image to the management server 100 and receive an artificial intelligence model from the management server 100. Additionally, the communication unit 210 may transmit captured images or abnormal behavior determination results to the monitoring device 300.

제어부(230)는 촬영부(210), 저장부(220), 영상 분석부(240) 및 통신부(250)에 대한 전반적인 제어를 수행할 수 있다.The control unit 230 may perform overall control over the photographing unit 210, the storage unit 220, the image analysis unit 240, and the communication unit 250.

영상 분석부(240)는 촬영 영상을 분석하여 객체의 이상 행동 여부를 판단할 수 있다. 이를 위하여, 영상 분석부(240)는 저장부(220)에 저장된 인공지능 모델을 이용할 수 있다. 영상 분석부(240)가 이용하는 인공지능 모델은 관리 서버(100)로부터 제공된 것일 수 있다.The image analysis unit 240 may analyze the captured image to determine whether the object is behaving abnormally. For this purpose, the image analysis unit 240 may use the artificial intelligence model stored in the storage unit 220. The artificial intelligence model used by the image analysis unit 240 may be provided from the management server 100.

도 5를 참조하면, 영상 분석부(240)는 객체 검출부(241), 객체 추적부(242), 제1 이상 행동 판단부(243) 및 제2 이상 행동 판단부(244)를 포함하여 구성된다.Referring to FIG. 5, the image analysis unit 240 includes an object detection unit 241, an object tracking unit 242, a first abnormal behavior determination unit 243, and a second abnormal behavior determination unit 244. .

객체 검출부(241)는 영상에서 객체를 검출하는 역할을 수행한다. 이를 위하여, 객체 검출부(241)는 객체 검출 모델을 이용할 수 있다. 예를 들어, 객체 검출부(241)는 객체 검출 모델로서 욜로(YOLO; You Only Live Once) 알고리즘을 이용하여 영상에서 객체를 검출할 수 있다. 욜로 알고리즘은 영상에서 객체를 검출하는 속도가 상대적으로 빠르기 때문에 실시간 동영상을 처리하는 감시 카메라에 적당한 인공지능 알고리즘이다. 욜로 알고리즘은 Faster R-CNN, R_FCN 또는 FPN-FRCN와 같은 다른 객체 검출 알고리즘과는 다른 방식으로 동작할 수 있다. 즉, 욜로 알고리즘은 한 장의 입력 영상을 리사이즈(Resize)후 단일 신경망을 단 한 번 통과시켜 결과를 출력할 수 있다. 욜로 알고리즘에 의해 출력된 결과는 각 객체의 위치를 나타내는 바운딩 박스(Bounding Box) 및 해당 객체가 무엇인지에 대한 분류 확률을 포함할 수 있다.The object detection unit 241 performs the role of detecting objects in the image. For this purpose, the object detection unit 241 may use an object detection model. For example, the object detector 241 may detect an object in an image using the You Only Live Once (YOLO) algorithm as an object detection model. The YOLO algorithm is an artificial intelligence algorithm suitable for surveillance cameras that process real-time video because the speed of detecting objects in video is relatively fast. The YOLO algorithm may operate in a different way than other object detection algorithms such as Faster R-CNN, R_FCN or FPN-FRCN. In other words, the YOLO algorithm can resize one input image and output the result by passing it through a single neural network only once. The results output by the YOLO algorithm may include a bounding box indicating the location of each object and a classification probability of what the object is.

객체 추적부(242)는 객체 검출부(241)에 의해 검출된 객체를 추적하는 역할을 수행한다. 예를 들어, 객체 추적부(242)는 딥소트(DeepSORT) 알고리즘을 이용하여 객체를 추적할 수 있다.The object tracking unit 242 serves to track the object detected by the object detection unit 241. For example, the object tracking unit 242 may track the object using the DeepSORT algorithm.

객체 검출부(241)에 의해 이용되는 욜로 알고리즘 및 객체 추적부(242)에 의해 이용되는 딥소트 알고리즘은 경량화된 인공지능 알고리즘으로서, 상대적으로 적은 연산량으로 영상에 포함된 객체의 검출 및 추적이 수행될 수 있다.The YOLO algorithm used by the object detection unit 241 and the deep sort algorithm used by the object tracking unit 242 are lightweight artificial intelligence algorithms that allow detection and tracking of objects included in an image with a relatively small amount of calculation. You can.

제1 이상 행동 판단부(243)는 객체의 이상 행동 여부를 판단하는 역할을 수행한다. 예를 들어, 제1 이상 행동 판단부(243)는 객체가 정상적인 자세를 취하고 있는지, 또는 비정상적인 자세를 취하고 있는지를 판단할 수 있다.The first abnormal behavior determination unit 243 serves to determine whether the object behaves abnormally. For example, the first abnormal behavior determination unit 243 may determine whether the object is assuming a normal posture or an abnormal posture.

제1 이상 행동 판단부(243)는 영상에서 객체의 전체 몸체를 포함하는 제1 영역 및 객체의 일부 몸체를 포함하는 제2 영역 중 적어도 하나를 참조하여 객체의 이상 행동 여부를 판단할 수 있다. 예를 들어, 제1 이상 행동 판단부(243)는 제1 영역의 형태 또는 제2 영역의 위치를 참조하여 객체의 이상 행동 여부를 판단할 수 있다. 제1 영역 및 제2 영역은 전술한 욜로 알고리즘이 이용되어 생성된 영역을 포함할 수 있다. 즉, 제1 영역 및 제2 영역은 욜로 알고리즘에 의해 생성된 바운딩 박스일 수 있다.The first abnormal behavior determination unit 243 may determine whether the object is behaving abnormally by referring to at least one of a first area including the entire body of the object and a second area including a partial body of the object in the image. For example, the first abnormal behavior determination unit 243 may determine whether the object is behaving abnormally by referring to the shape of the first area or the location of the second area. The first area and the second area may include areas created using the above-described YOLO algorithm. That is, the first area and the second area may be bounding boxes generated by the YOLO algorithm.

제2 이상 행동 판단부(244)는 학습을 통하여 생성된 이상 행동 분석 모델을 이용하여 객체의 이상 행동 여부를 판단할 수 있다. 이상 행동 분석 모델은 학습용 영상에 대한 학습이 수행되어 생성될 수 있다. 제2 이상 행동 판단부(244)는 제1 영역에 포함된 객체에 대한 영상 데이터를 이상 행동 분석 모델에 적용하여 객체의 이상 행동 여부를 판단할 수 있다. 예를 들어, 제1 이상 행동 판단부(243)는 객체가 이상 해동을 수행한 것으로 판단되는 경우 제1 영역에 포함된 객체에 대한 영상 데이터를 제2 이상 행동 판단부(244)로 전달할 수 있다. 제2 이상 행동 판단부(244)는 제1 이상 행동 판단부(243)로부터 전달된 영상 데이터에 대한 분석으로 통하여 객체의 이상 행동 여부를 판단할 수 있다. 제1 이상 행동 판단부(243)에 의한 판단 결과뿐만 아니라 제2 이상 행동 판단부(244)에 의한 판단 결과가 종합되어 최종적으로 객체의 이상 행동 여부가 판단될 수 있다. 이로 인하여, 최종적인 판단 결과에 대한 신뢰도가 향상될 수 있다.The second abnormal behavior determination unit 244 may determine whether the object behaves abnormally using an abnormal behavior analysis model generated through learning. An abnormal behavior analysis model can be created by performing learning on training videos. The second abnormal behavior determination unit 244 may determine whether the object behaves abnormally by applying image data about the object included in the first area to the abnormal behavior analysis model. For example, if it is determined that the object has abnormally thawed, the first abnormal behavior determination unit 243 may transmit image data about the object included in the first area to the second abnormal behavior determination unit 244. . The second abnormal behavior determination unit 244 may determine whether the object is behaving abnormally by analyzing the image data transmitted from the first abnormal behavior determination unit 243. The judgment results by the first abnormal behavior determination unit 243 as well as the judgment results by the second abnormal behavior determination unit 244 are combined to finally determine whether the object is behaving abnormally. Because of this, reliability of the final judgment result can be improved.

본 발명에서 객체는 사람을 포함할 수 있다. 이상 행동 분석 모델은 서 있는 사람의 영상 데이터, 앉아 있는 사람의 영상 데이터 및 누워 있는 사람의 영상 데이터 등을 학습하여 생성될 수 있다.In the present invention, objects may include people. An abnormal behavior analysis model can be created by learning image data of a standing person, image data of a sitting person, and image data of a lying person.

한편, 객체의 이상 행동이 발생된 경우 영상 프레임별 객체의 움직임 변화가 크기 때문에 제1 영역 및 제2 영역에 대한 신뢰도가 감소될 수 있다. 예를 들어, 서 있던 사람이 쓰러지는 경우 객체의 움직임 변화가 크게 발생될 수 있다. 이러한 경우 객체 검출부(241)가 정상적으로 객체를 검출하지 못할 수 있다. 객체 검출부(241)가 정상적으로 객체를 검출하지 못하는 경우 제1 영역에 객체의 전체 몸체가 포함되지 못하거나 다른 객체의 전체 몸체 또는 일부 몸체가 포함될 수 있으며, 제1 영역에 대한 신뢰도가 감소될 수 있다.Meanwhile, when abnormal behavior of an object occurs, the reliability of the first and second areas may be reduced because the change in movement of the object for each video frame is large. For example, if a person who was standing falls down, the movement of the object may change significantly. In this case, the object detection unit 241 may not detect the object properly. If the object detection unit 241 does not detect the object normally, the first area may not include the entire body of the object or may include the entire body or part of the body of another object, and reliability of the first area may be reduced. .

제1 영역 및 제2 영역에 대한 신뢰도 감소를 보상하기 위하여 이상 행동 분석 모델은 관련 분포(in distribution) 데이터 및 비관련 분포(out of distribution) 데이터를 학습하여 생성될 수 있다. 여기서, 관련 분포 데이터는 객체의 정상적인 자세가 포함된 영상 데이터를 나타낸다. 예를 들어, 관련 분포 데이터는 서 있는 객체, 앉아 있는 객체 및 누워 있는 객체에 대한 영상 데이터를 포함할 수 있다. 비관련 분포 데이터는 객체의 자세가 명확하지 않은 영상 데이터 및 객체와는 무관한 정보를 포함하는 영상 데이터를 포함할 수 있다.In order to compensate for the decrease in reliability for the first and second areas, an abnormal behavior analysis model may be created by learning related distribution (in distribution) data and unrelated distribution (out of distribution) data. Here, the related distribution data represents image data including the normal posture of the object. For example, relevant distribution data may include image data for standing objects, sitting objects, and lying objects. Irrelevant distribution data may include image data in which the posture of an object is unclear and image data containing information unrelated to the object.

관련 분포 데이터뿐만 아니라 비관련 분포 데이터가 학습되어 이상 행동 분석 모델이 생성되기 때문에 제2 이상 행동 판단부(244)는 다양한 환경에서 검출된 객체의 이상 행동 여부를 판단할 수 있다.Since an abnormal behavior analysis model is created by learning not only related distribution data but also unrelated distribution data, the second abnormal behavior determination unit 244 can determine whether an object detected in various environments behaves abnormally.

도 6은 영상에 객체가 포함된 것을 나타낸 도면이고, 도 7은 영상에서 객체가 검출된 것을 나타낸 도면이며, 도 8은 영상에서 객체가 추적되는 것을 나타낸 도면이다.FIG. 6 is a diagram showing that an object is included in an image, FIG. 7 is a diagram showing an object detected in an image, and FIG. 8 is a diagram showing an object being tracked in an image.

도 6 및 도 7을 참조하면, 영상(500)은 객체(600)를 포함할 수 있으며, 객체 검출부(241)는 영상(500)에 포함된 객체(600)를 검출할 수 있다.Referring to FIGS. 6 and 7 , the image 500 may include an object 600, and the object detector 241 may detect the object 600 included in the image 500.

욜로 알고리즘을 이용하여 객체(600)를 검출하는 객체 검출부(241)는 객체(600)에 제1 영역(710) 및 제2 영역(720)을 설정할 수 있다. 제1 영역(710)은 객체(600)의 전체 몸체에 설정되고, 제2 영역(720)은 객체(600)의 일부 몸체에 설정될 수 있다.The object detector 241, which detects the object 600 using the YOLO algorithm, may set a first area 710 and a second area 720 in the object 600. The first area 710 may be set on the entire body of the object 600, and the second area 720 may be set on a portion of the body of the object 600.

전술한 바와 같이, 본 발명에서 객체(600)는 사람을 포함하고, 객체(600)의 일부 몸체는 사람의 머리를 포함할 수 있다. 이러한 경우 객체 검출부(241)는 사람의 전체 몸체에 제1 영역(710)을 설정하고, 사람의 머리에 제2 영역(720)을 설정할 수 있다.As described above, in the present invention, the object 600 includes a person, and a part of the body of the object 600 may include a human head. In this case, the object detector 241 may set the first area 710 on the entire body of the person and the second area 720 on the person's head.

도 6 및 도 7은 영상(500)에 하나의 객체(600)가 포함된 것을 도시하고 있으나, 영상(500)에 복수의 객체가 포함될 수도 있다. 이러한 경우 객체 검출부(241)는 복수의 객체에 대한 검출을 동시에 수행할 수 있다.6 and 7 illustrate that the image 500 includes one object 600, but the image 500 may also include a plurality of objects. In this case, the object detection unit 241 can simultaneously detect multiple objects.

도 8을 참조하면, 객체 추적부(242)는 영상(500) 내에서 객체(600)를 추적할 수 있다.Referring to FIG. 8 , the object tracking unit 242 may track the object 600 within the image 500 .

객체 추적부(242)가 객체(600)를 추적함에 따라 객체 검출부(241)에 의해 설정된 제1 영역(710) 및 제2 영역(720)도 객체(600)와 함께 영상(500) 내에서 이동할 수 있다.As the object tracking unit 242 tracks the object 600, the first area 710 and the second area 720 set by the object detection unit 241 also move within the image 500 along with the object 600. You can.

도 9는 제1 영역의 종횡비가 참조되어 객체의 자세가 판단되는 것을 설명하기 위한 도면이다.Figure 9 is a diagram for explaining that the posture of an object is determined by referring to the aspect ratio of the first area.

도 9를 참조하면, 제1 영역(710)의 종횡비가 참조되어 객체(600)의 자세가 판단될 수 있다.Referring to FIG. 9 , the posture of the object 600 may be determined by referring to the aspect ratio of the first area 710.

본 발명에서 제1 영역(710)의 종횡비는 제1 영역(710)의 가로 길이(H)에 대한 세로 길이(V)의 비율을 나타낸 것일 수 있다. 예를 들어, 제1 영역(710)의 가로 길이(H) 및 세로 길이(V)가 각각 2 및 3인 경우 제1 영역(710)의 종횡비는 3/2=1.5일 수 있다. 도 9는 (a)는 서 있는 객체(600)의 제1 영역(710)을 도시하고 있고, (b)는 앉아 있는 객체(600)의 제1 영역(710)을 도시하고 있으며, (c)는 누워 있는 객체(600)의 제1 영역(710)을 도시하고 있다. 이와 같이, 서 있는 객체(600)의 제1 영역(710)에 비하여 앉아 있는 객체(600)의 제1 영역(710)의 종횡비가 작게 형성되고, 앉아 있는 객체(600)의 제1 영역(710)에 비하여 누워 있는 객체(600)의 제1 영역(710)의 종횡비가 작게 형성될 수 있다.In the present invention, the aspect ratio of the first area 710 may represent the ratio of the vertical length (V) to the horizontal length (H) of the first area 710. For example, when the horizontal length (H) and vertical length (V) of the first area 710 are 2 and 3, respectively, the aspect ratio of the first area 710 may be 3/2 = 1.5. Figure 9 shows (a) the first area 710 of the standing object 600, (b) shows the first area 710 of the sitting object 600, and (c) shows the first area 710 of the lying object 600. In this way, the aspect ratio of the first area 710 of the sitting object 600 is formed to be small compared to the first area 710 of the standing object 600, and the first area 710 of the sitting object 600 is formed to be small. ) The aspect ratio of the first area 710 of the lying object 600 may be formed to be small.

제1 이상 행동 판단부(243)는 제1 영역(710)의 종횡비를 참조하여 객체(600)의 이상 행동 여부를 판단할 수 있다. 우선, 제1 이상 행동 판단부(243)는 제1 영역(710)의 종횡비를 참조하여 객체(600)의 자세를 판단할 수 있다. 예를 들어, 제1 영역(710)의 종횡비가 제1 임계치를 초과하는 경우 제1 이상 행동 판단부(243)는 객체(600)가 서 있는 것으로 판단할 수 있다. 제1 영역(710)의 종횡비가 제1 임계치에서 제2 임계치의 사이인 경우 제1 이상 행동 판단부(243)는 객체(600)가 앉아 있는 것으로 판단할 수 있다. 제1 영역(710)의 종횡비가 제2 임계치 이하인 경우 제1 이상 행동 판단부(243)는 객체(600)가 누워 있는 것으로 판단할 수 있다.The first abnormal behavior determination unit 243 may determine whether the object 600 is behaving abnormally by referring to the aspect ratio of the first area 710. First, the first abnormal behavior determination unit 243 may determine the posture of the object 600 with reference to the aspect ratio of the first area 710. For example, when the aspect ratio of the first area 710 exceeds the first threshold, the first abnormal behavior determination unit 243 may determine that the object 600 is standing. When the aspect ratio of the first area 710 is between the first threshold and the second threshold, the first abnormal behavior determination unit 243 may determine that the object 600 is sitting. When the aspect ratio of the first area 710 is less than or equal to the second threshold, the first abnormal behavior determination unit 243 may determine that the object 600 is lying down.

객체(600)의 자세에 대한 판단이 완료된 경우 제1 이상 행동 판단부(243)는 객체(600)의 자세간 변화가 사전에 설정된 시간 이내에 수행되는 경우 객체(600)가 이상 행동을 수행한 것으로 판단할 수 있다. 예를 들어, 객체(600)가 서 있는 상태에서 갑자기 누운 경우 제1 이상 행동 판단부(243)는 객체(600)가 이상 행동을 수행한 것으로 판단할 수 있다.When the determination of the posture of the object 600 is completed, the first abnormal behavior determination unit 243 determines that the object 600 has performed an abnormal behavior if the change between postures of the object 600 is performed within a preset time. You can judge. For example, when the object 600 suddenly lies down from a standing state, the first abnormal behavior determination unit 243 may determine that the object 600 has performed an abnormal behavior.

또는, 제1 이상 행동 판단부(243)는 객체(600)의 자세간 변화가 사전에 설정된 시간 이내에 수행되는 경우 이상 행동 카운팅을 수행할 수 있다. 그리하여 이상 행동 카운팅의 수가 사전에 설정되 임계수를 초과하는 경우 제1 이상 행동 판단부(243)는 객체(600)가 이상 행동을 수행한 것으로 판단할 수 있다.Alternatively, the first abnormal behavior determination unit 243 may perform abnormal behavior counting when a change between postures of the object 600 is performed within a preset time. Accordingly, when the number of abnormal behavior counting exceeds a preset threshold number, the first abnormal behavior determination unit 243 may determine that the object 600 has performed an abnormal behavior.

도 10은 제2 영역의 위치가 참조되어 객체의 자세가 판단되는 것을 설명하기 위한 도면이다.FIG. 10 is a diagram for explaining that the posture of an object is determined by referring to the location of the second area.

도 10을 참조하면, 제2 영역(720)의 위치가 참조되어 객체(600)의 자세가 판단될 수 있다.Referring to FIG. 10 , the posture of the object 600 may be determined by referring to the location of the second area 720.

제1 이상 행동 판단부(243)는 제2 영역(720)의 기준 위치에 대한 제2 영역(720)의 현재 위치를 참조하여 객체(600)의 이상 행동 여부를 판단할 수 있다. 제2 영역(720)의 기준 위치는 객체(600)가 서 있는 자세에서의 위치일 수 있고, 이전 프레임에서 제2 영역(720)의 위치일 수도 있다.The first abnormal behavior determination unit 243 may determine whether the object 600 is behaving abnormally by referring to the current position of the second area 720 with respect to the reference position of the second area 720. The reference position of the second area 720 may be the position of the object 600 in a standing posture, or may be the position of the second area 720 in the previous frame.

기준 위치에 존재하는 제2 영역(이하, 기준 영역이라 한다)과 현재 위치에 존재하는 제2 영역(720) 간의 위치 관계는 기준 영역과 제2 영역(720) 간의 거리(D1, D2) 및 각도(A1, A2)에 의해 결정될 수 있다. 기준 영역과 제2 영역(720) 간의 거리(D1, D2)는 기준 영역의 중심과 제2 영역(720)의 중심 간의 거리일 수 있다. 기준 영역과 제2 영역(720) 간의 각도(A1, A2)는 기준 영역의 중심과 제2 영역(720)의 중심을 연결한 선과 기준선 간의 각도일 수 있다. 여기서, 기준선은 기준 영역의 중심에서 방사상으로 형성된 선으로서 예를 들어, 기준 영역의 중심에서 수직방향으로 하측 방향으로 형성된 선일 수 있다.The positional relationship between the second area (hereinafter referred to as the reference area) existing at the reference location and the second area 720 existing at the current location is the distance (D1, D2) and angle between the reference area and the second area 720. It can be determined by (A1, A2). The distances D1 and D2 between the reference area and the second area 720 may be the distance between the center of the reference area and the center of the second area 720. The angles A1 and A2 between the reference area and the second area 720 may be the angle between the line connecting the center of the reference area and the center of the second area 720 and the baseline. Here, the reference line is a line formed radially from the center of the reference area. For example, the reference line may be a line formed vertically downward from the center of the reference area.

기준 영역에 대한 제2 영역(720)의 위치를 참조하여 제1 이상 행동 판단부(243)는 객체(600)의 자세를 판단하고, 이를 기초로 객체(600)의 이상 행동 여부를 판단할 수 있다.The first abnormal behavior determination unit 243 may determine the posture of the object 600 with reference to the position of the second area 720 with respect to the reference area, and determine whether the object 600 is behaving abnormally based on this. there is.

도 11은 객체의 일부 몸체의 위치가 참조되어 객체의 자세가 판단되는 것을 설명하기 위한 도면이다.Figure 11 is a diagram for explaining that the posture of an object is determined by referring to the position of a part of the body of the object.

도 11을 참조하면, 객체(600)의 일부 몸체의 위치가 참조되어 객체(600)의 자세가 판단될 수 있다.Referring to FIG. 11 , the position of a part of the body of the object 600 may be referred to determine the posture of the object 600.

제1 이상 행동 판단부(243)는 영상(500)에서 객체(600)의 전체 몸체를 포함하는 제3 영역(730)을 설정하고, 제3 영역(730) 중 객체(600)의 일부 몸체가 배치된 위치를 참조하여 객체(600)의 이상 행동 여부를 판단할 수 있다.The first abnormal behavior determination unit 243 sets a third area 730 including the entire body of the object 600 in the image 500, and a partial body of the object 600 among the third area 730 It is possible to determine whether the object 600 is behaving abnormally by referring to its placed location.

제3 영역(730)은 복수의 부분 영역을 포함할 수 있다. 도 11은 제3 영역(730)이 9개의 부분 영역을 포함하고 있는 것으로 도시하고 있으나, 이는 예시적인 것으로서 제3 영역(730)에 포함된 부분 영역의 개수는 다양하게 결정될 수 있다.The third area 730 may include a plurality of partial areas. FIG. 11 shows that the third area 730 includes 9 partial areas. However, this is an example and the number of partial areas included in the third area 730 may be determined in various ways.

제1 이상 행동 판단부(243)는 복수의 부분 영역 중 객체(600)의 일부 몸체를 포함하고 있는 부분 영역을 참조하여 객체(600)의 이상 행동 여부를 판단할 수 있다. 예를 들어, 제1 이상 행동 판단부(243)는 사람의 머리에 해당되는 객체(600)의 일부 몸체가 상측 부분 영역에 포함되는 경우 객체(600)가 서 있는 것으로 판단할 수 있다. 제1 이상 행동 판단부(243)는 객체(600)의 일부 몸체가 중간 부분 영역에 포함되는 경우 객체(600)가 앉아 있는 것으로 판단할 수 있다. 제1 이상 행동 판단부(243)는 객체(600)의 일부 몸체가 하측 부분 영역에 포함되는 경우 객체(600)가 누워 있는 것으로 판단할 수 있다. 제1 이상 행동 판단부(243)는 객체(600)의 일부 몸체가 복수의 부분 영역에 걸쳐 포함되는 경우 객체(600)의 일부 몸체를 대부분 포함하고 있는 부분 영역을 기초로 객체(600)의 자세를 판단하고, 객체(600)의 이상 행동 여부를 판단할 수 있다.The first abnormal behavior determination unit 243 may determine whether the object 600 is behaving abnormally by referring to a partial region that includes a partial body of the object 600 among the plurality of partial regions. For example, the first abnormal behavior determination unit 243 may determine that the object 600 is standing when a part of the body of the object 600 corresponding to a person's head is included in the upper partial region. The first abnormal behavior determination unit 243 may determine that the object 600 is sitting when a part of the body of the object 600 is included in the middle region. The first abnormal behavior determination unit 243 may determine that the object 600 is lying down when a portion of the body of the object 600 is included in the lower partial region. When a partial body of the object 600 is included over a plurality of partial regions, the first abnormal behavior determination unit 243 determines the posture of the object 600 based on the partial region containing most of the partial body of the object 600. It is possible to determine whether the object 600 is behaving abnormally.

이상은 관리 서버(100) 및 감시 장치(200)가 별도의 장치로 구현된 것을 도시하고 있으나, 본 발명의 몇몇 실시예에 따르면 관리 서버(100) 및 감시 장치(200)는 하나의 장치로 구현될 수 있다. 또는, 관리 서버(100)의 기능 중 적어도 일부가 감시 장치(200)에 구비되거나, 감시 장치(200)의 기능 중 적어도 일부가 관리 서버(100)에 구비될 수도 있다.The above shows that the management server 100 and the monitoring device 200 are implemented as separate devices, but according to some embodiments of the present invention, the management server 100 and the monitoring device 200 are implemented as one device. It can be. Alternatively, at least part of the functions of the management server 100 may be provided in the monitoring device 200, or at least part of the functions of the monitoring device 200 may be provided in the management server 100.

예를 들어, 감시 장치(200)는 영상(500)을 저장하고, 저장된 영상(500)을 모니터링 장치(300)로 제공할 수 있다. 또는, 감시 장치(200)는 감시에 필요한 데이터를 학습하여 인공지능 모델을 생성할 수 있다. 이를 위하여, 감시 장치(200)는 관리 서버(100)의 인공지능 프로세서(140)에 대응하는 수단을 구비할 수 있다. 이러한 경우 감시 장치(200)는 실시간으로 촬영된 영상(500)을 기초로 인공지능 모델을 갱신하고, 갱신된 인공지능 모델을 이용하여 영상 분석을 수행할 수 있다.For example, the monitoring device 200 may store an image 500 and provide the stored image 500 to the monitoring device 300 . Alternatively, the monitoring device 200 can create an artificial intelligence model by learning data necessary for monitoring. To this end, the monitoring device 200 may be equipped with means corresponding to the artificial intelligence processor 140 of the management server 100. In this case, the monitoring device 200 may update the artificial intelligence model based on the image 500 captured in real time and perform image analysis using the updated artificial intelligence model.

또한, 관리 서버(100)는 인공지능 모델을 이용하여 영상(500)에서 객체(600)를 검출하고, 객체(600)를 추적하며, 객체(600)의 이상 행동 여부를 판단할 수 있다. 이를 위하여, 관리 서버(100)는 감시 장치(200)의 영상 분석부(240)에 대응되는 수단을 구비할 수 있다.Additionally, the management server 100 can detect the object 600 in the image 500, track the object 600, and determine whether the object 600 is behaving abnormally using an artificial intelligence model. To this end, the management server 100 may be provided with means corresponding to the image analysis unit 240 of the monitoring device 200.

도 12는 본 발명의 실시예에 따른 감시 방법을 나타낸 흐름도이다.Figure 12 is a flowchart showing a monitoring method according to an embodiment of the present invention.

도 12를 참조하면, 감시 장치(200)에 의한 감시 방법은 영상(500)에서 객체(600)를 검출하는 단계(S810), 검출된 객체(600)를 추적하는 단계(S820), 및 객체(600)의 이상 행동 여부를 판단하는 단계(S830)를 포함할 수 있다.Referring to FIG. 12, the monitoring method by the monitoring device 200 includes a step of detecting an object 600 in the image 500 (S810), a step of tracking the detected object 600 (S820), and an object ( 600) may include a step (S830) of determining whether abnormal behavior exists.

여기서, 객체(600)의 이상 행동 여부를 판단하는 단계는 영상(500)에서 객체(600)의 전체 몸체를 포함하는 제1 영역(710) 및 객체(600)의 일부 몸체를 포함하는 제2 영역(720) 중 적어도 하나를 참조하여 객체(600)의 이상 행동 여부를 판단하는 단계를 포함할 수 있다. 제1 영역(710) 및 제2 영역(720)은 욜로 알고리즘이 이용되어 생성된 것으로서, 객체(600)의 이상 행동 여부 판단은 제1 영역(710)의 종횡비를 참조하거나, 제2 영역(720)의 기준 위치에 대한 제2 영역(720)의 현재 위치를 참조하거나, 영상(500)에서 객체(600)의 전체 몸체를 포함하는 제3 영역(730)을 설정하고, 제3 영역(730) 중 객체(600)의 일부 몸체가 배치된 위치를 참조하여 수행될 수 있다.Here, the step of determining whether the object 600 is behaving abnormally involves selecting a first region 710 including the entire body of the object 600 and a second region including a partial body of the object 600 in the image 500. It may include determining whether the object 600 is behaving abnormally by referring to at least one of 720 . The first area 710 and the second area 720 were created using the YOLO algorithm. To determine whether the object 600 is behaving abnormally, refer to the aspect ratio of the first area 710 or use the YOLO algorithm to determine whether the object 600 is behaving abnormally. ) refer to the current position of the second area 720 with respect to the reference position of ), or set a third area 730 including the entire body of the object 600 in the image 500, and set the third area 730 This may be performed by referring to the location where a part of the body of the object 600 is placed.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described with reference to the above and the attached drawings, those skilled in the art will understand that the present invention can be implemented in other specific forms without changing the technical idea or essential features. You will understand that it exists. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.

10: 감시 시스템 100: 관리 서버
110: 통신부 120: 저장부
130: 제어부 140: 인공지능 프로세서
141: 데이터 학습부 141a: 데이터 획득부
141b: 모델 학습부 141c: 모델 평가부
150: 입력부 200: 감시 장치
210: 촬영부 220: 저장부
230: 제어부 240: 영상 분석부
250: 통신부 300: 모니터링 장치
400: 통신망10: surveillance system 100: management server
110: communication unit 120: storage unit
130: Control unit 140: Artificial intelligence processor
141: Data learning unit 141a: Data acquisition unit
141b: model learning unit 141c: model evaluation unit
150: input unit 200: monitoring device
210: recording unit 220: storage unit
230: Control unit 240: Image analysis unit
250: Communication unit 300: Monitoring device
400: communication network

Claims (20)

영상에서 객체를 검출하는 객체 검출부;
상기 검출된 객체를 추적하는 객체 추적부; 및
상기 객체의 이상 행동 여부를 판단하는 제1 이상 행동 판단부를 포함하되,
상기 제1 이상 행동 판단부는 상기 영상에서 상기 객체의 전체 몸체를 포함하는 제1 영역 및 상기 객체의 일부 몸체를 포함하는 제2 영역 중 적어도 하나를 참조하여 상기 객체의 이상 행동 여부를 판단하는 감시 장치.An object detection unit that detects objects in an image;
an object tracking unit that tracks the detected object; and
Includes a first abnormal behavior determination unit that determines whether the object behaves abnormally,
The first abnormal behavior determination unit is a monitoring device that determines whether the object behaves abnormally by referring to at least one of a first area containing the entire body of the object and a second area containing a partial body of the object in the image. . 제1 항에 있어서,
상기 객체 검출부는 욜로(YOLO; You Only Live Once) 알고리즘을 이용하여 상기 영상에서 객체를 검출하는 감시 장치.According to claim 1,
The object detection unit is a surveillance device that detects objects in the image using the YOLO (You Only Live Once) algorithm. 제2 항에 있어서,
상기 제1 영역 및 제2 영역은 상기 욜로 알고리즘이 이용되어 생성된 영역을 포함하는 감시 장치.According to clause 2,
The first area and the second area are monitoring devices including areas created using the YOLO algorithm. 제1 항에 있어서,
상기 객체 추적부는 딥소트(DeepSORT) 알고리즘을 이용하여 상기 검출된 객체를 추적하는 감시 장치.According to claim 1,
The object tracking unit is a monitoring device that tracks the detected object using the DeepSORT algorithm. 제1 항에 있어서,
상기 제1 이상 행동 판단부는 상기 제1 영역의 종횡비를 참조하여 상기 객체의 이상 행동 여부를 판단하는 감시 장치.According to claim 1,
The first abnormal behavior determination unit is a monitoring device that determines whether the object behaves abnormally by referring to the aspect ratio of the first area. 제1 항에 있어서,
상기 제1 이상 행동 판단부는 상기 제2 영역의 기준 위치에 대한 상기 제2 영역의 현재 위치를 참조하여 상기 객체의 이상 행동 여부를 판단하는 감시 장치.According to claim 1,
The first abnormal behavior determination unit is a monitoring device that determines whether the object behaves abnormally by referring to the current location of the second area with respect to the reference position of the second area. 제1 항에 있어서,
상기 제1 이상 행동 판단부는 상기 영상에서 상기 객체의 전체 몸체를 포함하는 제3 영역을 설정하고, 상기 제3 영역 중 상기 객체의 일부 몸체가 배치된 위치를 참조하여 상기 객체의 이상 행동 여부를 판단하는 감시 장치.According to claim 1,
The first abnormal behavior determination unit sets a third area including the entire body of the object in the image, and determines whether the object is behaving abnormally by referring to the position where a part of the body of the object is located in the third area. monitoring device. 제1 항에 있어서,
학습을 통하여 생성된 이상 행동 분석 모델을 이용하여 상기 객체의 이상 행동 여부를 판단하는 제2 이상 행동 판단부를 더 포함하는 감시 장치.According to claim 1,
A monitoring device further comprising a second abnormal behavior determination unit that determines whether the object behaves abnormally using an abnormal behavior analysis model generated through learning. 제8 항에 있어서,
상기 이상 행동 분석 모델은 관련 분포(in distribution) 데이터 및 비관련 분포(out of distribution) 데이터를 학습하여 생성된 것을 포함하는 감시 장치.According to clause 8,
The abnormal behavior analysis model is a monitoring device including one generated by learning related distribution (in distribution) data and unrelated distribution (out of distribution) data. 제1 항에 있어서,
상기 객체는 사람을 포함하고, 상기 객체의 일부 몸체는 사람의 머리를 포함하는 감시 장치.According to claim 1,
A surveillance device wherein the object includes a person, and a portion of the body of the object includes a human head. 영상에서 객체를 검출하는 단계;
상기 검출된 객체를 추적하는 단계; 및
상기 객체의 이상 행동 여부를 판단하는 단계를 포함하되,
상기 객체의 이상 행동 여부를 판단하는 단계는 상기 영상에서 상기 객체의 전체 몸체를 포함하는 제1 영역 및 상기 객체의 일부 몸체를 포함하는 제2 영역 중 적어도 하나를 참조하여 상기 객체의 이상 행동 여부를 판단하는 단계를 포함하는 감시 방법.Detecting an object in an image;
tracking the detected object; and
Including determining whether the object behaves abnormally,
The step of determining whether the object behaves abnormally refers to whether the object behaves abnormally by referring to at least one of a first area containing the entire body of the object and a second area containing a partial body of the object in the image. A monitoring method including a judgment step. 제11 항에 있어서,
상기 영상에서 객체를 검출하는 단계는 욜로(YOLO; You Only Live Once) 알고리즘을 이용하여 상기 영상에서 객체를 검출하는 단계를 포함하는 감시 방법.According to claim 11,
The step of detecting an object in the image includes detecting the object in the image using a YOLO (You Only Live Once) algorithm. 제12 항에 있어서,
상기 제1 영역 및 제2 영역은 상기 욜로 알고리즘이 이용되어 생성된 영역을 포함하는 감시 방법.According to claim 12,
The first area and the second area include areas created using the YOLO algorithm. 제11 항에 있어서,
상기 검출된 객체를 추적하는 단계는 딥소트(DeepSORT) 알고리즘을 이용하여 상기 검출된 객체를 추적하는 단계를 포함하는 감시 방법.According to claim 11,
The tracking of the detected object includes tracking the detected object using a DeepSORT algorithm. 제11 항에 있어서,
상기 객체의 이상 행동 여부를 판단하는 단계는 상기 제1 영역의 종횡비를 참조하여 상기 객체의 이상 행동 여부를 판단하는 단계를 포함하는 감시 방법.According to claim 11,
The step of determining whether the object behaves abnormally includes determining whether the object behaves abnormally by referring to the aspect ratio of the first area. 제11 항에 있어서,
상기 객체의 이상 행동 여부를 판단하는 단계는 상기 제2 영역의 기준 위치에 대한 상기 제2 영역의 현재 위치를 참조하여 상기 객체의 이상 행동 여부를 판단하는 단계를 포함하는 감시 방법.According to claim 11,
The step of determining whether the object behaves abnormally includes determining whether the object behaves abnormally by referring to the current location of the second area with respect to the reference position of the second area. 제11 항에 있어서,
상기 객체의 이상 행동 여부를 판단하는 단계는,
상기 영상에서 상기 객체의 전체 몸체를 포함하는 제3 영역을 설정하는 단계; 및
상기 제3 영역 중 상기 객체의 일부 몸체가 배치된 위치를 참조하여 상기 객체의 이상 행동 여부를 판단하는 단계를 포함하는 감시 방법.According to claim 11,
The step of determining whether the object behaves abnormally is,
setting a third area including the entire body of the object in the image; and
A monitoring method comprising determining whether the object is behaving abnormally by referring to a location where a part of the body of the object is located in the third area. 제11 항에 있어서,
학습을 통하여 생성된 이상 행동 분석 모델을 이용하여 상기 객체의 이상 행동 여부를 판단하는 단계를 더 포함하는 감시 방법.According to claim 11,
A monitoring method further comprising determining whether the object behaves abnormally using an abnormal behavior analysis model generated through learning. 제18 항에 있어서,
상기 이상 행동 분석 모델은 관련 분포(in distribution) 데이터 및 비관련 분포(out of distribution) 데이터를 학습하여 생성된 것을 포함하는 감시 방법.According to clause 18,
A surveillance method including one in which the abnormal behavior analysis model is generated by learning related distribution (in distribution) data and unrelated distribution (out of distribution) data. 제11 항에 있어서,
상기 객체는 사람을 포함하고, 상기 객체의 일부 몸체는 사람의 머리를 포함하는 감시 방법.According to claim 11,
A method of surveillance, wherein the object includes a person, and a portion of the body of the object includes a person's head.

Images