KR20230152410A - Video analysis device using a multi camera consisting of a plurality of fixed cameras - Google Patents

Abstract

다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 개시된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함할 수 있다.A video analysis device using multiple cameras and moving cameras is disclosed. The video analysis device includes a video data processing module that preprocesses multi-camera images generated by shooting an extended surveillance area by multiple cameras and moving camera images created by shooting objects by a moving camera, and analyzes objects expressed in the multi-camera images. Detecting and tracking a possible first object, and controlling the moving camera to generate the moving camera image by photographing the second object when detecting a second object to be continuously tracked among the objects displayed in the multi-camera image, An image analysis module that detects and tracks an analyzable third object corresponding to a second object in the moving camera image, and detects an event matching an event condition in any or both of the multi-camera image and the moving camera image. It can be included.

Description

다중 카메라 및 이동 카메라를 이용한 영상 분석 장치{Video analysis device using a multi camera consisting of a plurality of fixed cameras}Video analysis device using a multi camera consisting of a plurality of fixed cameras}

본 발명은 다중 카메라 및 이동 카메라로 촬영한 영상을 분석하는 기술에 관한 것이다.The present invention relates to technology for analyzing images taken with multiple cameras and mobile cameras.

본 발명은 과학기술정보통신부(과제관리기관: 경기도경제과학진흥원)의 지원으로 2021년 10월 1일부터 2022년 4월 30일에 수행된 'AI 기술실증 테스트베드 연계 실증 지원사업: AI 영상분석과 로봇 융복합 생활안전 하이브리드 솔루션'(과제번호 X2121007)의 결과물이다. The present invention was developed through the 'AI Technology Verification Testbed Linkage Demonstration Support Project: AI Image Analysis' conducted from October 1, 2021 to April 30, 2022 with the support of the Ministry of Science and ICT (Project Management Agency: Gyeonggi Province Economic and Science Promotion Agency). It is the result of the ‘Life Safety Hybrid Solution that combines robots and robots’ (project number X2121007).

감시 카메라는 소정 영역을 감시할 목적으로 설치된다. 감시하려는 영역이 감시 카메라가 커버할 수 있는 범위보다 크면, 회전할 수 있는 PTZ 카메라가 설치될 수 있다. 회전, 틸트 및 줌이 가능하므로, PTZ 카메라가 촬영할 수 있는 감시 영역은 특정 방향을 향하도록 고정된 고정 카메라가 촬영할 수 있는 감시 영역보다 넓다. 하지만 PTZ 카메라는 고정 카메라에 비해 상대적으로 고가이다. 한편, PTZ 카메라는 회전하기 때문에, PTZ 카메라가 현재 촬영하고 있는 영역의 주변은 촬영되지 않는다. 이로 인해, 고정 카메라와 PTZ 카메라로 구성된 CCTV 카메라 1식이 선호되고 있다.Surveillance cameras are installed for the purpose of monitoring a certain area. If the area to be monitored is larger than what a surveillance camera can cover, a rotatable PTZ camera can be installed. Because rotation, tilt, and zoom are possible, the surveillance area that a PTZ camera can capture is wider than the surveillance area that a fixed camera fixed to face a specific direction can capture. However, PTZ cameras are relatively expensive compared to fixed cameras. Meanwhile, because the PTZ camera rotates, the area around the area that the PTZ camera is currently shooting is not captured. For this reason, a single CCTV camera consisting of a fixed camera and a PTZ camera is preferred.

한국 공개특허공보 제10-2021-0065647호Korean Patent Publication No. 10-2021-0065647

본 발명의 실시예는 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있는 다중 카메라를 이용하여 촬영한 복수의 카메라 영상을 하나의 고정 카메라가 촬영한 영상으로 취급하여 분석할 수 있는 방안을 제공하고자 한다. 즉, 감시 영역을 확장하면서도 그에 따른 비용 증가를 최소화할 수 있는 영상 분석 방안을 제공하고자 한다. An embodiment of the present invention uses a fixed camera that is relatively inexpensive compared to a PTZ camera, and multiple camera images captured using multiple cameras capable of shooting the same or larger surveillance area as a PTZ camera are converted into a single fixed camera. We would like to provide a way to treat and analyze video taken by . In other words, we aim to provide a video analysis method that can expand the surveillance area while minimizing the resulting cost increase.

한편, 본 발명의 실시예는 다중 카메라에 의해 발생한 사각 영역을 이동 카메라를 이용하여 촬영할 수 있는 영상 분석 장치를 제공하고자 한다.Meanwhile, an embodiment of the present invention seeks to provide an image analysis device that can capture blind areas created by multiple cameras using a moving camera.

또한 본 발명의 실시예는 다중 카메라에 의해 검출된 이벤트의 발생 위치로 이동 카메라를 이동시킬 수 있는 영상 분석 장치를 제공하고자 한다. Additionally, an embodiment of the present invention seeks to provide an image analysis device that can move a mobile camera to the location of an event detected by multiple cameras.

본 발명의 일 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다. According to one aspect of the present invention, an image analysis device using multiple cameras and a moving camera is provided. The video analysis device includes a video data processing module that preprocesses multi-camera images generated by shooting an extended surveillance area by multiple cameras and moving camera images created by shooting objects by a moving camera, and analyzes objects expressed in the multi-camera images. Detecting and tracking a possible first object, and controlling the moving camera to generate the moving camera image by photographing the second object when detecting a second object to be continuously tracked among the objects displayed in the multi-camera image, An image analysis module that detects and tracks an analyzable third object corresponding to a second object in the moving camera image, and detects an event matching an event condition in any or both of the multi-camera image and the moving camera image. It can be included. The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.

일 실시예로, 상기 영상 분석 모듈은 상기 다중 카메라 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 이동 카메라 영상에서 상기 제3 객체를 식별하는 객체 검출부, 상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부, 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부 및 상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함할 수 있다.In one embodiment, the image analysis module detects the first object and the second object in the multi-camera image, an object detector that identifies the third object in the moving camera image, and an object detector that identifies the third object in the multi-camera image. 1 An object tracking unit that tracks the movement of an object and tracks the movement of the third object in the moving camera image, an event detection unit that detects the event by analyzing the movement of the first object and the movement of the third object, and It may include a movement control unit that calculates the location of the second object and controls the mobile camera to move toward the calculated location and photograph the third object.

일 실시예로, 상기 이벤트 검출부는 상기 다중 카메라 영상 및 상기 이동 카메라 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부 및 상기 다중 카메라 영상 및 상기 이동 카메라 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함할 수 있다.In one embodiment, the event detection unit includes a deep learning event detection unit that detects events by analyzing the multi-camera images and the moving camera images in a deep learning method, and a deep learning event detector that analyzes the multi-camera images and the moving camera images in a rule-based method. It may include a rule-based event detection unit that detects events.

일 실시예로, 상기 이동 카메라는 비행 드론 및 로봇 중 어느 하나에 장착되며, 상기 이동 제어부는 상기 이동 카메라가 상기 제3 객체를 향해 이동하는 경로를 설정할 수 있다. In one embodiment, the mobile camera is mounted on one of a flying drone and a robot, and the movement control unit can set a path for the mobile camera to move toward the third object.

일 실시예로, 상기 이동 제어부는 상기 다중 카메라 및 시야 방해물 중 어느 하나 또는 모두에 의해 정의된 사각 영역을 촬영하도록 상기 이동 카메라의 경로를 설정할 수 있다. In one embodiment, the movement control unit may set the path of the moving camera to photograph a blind area defined by one or both of the multiple cameras and the view obstruction.

일 실시예로, 상기 영상 데이터 처리 모듈은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상을 이미지 스티칭에 의해 결합하여 상기 다중 카메라 영상으로 변환할 수 있다. In one embodiment, the image data processing module may combine a plurality of fixed camera images generated by the plurality of fixed cameras by image stitching and convert them into the multi-camera image.

일 실시예로, 상기 다중 카메라 영상은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상이며, 상기 복수의 고정 카메라 영상은 상기 복수의 개별 감시 영역 사이의 공간적 관계를 학습한 상기 객체 식별부 및 상기 객체 추적부에 의해 단일 영상으로 취급될 수 있다. In one embodiment, the multi-camera image is a plurality of fixed camera images generated by the plurality of fixed cameras, and the plurality of fixed camera images include the object identification unit that learned the spatial relationship between the plurality of individual surveillance areas, and It can be treated as a single image by the object tracking unit.

본 발명의 다른 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 상기 확장 감시 영역에 포함되지 않은 사각 영역을 촬영하도록 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에서, 분석 가능한 제1 객체를 검출 및 추적하고, 상기 이동 카메라 영상에서 분석 가능한 제2 객체를 검출 및 추적하고, 상기 제1 객체의 움직임 및 상기 제2 객체의 움직임 중 어느 하나 또는 모두를 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다. According to another aspect of the present invention, an image analysis device using multiple cameras and a moving camera is provided. The video analysis device preprocesses multi-camera images generated by multiple cameras shooting an extended surveillance area and moving camera images received from a moving camera moving along a set path to capture blind areas not included in the extended surveillance area. Detecting and tracking a first object that can be analyzed in the image data processing module and the multi-camera image, detecting and tracking a second object that can be analyzed in the moving camera image, and detecting and tracking the movement of the first object and the second object. It may include a video analysis module that detects an event that meets event conditions by analyzing any or all of the movements. The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.

일 실시예로, 상기 영상 분석 모듈은 상기 다중 카메라 영상에서 상기 제1 객체 및 상기 이동 카메라 영상에서 상기 제2 객체를 검출하는 객체 검출부, 상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제2 객체의 움직임을 추적하는 객체 추적부, 상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부 및 상기 제1 객체의 움직임 및 상기 제2 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함할 수 있다. In one embodiment, the image analysis module includes an object detector that detects the first object in the multi-camera image and the second object in the moving camera image, and tracks the movement of the first object in the multi-camera image, An object tracking unit that tracks the movement of the second object in the moving camera image, a movement control unit that controls the moving camera to move along the path, and an object tracking unit that analyzes the movement of the first object and the movement of the second object It may include an event detection unit that detects an event.

일 실시예로, 상기 제1 객체가 상기 사각 영역에 진입하면, 상기 객체 검출부는 상기 이동 카메라 영상에서 상기 제1 객체에 대응하는 제3 객체를 검출하며, 상기 객체 추적부는 상기 이동 카메라 영상에서 상기 제3 객체를 추적할 수 있다. In one embodiment, when the first object enters the blind area, the object detection unit detects a third object corresponding to the first object in the moving camera image, and the object tracking unit detects the third object in the moving camera image. A third object can be tracked.

본 발명의 또 다른 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템이 제공된다. 영상 분석 시스템은 감시 공간 내에 설치된 다중 카메라로부터 수신한 다중 카메라 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 제1 지능형 에지장치 및 이동 수단에 탑재되어 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며, 이동 카메라 영상을 분석하여 제2 메타 데이터를 생성하는 제2 지능형 에지장치를 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다. According to another aspect of the present invention, a video analysis system using multiple cameras and moving cameras is provided. The video analysis system generates first metadata by analyzing multi-camera video received from multiple cameras installed in the surveillance space, and is mounted on the first intelligent edge device and means of transportation that calculates the path to the location of the event when an event is detected. It moves along the set path from the current location to the event occurrence location, and may include a second intelligent edge device that analyzes the moving camera image and generates second metadata. The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.

일 실시예로, 영상 분석 시스템은 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상분석장치를 더 포함할 수 있다. In one embodiment, the video analysis system may further include an edge-based video analysis device that receives and analyzes the first metadata and the second metadata.

본 발명의 실시예에 따르면, 다중 카메라가 생성한 복수의 카메라 영상을 소프트웨어적으로 처리함으로써, 개별 감시 영역을 가진 복수의 고정 카메라를 하나의 확장 감시 영역을 가진 카메라와 같이 활용할 수 있게 되어 비용 대비 효율이 극대화될 수 있다. 특히, 복수의 카메라 영상이 현장에서 분석되기 때문에, 원격지에 위치한 영상분석장치로 전송하기 위해 필요한 통신 자원 역시 크게 감소될 수 있다.According to an embodiment of the present invention, by processing multiple camera images generated by multiple cameras through software, multiple fixed cameras with individual surveillance areas can be utilized like a camera with one extended surveillance area, thereby reducing cost. Efficiency can be maximized. In particular, because multiple camera images are analyzed on-site, the communication resources required to transmit them to an image analysis device located in a remote location can also be greatly reduced.

특히, 넓은 감시 공간을 감시하기 위해 많은 다중 카메라 또는 고정 카메라를 설치하는 대신, 다중 카메라와 이동 카메라를 함께 이용함으로써, 넓은 감시 공간을 효율적으로 효율적으로 감시할 수 있다. 특히, 다중 카메라의 사각 영역은 이동 카메라로 촬영할 수 있어서, 감시 공간 전체를 완벽하게 감시할 수 있게 된다.In particular, instead of installing many multiple cameras or fixed cameras to monitor a large surveillance space, a large surveillance space can be monitored effectively and efficiently by using multiple cameras and moving cameras together. In particular, blind areas of multiple cameras can be captured by moving cameras, making it possible to perfectly monitor the entire surveillance space.

또한, 본 발명의 실시예에 따르면 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있어서, 설치 비용이 크게 감소된다. 1대의 PTZ 카메라 또는 CCTV 카메라 1식과 달리, 복수의 고정 카메라로 구성된 다중 카메라의 감시 영역에서는 사각 영역이 일시적으로 발생하지 않는다.In addition, according to an embodiment of the present invention, a fixed camera that is relatively inexpensive compared to a PTZ camera can be used to capture a surveillance area that is the same or larger than that of a PTZ camera, thereby greatly reducing installation costs. Unlike a single PTZ camera or a single CCTV camera, blind areas do not temporarily occur in the surveillance area of multiple cameras consisting of multiple fixed cameras.

이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 공지의 CCTV 카메라 1식에 의한 감시 영역을 예시적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 다중 카메라를 예시적으로 도시한 도면이다.
도 3은 상이한 화각을 가진 복수의 고정 카메라로 구성된 다중 카메라 및 확장 감시 영역을 예시적으로 도시한 도면이다.
도 4는 다중 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
도 5는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 6은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 7은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 8은 다층 건물의 내부에서 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다.
도 9는 다중 카메라 및 이동 카메라로 화재 발생을 감지하며, 이에 대응하는 과정을 예시적으로 도시한 도면이다.
도 10은 다층 건물의 내부에서 화재 발생시 이동 카메라를 이용한 화재 대응을 예시적으로 도시한 도면이다.
도 11은 고도화된 화재 오검지 조건을 적용한 화재 검출 방식을 예시적으로 설명하기 위한 도면이다.
도 12는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 13은 도 12에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.Hereinafter, the present invention will be described with reference to embodiments shown in the attached drawings. To facilitate understanding, like reference numerals have been assigned to like elements throughout the accompanying drawings. The configuration shown in the attached drawings is merely an exemplary embodiment implemented to explain the present invention, and is not intended to limit the scope of the present invention thereto. In particular, in the attached drawings, some of the elements expressed in the drawings are somewhat exaggerated to aid understanding of the invention.
Figure 1 is a diagram illustrating an example of a surveillance area by a type of known CCTV camera.
Figure 2 is a diagram illustrating a multiple camera according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of a multi-camera and expanded surveillance area composed of a plurality of fixed cameras with different viewing angles.
Figure 4 is a diagram illustrating image analysis using multiple cameras and moving cameras.
Figure 5 is a configuration diagram for functionally explaining an embodiment of an image analysis device using multiple cameras and moving cameras.
Figure 6 is a flowchart illustrating an example of image analysis using multiple cameras and moving cameras.
Figure 7 is a flowchart illustrating another embodiment of image analysis using multiple cameras and moving cameras.
Figure 8 is a diagram for exemplarily explaining the process of defining a blind area inside a multi-story building.
Figure 9 is a diagram illustrating a process for detecting and responding to a fire using multiple cameras and moving cameras.
Figure 10 is a diagram illustrating fire response using a moving camera when a fire occurs inside a multi-story building.
FIG. 11 is a diagram illustrating an exemplary fire detection method applying advanced fire false detection conditions.
Figure 12 is a configuration diagram for functionally explaining an embodiment of a video analysis system using multiple cameras and moving cameras.
FIG. 13 is a flowchart illustrating an example of image analysis performed by the image analysis system illustrated in FIG. 12 .

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. In particular, functions, features, and embodiments to be described below with reference to the accompanying drawings may be implemented alone or in combination with other embodiments. Therefore, it should be noted that the scope of the present invention is not limited to the form shown in the attached drawings.

첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다. 한편, 설명의 편의와 이해를 돕기 위해서, 도면은 다소 과장하여 도시되었다.Throughout the accompanying drawings, identical or similar elements are referred to using identical reference numerals. Meanwhile, in order to facilitate explanation and understanding, the drawings are somewhat exaggerated.

도 1은 공지의 CCTV 카메라 1식에 의한 감시 영역을 예시적으로 도시한 도면이며, 도 2는 본 발명의 실시예에 따른 다중 카메라를 예시적으로 도시한 도면으로, 다중 카메라에 의한 확장 감시 영역을 나타낸다.FIG. 1 is a diagram illustrating a surveillance area by a known type of CCTV camera, and FIG. 2 is a diagram illustrating a multiple camera according to an embodiment of the present invention, showing an expanded surveillance area by multiple cameras. represents.

도 1을 참조하면, CCTV 카메라는 안전 또는 보안 목적으로 특정 영역(이하 감시 영역)을 촬영하여 감시 영상을 출력한다. 일반적으로 사용되는 CCTV 카메라 1식은 1대의 고정 카메라(10a)와 1대의 PTZ(Pan tilt zoom) 카메라(10b)로 구성된다. 고정 카메라(10a)에 의해 촬영되는 감시 영역(11a)은 고정적이며 변경되지 않는다. 따라서 검출된 객체가 감시 영역(11a)에서 이탈하면 더 이상 객체 추적이 불가능하게 된다. PTZ 카메라(10b)는 회전(Pan), 기울기 조절(Tilt), 확대(Zoom) 기능을 가지고 있어서, PTZ 카메라(10b)에 의해 촬영되는 감시 영역(11b, 11b')은 변경이 가능하다. 즉, PTZ 카메라(10b)는 감시 영역(11a)을 이탈한 객체를 촬영할 수 있다.Referring to Figure 1, a CCTV camera captures a specific area (hereinafter referred to as a surveillance area) for safety or security purposes and outputs surveillance images. A commonly used CCTV camera consists of one fixed camera (10a) and one PTZ (pan tilt zoom) camera (10b). The surveillance area 11a photographed by the fixed camera 10a is fixed and does not change. Therefore, if the detected object leaves the surveillance area 11a, tracking the object is no longer possible. The PTZ camera 10b has pan, tilt, and zoom functions, so the surveillance areas 11b and 11b' captured by the PTZ camera 10b can be changed. That is, the PTZ camera 10b can capture objects that have left the surveillance area 11a.

CCTV 카메라 1식은 2대의 카메라를 이용하여 상대적으로 넓은 감시 영역을 커버할 수 있는 장점을 가진다. 하지만 PTZ 카메라(10b)의 가격은 고정 카메라(10a)보다 상대적으로 고가이다. 따라서 PTZ 카메라(10b)를 필요한 수량만큼 설치하려면 상당한 비용이 든다. 특히, CCTV 카메라 1식이 상대적으로 넓은 감시 영역을 커버할 순 있지만, 동시에 감시 영역 전체를 커버하지 못한다. 도시된 예에서, PTZ 카메라(10b)의 감시 영역(11b)이 감시 영역(11a)의 좌측에 위치한 시점에서, 감시 영역(11b')을 감시할 수 없게 된다. 유사하게, PTZ 카메라(10b)가 반시계 방향으로 회전하여 감시 영역(11b')을 촬영하는 동안, 감시 영역(11b)을 감시할 수 없다.One type of CCTV camera has the advantage of being able to cover a relatively wide surveillance area using two cameras. However, the price of the PTZ camera 10b is relatively higher than that of the fixed camera 10a. Therefore, installing the required number of PTZ cameras 10b requires significant costs. In particular, although one CCTV camera can cover a relatively large surveillance area, it cannot cover the entire surveillance area at the same time. In the example shown, when the surveillance area 11b of the PTZ camera 10b is located to the left of the surveillance area 11a, the surveillance area 11b' cannot be monitored. Similarly, while the PTZ camera 10b rotates counterclockwise to photograph the surveillance area 11b', the surveillance area 11b cannot be monitored.

도 2를 참조하면, 다중 카메라(20)는 복수의 고정 카메라(20a, 20b, 20c)로 구성된다. 고정 카메라(20a, 20b, 20c)가 촬영할 수 있는 영역을 개별 감시 영역(21a, 21b, 21c)이라고 정의한다. 동일 사양을 가진 고정 카메라(20a, 20b, 20c)의 광축 사이의 각도(이하 카메라 사이각)에 의해 개별 감시 영역(21a, 21b, 21c)간 관계도 정의될 수 있다. 제2 고정 카메라(20b)의 제2 개별 감시 영역(21b)은 제1 고정 카메라(20a)의 제1 개별 감시 영역(21a)을 카메라 사이각 만큼 회전시킨 것과 실질적으로 동일할 수 있다. 동일한 관계는 제2 개별 감시 영역(21b)와 제3 개별 감시 영역(21c)간에도 성립될 수 있다. 따라서 확장 감시 영역(21)은 카메라 사이각만큼 회전된 복수의 고정 카메라(20a, 20b, 20c)의 개별 감시 영역들로 구성된다. 다시 말해, 다중 카메라(20)가 촬영할 수 있는 영역을 확장 감시 영역(21)이라고 정의한다. 하나의 확장 감시 영역(21)을 구성하는 복수의 개별 감시 영역(21a, 21b, 21c)은 이웃하는 개별 감시 영역과 부분적으로 중첩되거나 이격될 수 있다. 중첩되는 면적 또는 이격 거리는 카메라 사이각에 의해 조절될 수 있다. Referring to FIG. 2, the multiple camera 20 is composed of a plurality of fixed cameras 20a, 20b, and 20c. The areas that the fixed cameras 20a, 20b, and 20c can capture are defined as individual surveillance areas 21a, 21b, and 21c. The relationship between the individual surveillance areas 21a, 21b, and 21c can also be defined by the angle between the optical axes of the fixed cameras 20a, 20b, and 20c with the same specifications (hereinafter referred to as the camera angle). The second individual surveillance area 21b of the second fixed camera 20b may be substantially the same as the first individual surveillance area 21a of the first fixed camera 20a rotated by the camera angle. The same relationship can also be established between the second individual monitoring area 21b and the third individual monitoring area 21c. Accordingly, the extended surveillance area 21 is composed of individual surveillance areas of a plurality of fixed cameras 20a, 20b, and 20c rotated by the camera angle. In other words, the area where multiple cameras 20 can capture is defined as the extended surveillance area 21. A plurality of individual surveillance areas 21a, 21b, and 21c constituting one extended surveillance area 21 may partially overlap or be spaced apart from neighboring individual surveillance areas. The overlapping area or separation distance can be adjusted by the camera angle.

다중 카메라(20)는 다중 카메라 영상을 생성한다. 일 실시예로, 다중 카메라 영상은 복수의 고정 카메라 영상의 집합이며, 하나의 고정 카메라 영상은 하나의 개별 감시 영역에 대응한다. 다만, 영상들의 단순한 집합과 달리, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상들은 개별 감시 영역들 사이의 공간적 관계를 반영한다. 다른 실시예로, 다중 카메라 영상은 확장 감시 영역 전체를 커버하는 단일 영상일 수 있다. 다중 카메라 영상은, 예를 들어, 복수의 고정 카메라 영상을 이미지 스티칭을 적용하여 결합한 단일 영상(이하 스티칭된 단일 영상)일 수 있다. 이미지 스티칭 적용을 위해서도, 개별 감시 영역들 사이의 공간적 관계가 참조될 수 있다. 이하에서는 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우를 중심으로 설명한다.The multi-camera 20 generates multi-camera images. In one embodiment, a multi-camera image is a set of multiple fixed camera images, and one fixed camera image corresponds to one individual surveillance area. However, unlike a simple set of images, multiple fixed camera images that make up a multi-camera image reflect the spatial relationship between individual surveillance areas. In another embodiment, the multi-camera video may be a single video that covers the entire extended surveillance area. The multi-camera image may be, for example, a single image (hereinafter referred to as a "stitched single image") obtained by combining a plurality of fixed camera images by applying image stitching. For image stitching applications, the spatial relationship between individual surveillance areas can also be referenced. Hereinafter, the description will focus on the case where the multi-camera image is a set of multiple fixed camera images.

공간적 관계는 지능형 에지장치, 예를 들어, 객체 검출부 및 객체 추적부에 의해 학습될 수 있다. 학습된 지능형 에지장치는 스티칭된 단일 영상뿐 아니라 공간적 관계를 가진 복수의 고정 카메라 영상을 단일 영상으로 취급할 수 있게 된다. 이로 인해, 둘 이상의 개별 감시 영역에서 동일한 객체를 찾기 위한 필요한 연산량이 크게 감소될 수 있다. 공간적 관계는 카메라 사이각에 의해 기본적으로 결정될 수 있으며, 예를 들어, 개별 감시 영역간 중첩 영역의 형상/면적/위치, 개별 감시 영역간 사각 영역의 형상/면적/위치 또는 개별 감시 영역의 경계간 이격 거리 등일 수 있다. Spatial relationships can be learned by intelligent edge devices, such as object detection and object tracking. The learned intelligent edge device can treat not only a single stitched image but also multiple fixed camera images with spatial relationships as a single image. Because of this, the amount of computation required to find the same object in two or more separate surveillance areas can be greatly reduced. The spatial relationship can be basically determined by the camera angle, for example, the shape/area/position of the overlapping area between individual surveillance areas, the shape/area/location of the blind area between individual surveillance areas, or the separation distance between the boundaries of individual surveillance areas. It may be, etc.

도 3은 상이한 화각을 가진 복수의 고정 카메라로 구성된 다중 카메라 및 확장 감시 영역을 예시적으로 도시한 도면이다.FIG. 3 is a diagram illustrating an example of a multi-camera and expanded surveillance area composed of a plurality of fixed cameras with different viewing angles.

도 3을 참조하면, 상이한 화각을 가진 복수의 고정 카메라로 다중 카메라를 구성한 경우의 확장 감시 영역이 예시되어 있다. 고정 카메라의 화각은 렌즈에 의해 결정된다. 널리 사용되는 4.0 mm 고정 초점 렌즈를 가진 고정 카메라(20d)의 경우 좌우 약 70도 및 상하 약 50도의 화각을 가지며, 전방으로 약 10M까지는 객체를 명확하게 식별 가능하게 촬영할 수 있는 유효 감시 영역(22d)를 가지지만, 그 이상의 거리에 있는 객체는 존재 여부 정도만 확인할 수 있다. 따라서 보다 먼 거리에 위치한 객체를 식별 가능하게 촬영하려면 초점 거리가 긴 렌즈를 사용하여야 하며, 그 경우 고정 카메라의 화각은 크게 감소한다. 예를 들어 8.0 mm 고정 초점 렌즈를 가진 고정 카메라(20e)는 약 10M 내지 20M에 위치한 객체를 식별 가능하게 촬영할 수 있는 유효 감시 영역(22e)를 가지지만, 화각은 약 40도 이하이다. 즉, 고정 카메라(20e)의 경우, 약 10M까지의 영역은 객체 식별이 용이하지 않은 무효 영역(23e)일 수 있다. 본 명세서에서 지칭하는 확장 감시 영역 및 개별 감시 영역은 영상 분석을 통해 객체를 명확하게 검출 및 추적할 수 있는 유효 감시 영역이다. 따라서 개별 감시 영역은 고정 카메라가 촬영할 수 있는 최대 범위의 영역보다는 상대적으로 작을 수 있다. Referring to FIG. 3, an expanded surveillance area when a multi-camera configuration is made up of a plurality of fixed cameras with different viewing angles is illustrated. The angle of view of a fixed camera is determined by the lens. The widely used fixed camera (20d) with a 4.0 mm fixed focus lens has a field of view of approximately 70 degrees left and right and approximately 50 degrees up and down, and has an effective surveillance area (22d) that can capture clearly identifiable objects up to approximately 10M forward. ), but only the existence of objects at a distance beyond that can be confirmed. Therefore, in order to clearly photograph objects located at a greater distance, a lens with a longer focal length must be used, in which case the angle of view of the fixed camera is greatly reduced. For example, the fixed camera 20e with an 8.0 mm fixed focus lens has an effective surveillance area 22e that can reliably photograph an object located at about 10M to 20M, but the angle of view is about 40 degrees or less. That is, in the case of the fixed camera 20e, the area up to about 10M may be an invalid area 23e in which object identification is not easy. The extended surveillance area and individual surveillance area referred to in this specification are effective surveillance areas that can clearly detect and track objects through video analysis. Therefore, the individual surveillance area may be relatively smaller than the maximum range that a fixed camera can capture.

도 2에 예시된 확장 감시 영역(21)과 달리, 도 3에 예시된 확장 감시 영역(25)은 개별 감시 영역, 보다 정확하게는, 유효 감시 영역(22d, 22e)을 방사상으로 배치하여 형성될 수 있다. 이로 인해, 고정 카메라(20d)로만 구성된 다중 카메라는 검출할 수 없었던 먼 거리에 위치한 객체의 검출도 가능해진다. 같은 맥락으로, 고정 카메라(20e)로만 구성된 다중 카메라는 검출할 수 없었던 가까운 거리에 위치한 객체의 검출 역시 가능해질 수 있다. 한편, 중첩 영역(22d')은 개별 감시 영역을 방사상으로 배치하는 경우에도 발생할 수 있으며, 개별 감시 영역간 공간적 관계로 취급될 수 있다. Unlike the extended surveillance area 21 illustrated in FIG. 2, the extended surveillance area 25 illustrated in FIG. 3 can be formed by radially disposing individual surveillance areas, more precisely, effective surveillance areas 22d and 22e. there is. Because of this, it becomes possible to detect objects located at a long distance that could not be detected by a multi-camera consisting of only the fixed camera 20d. In the same context, detection of objects located at a close distance that could not be detected by a multi-camera consisting of only the fixed camera 20e may also be possible. Meanwhile, the overlapping area 22d' can occur even when individual surveillance areas are arranged radially, and can be treated as a spatial relationship between individual surveillance areas.

공지의 CCTV 카메라 1식과 비교하면, 다중 카메라는 사각 영역을 최소화할 수 있다. CCTV 카메라 1식의 경우, 회전하는 PTZ 카메라의 시야에서 벗어난 영역은 일시적으로 사각 영역이 될 수 있다. 이에 반해 다중 카메라는 복수의 개별 감시 영역 전부를 동시에 촬영하므로, 일시적인 사각 영역이 발생하지 않는다. 따라서 다중 카메라는 동등 또는 보다 넓은 영역을 CCTV 카메라 1식보다 상대적으로 적은 비용으로 일시적인 사각 영역의 발생 없이 촬영할 수 있다. Compared to a single known CCTV camera, multiple cameras can minimize blind areas. In the case of a type 1 CCTV camera, areas outside the field of view of the rotating PTZ camera may temporarily become blind areas. In contrast, multiple cameras capture all of the multiple individual surveillance areas simultaneously, so temporary blind areas do not occur. Therefore, multiple cameras can capture the same or wider area at a relatively lower cost than a single CCTV camera without creating temporary blind areas.

도 4는 다중 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.Figure 4 is a diagram illustrating image analysis using multiple cameras and moving cameras.

다중 카메라 및 이동 카메라를 이용한 영상 분석은 다중 카메라 영상에서 검출된 객체를 이동 카메라도 촬영하여 객체 관련 이벤트를 검출(이하에서, 연속 추적이라 함)하거나, 다중 카메라가 촬영할 수 없는 사각 영역에 위치한 객체를 검출(이하에서, 확장 추적이라 함)하는 방식이다. 연속 추적은 다중 카메라 영상에서 검출된 동일 객체를 촬영하도록 이동 카메라를 탑재한 비행 드론 또는 로봇을 객체를 향해 이동시켜 촬영하는 방식이다. 확장 추적은 다중 카메라의 사각 영역을 이동 카메라가 경로를 따라 이동하면서 촬영하여 감시 공간에서 사각 영역을 실질적으로 제거하는 방식이다. 연속 추적과 확장 추적은 독립적으로 수행될 수 있지만, 필요한 경우 확장 추적중인 이동 카메라가 연속 추적을 수행할 수도 있다. 이하에서, 이동 카메라는 비행 드론, 로봇 이외에도 다양한 이동 수단에 탑재될 수 있으며 비행 드론 또는 로봇은 이동 카메라를 지정된 위치로 이동시키기 위한 이동 수단이므로, 이하에서는 필요한 경우가 아니면 이동 카메라의 이동 수단을 언급하지 않는다. Image analysis using multiple cameras and moving cameras detects object-related events (hereinafter referred to as continuous tracking) by photographing objects detected in multi-camera images with a moving camera, or detects objects located in blind areas that cannot be captured by multiple cameras. This is a method of detecting (hereinafter referred to as extended tracking). Continuous tracking is a method of moving a flying drone or robot equipped with a moving camera toward an object to capture the same object detected in multiple camera images. Extended tracking is a method of virtually eliminating blind areas from the surveillance space by capturing the blind areas of multiple cameras as the moving camera moves along a path. Continuous tracking and extended tracking can be performed independently, but if necessary, the mobile camera being extended tracking can also perform continuous tracking. Hereinafter, the mobile camera may be mounted on various means of movement in addition to flying drones and robots. Since the flying drone or robot is a means of moving the mobile camera to a designated location, the means of moving the mobile camera will be mentioned hereinafter unless necessary. I never do that.

도 4를 참조하면, 감시 공간(30)은 4대의 고정 카메라(20a, 20b, 20c, 20d)로 구성된 1대의 다중 카메라(20) 및 2대의 이동 카메라 R1, R2에 의해 감시된다. 사각 영역(31a)은 다중 카메라(20)로 인해 발생된 사각 영역이며, 사각 영역(31b, 31c)은 시야 방해물에 의해 발생한 사각 영역이다. Referring to FIG. 4, the surveillance space 30 is monitored by one multiple camera 20 consisting of four fixed cameras 20a, 20b, 20c, and 20d and two moving cameras R1 and R2. The blind area 31a is a blind area caused by the multiple cameras 20, and the blind areas 31b and 31c are blind areas caused by obstructions to the view.

다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)는 복수의 확장 감시 영역(21)에서 동일한 객체 및 이벤트를 검출하기 위한 다중 카메라 영상(33)을 출력한다. 다중 카메라 영상(33)은 스티칭된 단일 영상 및 복수의 고정 카메라 영상 중 어느 하나일 수 있다. 만일 고정 카메라별 설정이 다르면, 객체 및 이벤트 검출에 소요되는 연산량이 증가하여, 영상 분석 효율이 감소될 수 있다. 이를 방지하기 위해서, 임의의 객체 또는 이벤트 검출이 설정되면, 설정된 이벤트 검출에 필요한 카메라 설정은 연동에 의해 다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d) 전체에 적용될 수 있다. 따라서 고정 카메라마다 카메라 설정을 개별적으로 변경할 필요가 없어진다.A plurality of fixed cameras 20a, 20b, 20c, and 20d constituting the multi-camera 20 output multi-camera images 33 for detecting the same object and event in the plurality of extended surveillance areas 21. The multi-camera image 33 may be either a single stitched image or a plurality of fixed camera images. If the settings for each fixed camera are different, the amount of computation required to detect objects and events increases, which may reduce video analysis efficiency. To prevent this, when arbitrary object or event detection is set, the camera settings required for the set event detection are applied to all of the plurality of fixed cameras 20a, 20b, 20c, and 20d that make up the multiple camera 20 by linking. You can. This eliminates the need to change camera settings individually for each fixed camera.

다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)는 개별 감시 영역(21a, 21b, 21c, 21d)을 가진다. 다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)의 사양이 실질적으로 동일하면, 복수의 개별 감시 영역(21a, 21b, 21c, 21d)도 실질적으로 동일하게 형성될 수 있다. 복수의 고정 카메라(20a, 20b, 20c, 20d)가 카메라 사이각 만큼 회전하면, 개별 감시 영역(21a, 21b, 21c, 21d)도 카메라 사이각 만큼 회전한다. 개별 감시 영역(21a, 21b, 21c, 21d)간의 공간적 관계를 고려하면, 복수의 고정 카메라 영상으로 구성된 다중 카메라 영상(33)도 확장 감시 영역(21) 전체를 나타내는 가로로 확장된 단일 영상으로 취급될 수 있다. A plurality of fixed cameras (20a, 20b, 20c, 20d) constituting the multiple camera 20 have individual surveillance areas (21a, 21b, 21c, 21d). If the specifications of the plurality of fixed cameras (20a, 20b, 20c, 20d) constituting the multiple camera 20 are substantially the same, the plurality of individual surveillance areas (21a, 21b, 21c, 21d) will also be formed substantially the same. You can. When the plurality of fixed cameras (20a, 20b, 20c, 20d) rotate by the camera angle, the individual surveillance areas (21a, 21b, 21c, 21d) also rotate by the camera angle. Considering the spatial relationship between the individual surveillance areas (21a, 21b, 21c, and 21d), the multi-camera image 33 composed of multiple fixed camera images is also treated as a single horizontally expanded image representing the entire extended surveillance area 21. It can be.

공지의 CCTV 카메라 1식과 달리, 개별 감시 영역 사이에 위치한 사각 영역(미도시)의 형상은 변경되지 않는다. 따라서 검출할 객체의 특성을 고려할 때, 사각 영역의 폭(즉, 두 개별 감시 영역 사이의 거리)이 지나치게 크지 않으면, 객체가 사각 영역에 일시적으로 진입하더라도 계속해서 추적할 수 있다.Unlike the known CCTV camera type 1, the shape of the blind area (not shown) located between individual surveillance areas does not change. Therefore, considering the characteristics of the object to be detected, if the width of the blind area (i.e., the distance between two individual surveillance areas) is not excessively large, the object can be continuously tracked even if it temporarily enters the blind area.

연속 추적중인 이동 카메라 R1은 사람 객체들을 촬영하여 제1 이동 카메라 영상(34)을 생성한다. 사람 객체 ID#105는 확장 감시 영역(21)에 새로 진입했으며, 다중 카메라(20)는 사람 객체 ID#105의 얼굴을 촬영하지 못했다. 사각 영역(31a, 31b)을 촬영중인 2대의 이동 카메라 R1, R2 중에서 사람 객체 ID#105의 예상 이동 방향과 교차하는 경로로 이동중인 이동 카메라 R1이 선택될 수 있다. 이동 카메라 R1은 사람 객체 ID#105를 향해 이동하여 제2 영상(34)을 생성할 수 있다. 사람 객체 ID#105의 얼굴을 촬영하면, 이동 카메라 R1은 기존 경로로 되돌아갈 수 있다. The continuously tracking mobile camera R1 captures human objects and generates a first mobile camera image 34. Human object ID#105 newly entered the extended surveillance area (21), and the multiple cameras (20) were unable to capture the face of human object ID#105. Among the two moving cameras R1 and R2 shooting the blind areas 31a and 31b, the moving camera R1 moving along a path that intersects the expected moving direction of the human object ID#105 may be selected. The mobile camera R1 may move toward human object ID#105 and generate the second image 34. After photographing the face of human object ID#105, the mobile camera R1 can return to its original path.

경로(32)를 따라 확장 추적중인 이동 카메라 R2는 사각 영역(31a)을 촬영하여 제2 이동 카메라 영상(35)을 생성한다. 사람 객체 ID#106은 사각 영역(31a)에 위치하며, 이로 인해 다중 카메라 영상(33)에 포함되지 않았다. The mobile camera R2, which is being extended and tracked along the path 32, captures the blind area 31a and generates a second mobile camera image 35. Human object ID#106 is located in the blind area (31a), and therefore was not included in the multi-camera image (33).

도 5는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다. Figure 5 is a configuration diagram for functionally explaining an embodiment of an image analysis device using multiple cameras and moving cameras.

지능형 에지장치(100)는 다중 카메라(20) 및 이동 카메라(25)가 설치된 현장에 설치되어, 다중 카메라(20)에 의해 생성된 다중 카메라 영상 및 이동 카메라(25)에 의해 생성된 이동 카메라 영상을 1차 영상 분석하여 메타 데이터를 생성할 수 있다. 메타 데이터는 다중 카메라 영상 및 이동 카메라 영상에서 검출된 객체 및 객체 관련 이벤트 중 어느 하나에 대한 정보를 포함할 수 있다. The intelligent edge device 100 is installed at a site where multiple cameras 20 and mobile cameras 25 are installed, and displays multi-camera images generated by the multiple cameras 20 and moving camera images generated by the mobile cameras 25. Metadata can be generated by analyzing the primary image. Metadata may include information about any one of objects and object-related events detected in multi-camera images and moving camera images.

지능형 에지장치(100)는 다중 카메라(20)가 설치된 위치 및 현장 상황에 적합하게 학습하여 사각 영역을 파악하고, 이동 카메라(25)의 경로를 설정하여 사각 영역을 제거 또는 최소화하며, 이를 통해 다중 카메라 영상 및 이동 카메라 영상을 분석할 수 있다. 특히, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상간 공간적 관계를 학습함으로써, 지능형 에지장치(100)는 다중 카메라 영상을 확장 감시 영역을 촬영한 단일 영상으로 취급할 수 있다.The intelligent edge device 100 learns to suit the location and field situation where the multiple cameras 20 are installed to identify blind areas, sets the path for the moving camera 25 to remove or minimize the blind areas, and thereby eliminates or minimizes the blind areas. Camera images and moving camera images can be analyzed. In particular, by learning the spatial relationship between the plurality of fixed camera images that make up the multi-camera image, the intelligent edge device 100 can treat the multi-camera image as a single image that captures the extended surveillance area.

지능형 에지장치(100)는, 예를 들어, 다양한 종류의 객체마다 설정된 이벤트를 검출하도록 학습될 수 있다. 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 2차 영상 분석될 수 있다. 1차 영상 분석은 학습된 이벤트를 다중 카메라 영상 및/또는 이동 카메라 영상에서 검출하는 분석을 포함할 수 있다. 2차 영상 분석은 지능형 에지장치(100)가 학습하지 않은 이벤트를 검출하거나, 다중 카메라 영상과 이동 카메라 영상간 관계를 고려하여 이벤트를 검출하기 위한 분석을 포함할 수 있다. For example, the intelligent edge device 100 may be trained to detect events set for various types of objects. The generated metadata can be subjected to secondary video analysis by the edge-based video analysis device 200. Primary video analysis may include analysis that detects learned events in multi-camera video and/or moving camera video. Secondary video analysis may include analysis to detect events that the intelligent edge device 100 has not learned, or to detect events by considering the relationship between multi-camera images and moving camera images.

도 5를 참조하면, 다중 카메라(20) 및 이동 카메라(25)로부터 수신한 영상을 분석하는 지능형 에지장치(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 메타 데이터 전송 모듈(130)을 포함할 수 있다. 영상 데이터 처리 모듈(110)은 하나 이상의 다중 카메라(20) 및 하나 이상의 이동 카메라(25)로부터 영상을 수신하며, 수신한 영상을 영상 분석에 적합하게 전처리한다. 영상 분석 모듈(120)은 전처리된 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다. Referring to FIG. 5, the intelligent edge device 100 that analyzes images received from the multiple cameras 20 and the mobile camera 25 includes an image data processing module 110, an image analysis module 120, and a metadata transmission module. It may include (130). The image data processing module 110 receives images from one or more multiple cameras 20 and one or more mobile cameras 25, and preprocesses the received images to be suitable for image analysis. The image analysis module 120 detects an object in a preprocessed image, tracks the movement of the object, and detects an event by analyzing the behavior of the object being tracked.

영상 데이터 처리 모듈(110)과 영상 분석 모듈(120)은 모듈 형태의 소프트웨어일 수 있다. 지능형 에지장치(100)는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함한다. 영상 데이터 처리 모듈(110)과 영상 분석 모듈(120), 및 각 모듈에 포함된 서브 모듈들은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다. The image data processing module 110 and the image analysis module 120 may be software in the form of a module. The intelligent edge device 100 includes physical components such as one or more central processing units (eg, CPU, GPU, etc.), semiconductor memory, and communication modem chips. The image data processing module 110, the image analysis module 120, and the sub-modules included in each module functionally express the operations executed by the CPU of the program loaded in the memory.

다중 카메라(20)는 2차원 또는 3차원의 다중 카메라 영상을 생성한다. 이동 카메라(25)는 2차원 또는 3차원의 이동 카메라 영상을 생성하는 IP 카메라 등일 수 있다. 이동 카메라(25)는 비행 드론, 로봇 등과 같은 이동 수단에 장착되어 이동한다. 따라서 이동 카메라(25)의 촬영 범위는 이동 수단을 통해 변경 가능하다. The multi-camera 20 generates two-dimensional or three-dimensional multi-camera images. The mobile camera 25 may be an IP camera that generates two-dimensional or three-dimensional moving camera images. The mobile camera 25 is mounted on and moves on a moving means such as a flying drone or robot. Therefore, the shooting range of the mobile camera 25 can be changed through a moving means.

영상 데이터 처리 모듈(110)은 RTSP 클라이언트, 디코더 및 영상 전처리부를 포함할 수 있다. RTSP 클라이언트는 영상 전송 프로토콜, 예를 들어, RTSP(Real time streaming protocol)를 지원하는 통신 모뎀으로, 다중 카메라(20) 및 이동 카메라(25)로부터 영상 데이터를 수신한다. 디코더는 수신된 영상 데이터를 디코딩하여 영상을 복원한다. 영상 전처리부는 영상 분석에 적합하도록, 복원된 확장 영상 및 개별 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 추가적으로 또는 선택적으로, 영상 전처리부는 복수의 고정 카메라 영상을 스티칭된 단일 영상으로 변환할 수 있다. 디코더 및 영상 전처리부는 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다. The video data processing module 110 may include an RTSP client, a decoder, and a video preprocessor. The RTSP client is a communication modem that supports a video transmission protocol, for example, RTSP (Real time streaming protocol), and receives video data from the multiple cameras 20 and the mobile camera 25. The decoder decodes the received video data and restores the video. The image preprocessing unit changes the resolution and size of the restored extended image and individual images, or converts the color image into a black and white image, to suit image analysis. Additionally or alternatively, the image preprocessor may convert multiple fixed camera images into a single stitched image. The decoder and image preprocessor may be modules executed by CPU or GPU.

영상 분석 모듈(120)은 객체 검출부(121), 객체 추적부(122), 이동 제어부(123) 및 이벤트 검출부(124)를 포함할 수 있다. 객체 검출, 객체 식별 및 객체 추적은 분리할 수 없는 일련의 과정으로도 수행될 수 있음을 이해하여야 한다. 지능형 에지장치(100)에 둘 이상의 영상 분석 방식을 적용하기 위해서, 객체의 검출 및 추적은 독립적으로 수행될 수 있다. 이를 통해, 중복되거나 불필요한 연산이 감소되며, 동시에 둘 이상의 영상 분석 방식이 병행 또는 적응적으로 수행될 수 있다.The image analysis module 120 may include an object detection unit 121, an object tracking unit 122, a movement control unit 123, and an event detection unit 124. It should be understood that object detection, object identification, and object tracking can also be performed as a series of inseparable processes. In order to apply two or more image analysis methods to the intelligent edge device 100, detection and tracking of objects can be performed independently. Through this, redundant or unnecessary calculations are reduced, and two or more image analysis methods can be performed in parallel or adaptively.

객체 검출부(121)는 전처리된 다중 카메라 영상 및 전처리된 이동 카메라 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류할 수 있다. 객체 검출부(121)는 예를 들어, 객체 이미지를 이용하여 학습된 객체 검출 모듈, 또는 객체를 표현한 템플릿을 이용하는 객체 검출 모듈일 수 있다. 특히, 객체 검출부(121)는 3차원 기하학 필터를 적용하여, 검출된 객체를 표현할 수 있는 3차원 좌표값을 결정할 수 있다. 결정된 3차원 좌표값을 이용하면, 검출된 객체는 3차원 도형으로 영상에 표출되거나 객체 추적에 이용될 수 있다. 또한, 객체 검출부(121)는 환경 필터를 적용하여, 영상에서 노이즈를 제거할 수 있다. The object detection unit 121 detects one or more objects from the pre-processed multi-camera image and the pre-processed moving camera image, and may classify the detected objects by type. For example, the object detection unit 121 may be an object detection module learned using object images, or an object detection module using a template representing an object. In particular, the object detector 121 may apply a 3D geometric filter to determine 3D coordinate values that can represent the detected object. Using the determined 3D coordinate values, the detected object can be displayed in the image as a 3D figure or used for object tracking. Additionally, the object detector 121 may apply an environmental filter to remove noise from the image.

복수의 개별 감시 영역을 통해 확장 감시 영역을 효율적으로 감시하기 위해서는, 확장 감시 영역을 한 대의 카메라에 의해 촬영된 단일 영역으로 취급하는 방식이 적용될 수 있다. 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우, 확장 감시 영역을 단일 영역처럼 처리하기 위해서, 동일 객체를 복수의 고정 카메라 영상에서 식별하며 추적할 수 있어야 한다. 객체가 개별 감시 영역 내에서 움직이는 동안에는 공지의 객체 추적 방식, 예를 들어, 객체의 움직임 예측을 통한 추적 방식, 객체의 속성 비교를 통한 추적 방식 등이 적용될 수 있다. 한편, 객체가 연속한 개별 감시 영역 중 하나로부터 이탈하기 시작하면, 하나의 확장 감시 영역을 구성하는 복수의 개별 감시 영역들 사이의 공간적 관계를 이용하여 객체를 식별 및 추적할 수 있다. 이를 통해, 연속된 두 카메라 영상에 표출된 객체의 동일 여부가 신속하게 결정될 수 있도록 한다. In order to efficiently monitor an extended surveillance area through a plurality of individual surveillance areas, a method of treating the extended surveillance area as a single area captured by a single camera may be applied. When a multi-camera image is a set of multiple fixed camera images, the same object must be identified and tracked in the multiple fixed camera images in order to treat the extended surveillance area as a single area. While an object is moving within an individual surveillance area, known object tracking methods, for example, a tracking method by predicting the movement of the object, a tracking method by comparing object properties, etc. can be applied. Meanwhile, when an object begins to deviate from one of the continuous individual surveillance areas, the object can be identified and tracked using the spatial relationship between a plurality of individual surveillance areas constituting one extended surveillance area. Through this, it is possible to quickly determine whether the objects displayed in two consecutive camera images are identical.

객체 추적부(122)는 검출된 객체의 움직임을 추적한다. 객체 추적부(122)는 객체의 움직임 예측을 통해 객체를 추적하거나, 객체의 속성을 비교하여 객체를 추적할 수 있다. 객체 추적 방식은 제1 영상(또는 프레임)에서 검출된 객체의 움직임을 예측하거나 속성을 검출하고, 이를 제2 영상(또는 프레임)에서 검출된 객체와 비교하여 두 객체가 동일 객체인지를 판단한다. 영상을 구성하는 매크로 블록 단위로 비교하여 객체의 움직임을 추적하거나 영상에서 배경을 제거하여 객체만 영상에 남도록 하여 객체 검출 및 움직임을 추적하는 방식 등과 같이, 다양한 객체 추적 방식이 적용될 수 있다.The object tracking unit 122 tracks the movement of the detected object. The object tracking unit 122 may track the object by predicting the movement of the object or track the object by comparing the properties of the object. The object tracking method predicts the movement or detects the properties of the object detected in the first image (or frame) and compares it with the object detected in the second image (or frame) to determine whether the two objects are the same object. Various object tracking methods can be applied, such as tracking the movement of an object by comparing the units of macro blocks that make up the image or detecting and tracking the movement of the object by removing the background from the image so that only the object remains in the image.

객체 추적부(122)는 다중 카메라 영상 및 이동 카메라 영상에서 동일 객체를 검출할 수 있다. 하나 이상의 다중 카메라(20) 및 하나 이상의 이동 카메라(25)에 의해 감시되는 공간에서, 동일 객체는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상 중 일부에, 또는 다중 카메라 영상과 이동 카메라 영상에 동시에 표출될 수 있다. 일 실시예로, 객체 검출부(122)는 개별 감시 영역간 공간적 관계를 참고하여 둘 이상의 고정 카메라 영상에 표출된 동일 객체를 검출할 수 있다. 다른 실시예로, 객체 검출부(122)는, 딥러닝 분석을 통해, 검출된 객체의 속성을 추출하며, 추출한 객체의 속성을 비교하여, 두 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 예를 들어, 두 객체가 서로 일치할 확률(이하 유사도)이 표출되거나, 제1 영상의 분석 결과로 부여되었던 객체 식별자가 제2 영상에서 검출된 객체에 다시 부여될 수 있다.The object tracking unit 122 can detect the same object in multi-camera images and moving camera images. In a space monitored by one or more multi-camera images (20) and one or more moving cameras (25), the same object is present in some of the plurality of fixed camera images constituting the multi-camera image, or in both the multi-camera image and the moving camera image simultaneously. can be expressed. In one embodiment, the object detection unit 122 may detect the same object displayed in two or more fixed camera images by referring to the spatial relationship between individual surveillance areas. In another embodiment, the object detection unit 122 extracts the properties of the detected object through deep learning analysis, and compares the properties of the extracted objects to determine whether the object expressed in each of the two images is the same object. there is. Depending on the determination result, for example, the probability that the two objects match each other (hereinafter referred to as similarity) may be expressed, or the object identifier assigned as a result of analysis of the first image may be re-assigned to the object detected in the second image.

객체 추적부(122)는 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 이용할 수 있다. 사람 객체의 경우, 객체 추적부(122)는 예를 들어, 시각적 특징, 얼굴 특징, 걸음 걸이 특징 등을 이용하여 사람 객체를 재인식할 수 있다. 시각적 특징으로는, 사람 객체의 키, 착용한 옷의 종류나 색깔 등이 이용될 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.The object tracking unit 122 may use appropriate attributes to identify the object, depending on the type of object. In the case of a human object, the object tracker 122 may re-recognize the human object using, for example, visual characteristics, facial characteristics, gait characteristics, etc. As visual characteristics, the height of the human object, the type or color of the clothes worn, etc. can be used. In the case of vehicle objects, the object can be re-recognized using the vehicle type, color, vehicle number, etc.

이동 제어부(123)는 이동 카메라(25)가 이동하는 경로를 결정한다. 이동 카메라(25)는 미리 설정된 경로를 따라 이동하거나 장애물을 피해서 이동할 수 있다. 이동 카메라(25)의 경로는 다중 카메라 영상에서 연속 추적할 객체 검출시 변경될 수 있다. 연속 추적할 객체는 영상 분석을 위한 속성을 획득하지 못한 객체, 이상 행위를 하는 객체, 사각 영역에 진입하여 더 이상 추적할 수 없는 객체 또는 다중 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다. 이동 제어부(123)는 연속 추적할 객체의 위치 및 이동 카메라(25)의 위치를 산출하여 연속 추적할 객체를 향하도록 이동 카메라(25)의 경로를 변경할 수 있다.The movement control unit 123 determines the path along which the mobile camera 25 moves. The mobile camera 25 can move along a preset path or move by avoiding obstacles. The path of the moving camera 25 may be changed when detecting an object to be continuously tracked in a multi-camera image. Objects to be continuously tracked include objects that have not acquired properties for image analysis, objects that behave abnormally, objects that have entered a blind area and can no longer be tracked, or objects that have moved away from the multiple cameras 20 and can no longer be identified. It can be. The movement control unit 123 may calculate the position of the object to be continuously tracked and the position of the moving camera 25 and change the path of the moving camera 25 to face the object to be continuously tracked.

영상 분석 모듈(120)은 이벤트 조건에 부합하는 이벤트를 검출하는 이벤트 검출부(124)를 포함할 수 있다. 이벤트 검출부(124)는 검출된 객체, 객체의 움직임, 및 객체의 주변 환경 중 어느 하나 또는 이들의 조합에 기초하여, 이벤트 조건에 부합하는 이벤트를 검출한다. 이벤트 검출부(124)는 둘 이상의 상이한 영상 분석 방식으로 구동할 수 있다. 예를 들어, 딥러닝 기반 이벤트 검출부는 검출된 객체의 속성을 추출하고, 속성에 기초하여 설정된 이벤트 조건에 부합하는지를 판단하며, 룰 기반 이벤트 검출부는 관심 영역에서 객체의 움직임에 기초하여 이벤트 조건에 부합하는 이벤트를 검출한다. 한편, 딥러닝 분석에 의해 제1 이벤트 조건에 부합하는 객체는 룰 기반 분석에 전달되어, 제2 이벤트 조건에 부합하는지 판단될 수 있다. 딥러닝 방식으로 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 딥러닝 기반 이벤트 검출부도 복수일 수 있다. 동일하게, 룰 기반 방식을 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 룰 기반 이벤트 검출부도 복수개일 수 있다.The video analysis module 120 may include an event detector 124 that detects an event that meets event conditions. The event detector 124 detects an event that meets the event conditions based on any one or a combination of the detected object, the movement of the object, and the surrounding environment of the object. The event detection unit 124 may be driven by two or more different image analysis methods. For example, the deep learning-based event detection unit extracts the properties of the detected object and determines whether it meets the event conditions set based on the properties, and the rule-based event detection unit meets the event conditions based on the movement of the object in the area of interest. Detects events that occur. Meanwhile, an object that meets the first event condition through deep learning analysis may be transferred to rule-based analysis to determine whether it meets the second event condition. If there are multiple event conditions set to perform the deep learning method, there may also be multiple deep learning-based event detection units that operate according to each event condition. Likewise, if there are multiple event conditions set to perform the rule-based method, there may also be multiple rule-based event detection units that operate according to each event condition.

메타 데이터 전송 모듈(130)은 영상분석모듈(120)이 생성한 메타 데이터를 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송한다. 추가적으로, 메타 데이터 전송 모듈(130)은 환경 센서(도 8의 50 참조)가 생성한 측정 데이터 또는 측정 데이터에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송할 수 있다.The meta data transmission module 130 transmits the meta data generated by the video analysis module 120 to the edge-based video analysis device 200 through the communication network 40. Additionally, the meta data transmission module 130 may transmit measurement data generated by an environmental sensor (see 50 in FIG. 8) or meta data about the measurement data to the edge-based image analysis device 200.

통신망(40)은 메타 데이터의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC, LTE, 와이브로 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.The communication network 40 may be a wired, wireless, or mixed wired/wireless data communication network capable of transmitting metadata. A wired communication network may be a dedicated line or cable network that supports communication protocols for packet-type digital data transmission, and a wireless communication network may include CDMA, WCDMA, GSM, EPC, LTE, and WiBro, as well as wireless networks such as Bluetooth and ZigBee in addition to Wi-Fi. It may be a communication system that transmits data using signals.

에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 지능형 에지 장치(100)의 이벤트 검출 모듈을 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(100)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다.The edge-based image analysis device 200 updates the event detection module of the intelligent edge device 100 based on the secondary analysis results to detect new events or adapt to a changed environment. Meanwhile, if primary analysis is difficult, the intelligent edge device 100 may transmit metadata about the detected object to the edge-based image analysis device 200 and request analysis.

도 6은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.Figure 6 is a flowchart illustrating an example of image analysis using multiple cameras and moving cameras.

S10에서, 하나 이상의 다중 카메라(20)가 감시 공간을 촬영하여 다중 카메라 영상을 생성하며, 다중 카메라 영상은 영상 분석 모듈(120)에 의해 분석된다. 영상 분석 모듈(120)의 객체 검출부(121)는 다중 카메라 영상에 표출된 하나 이상의 객체를 검출하며, 객체 추적부(122)는 검출된 객체의 움직임을 추적한다. In S10, one or more multiple cameras 20 capture a surveillance space to generate multi-camera images, and the multiple camera images are analyzed by the image analysis module 120. The object detection unit 121 of the image analysis module 120 detects one or more objects displayed in the multi-camera image, and the object tracking unit 122 tracks the movement of the detected objects.

S11에서, 연속 추적할 객체를 검출하며 그 객체의 위치를 산출한다. 연속 추적할 객체는 객체 검출부(121), 객체 추적부(122), 이벤트 검출부(124) 중 어느 하나에 의해 결정될 수 있다. 연속 추적할 객체의 일 예는 영상 분석을 위한 속성을 획득하지 못한 객체일 수 있으며, 예를 들어, 사람 객체의 식별에 필요한 얼굴 정면을 다중 카메라 영상 또는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상을 통해 획득하지 못하면, 연속 추적할 객체로 분류한다. 연속 추적할 객체의 다른 예는 다중 카메라 영상을 분석하여 추적이 필요한 객체 관련 이벤트, 즉, 이상 행위가 검출된 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 사각 영역에 진입하여 더 이상 추적할 수 없는 객체이며, 다중 카메라 영상에서 더 이상 검출되지 않는 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 다중 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다.In S11, an object to be continuously tracked is detected and the position of the object is calculated. The object to be continuously tracked may be determined by any one of the object detection unit 121, the object tracking unit 122, and the event detection unit 124. An example of an object to be continuously tracked may be an object that has not acquired properties for image analysis, for example, a multi-camera image of the front face required for identification of a human object, or a plurality of fixed camera images constituting a multi-camera image. If it is not obtained through , it is classified as an object to be continuously tracked. Another example of an object to be continuously tracked may be an object-related event that requires tracking by analyzing multiple camera images, that is, an object for which abnormal behavior has been detected. Another example of an object to be continuously tracked is an object that enters a blind area and can no longer be tracked, and may be an object that is no longer detected in multi-camera images. Another example of an object to be continuously tracked may be an object that has moved away from the multiple cameras 20 and can no longer be identified.

이벤트 분류Event classification 설명explanation 이기종 객체 분류Heterogeneous object classification 카메라에서 검출되는 객체(object)의 종류가 다른 속성값을 분류 및 통합이벤트 검출Classifies attribute values of different types of objects detected by cameras and detects integrated events 불법주정차illegal parking 차가 주차되지 말아야 할 곳에 정지 되어있는 경우 일정 시간이 지체되었을 때 검출Detected when a certain amount of time has passed when the car is parked in a place where it should not be parked. 속도 및 위치speed and position 카메라가 설치되어있는 지점 기준 차가 주행될 때 차량의 속도 및 위치값 표출Displays the vehicle's speed and position when the car is driven based on the point where the camera is installed. 통행량 및 혼잡도Traffic volume and congestion 도로 내 차의 밀집도 및 카운팅 검출Density and counting detection of cars on the road 불법 유턴 및 역주행Illegal U-turns and reverse driving 도로 내 차의 방향성을 검지하여 불법 유턴 및 역주행 검출 Detect illegal U-turns and reverse driving by detecting the direction of cars on the road 좌회전감응Left turn detection 좌회전 신호를 기다리는 차가 일정 시간이상 대기하고 있을시 신호와 연계하여 좌회전 신호 표출When a car waiting for a left turn signal waits for more than a certain period of time, the left turn signal is displayed in conjunction with the signal. 피플카운팅 및 혼잡도People counting and congestion 특정 구역을 출입하는 인원에 대한 카운팅 및 일정 인원 이상 출입에 의한 혼잡도 검출Counting the number of people entering a specific area and detecting congestion due to the entry of more than a certain number of people 침입invasion 무단침입, 불법 침입 또는 출입 금지 구역에 비인가자가 출입하는 순간 검출Detects trespassing, trespassing, or the moment an unauthorized person enters a restricted area. 체류visit 검출된 객체가 일정 시간 같은 자리에서 계속 검출될 때 체류 상황으로 판단When a detected object continues to be detected in the same location for a certain period of time, it is judged to be a stay situation. 배회prowl 사람 객체 검출 후 특정 이벤트 없이 일정 시간 이상 배회, 서성거림 등 의심스러운 행동 검출Detection of suspicious behavior such as loitering or loitering for more than a certain period of time without a specific event after detecting a human object 유기abandonment 검출된 사람 객체로부터 분리된 새로운 객체 검출Detection of new objects separated from detected human objects 쓰러짐collapse 걷다가 또는 서 있다가 바닥으로 쓰러지는 행동으로 머리가 바닥에 닿았을 때 쓰러짐으로 검출Falling to the floor while walking or standing is detected when the head touches the floor. 얼굴인식 및 검출Face recognition and detection 카메라 영상에서 사람의 얼굴을 인식하고 얼굴 특징점(FFV)을 추출하는 기능Function to recognize human faces from camera images and extract facial feature points (FFV) 유사도 분석Similarity analysis 카메라 영상에서 검출된 얼굴의 특징점과 DB에 저장된 얼굴DB와 유사도를 비교하여 인가/비인가자를 검출Detect authorized/unauthorized persons by comparing the similarity between facial features detected in camera images and face database stored in the DB.

연속 추적할 객체의 지리적 위치는 다중 카메라(20)의 위치, 높이, 틸트(tilt) 각도 등을 이용하여 다양한 방식으로 산출될 수 있다. 이동 카메라(25)의 이동 목적지는 연속 추적 유형에 따라 결정될 수 있다. 사각 영역에 진입한 객체의 경우, 해당 객체가 사라지기 직전까지 검출된 지점을 이동 카메라(25)의 이동 목적지로 결정하여 위치를 산출할 수 있다. 객체가 사각 영역에 진입한 경우를 제외하면, 연속 추적할 객체는 다중 카메라 영상에서 검출되고 있으며, 따라서 이동 카메라(25)의 이동 목적지는 객체의 현재 위치이다.S12에서, 이동 카메라(25)의 위치를 산출하고 연속 추적할 객체까지의 경로를 설정한다. 이동 카메라(25)의 위치는 다양한 측위 방식을 통해 산출될 수 있다. 실외의 경우, GPS(Global positioning system) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC(Visible light communication) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 둘 이상의 이동 카메라(25)가 활용 가능한 경우, 연속 추적할 객체까지의 이동 시간이 짧은 위치에 있는 이동 카메라(25)가 선택될 수 있다. The geographic location of an object to be continuously tracked can be calculated in various ways using the location, height, tilt angle, etc. of the multiple cameras 20. The moving destination of the mobile camera 25 may be determined according to the continuous tracking type. In the case of an object entering a blind area, the position can be calculated by determining the point detected just before the object disappears as the moving destination of the mobile camera 25. Except when the object enters the blind area, the object to be continuously tracked is detected in the multi-camera image, and therefore the movement destination of the moving camera 25 is the current location of the object. In S12, the moving camera 25 Calculate the location and set the path to the object to be continuously tracked. The location of the mobile camera 25 can be calculated through various positioning methods. In the case of outdoors, the location of the mobile camera 25 can be calculated using a global positioning system (GPS) or the like. In the case of indoors, the position of the mobile camera 25 can be calculated using an image matching method, an inertial sensor-based method, a marker-based method, VLC (Visible light communication), etc. If two or more moving cameras 25 are available, the moving camera 25 located in a location with a short travel time to the object to be continuously tracked may be selected.

이동 카메라(25)의 위치가 산출되면, 연속 추적할 객체까지의 경로가 설정될 수 있다. 경로는 이동 카메라(25)가 탑재된 이동 수단의 유형 또는 이동 속도뿐 아니라 주변의 방해물의 위치를 고려하여 결정될 수 있다. 예를 들어, 비행 드론의 경로는 이동 카메라(25)의 현재 위치로부터 연속 추적할 객체의 위치까지 대부분 직선이며, 경로 중간에 위치한 방해물 주변으로 우회하도록 결정될 수 있다. Once the position of the moving camera 25 is calculated, a path to the object to be continuously tracked can be set. The path may be determined by considering the location of surrounding obstacles as well as the type or moving speed of the means of transportation on which the moving camera 25 is mounted. For example, the path of the flying drone is mostly a straight line from the current position of the moving camera 25 to the position of the object to be continuously tracked, and may be determined to take a detour around an obstacle located in the middle of the path.

S13에서, 이동 카메라(25)는 경로를 따라 이동하여 목적지에 도착하며 이동 카메라 영상을 생성한다. 영상 분석 모듈(200)은 다중 카메라 영상에서 검출된 연속 추적할 객체와 동일한 객체를 이동 카메라 영상에서 식별한다. 객체의 속성을 획득하기 위한 연속 추적의 경우, 사람 객체의 얼굴 정면을 촬영한 후 연속 추적은 종료된다. 반면 이상 행위를 한 객체에 대한 연속 추적은 이동 카메라 영상에서 객체가 식별된 이후에도 계속될 수 있다.In S13, the mobile camera 25 moves along the path, arrives at the destination, and generates a mobile camera image. The image analysis module 200 identifies an object in the moving camera image that is identical to the object to be continuously tracked detected in the multi-camera image. In the case of continuous tracking to acquire the properties of an object, continuous tracking ends after photographing the front face of the human object. On the other hand, continuous tracking of an object that has behaved abnormally can continue even after the object is identified in the moving camera image.

S14에서, 다중 카메라 영상 및 이동 카메라 영상에서 검출 및 추적한 객체에 대한 메타 데이터가 생성되며, 생성된 메타 데이터는 영상 분석에 이용될 수 있다.In S14, metadata for objects detected and tracked in multi-camera images and moving camera images are generated, and the generated metadata can be used for image analysis.

도 7은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이며, 도 8은 다층 건물의 내부에서 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다. 각 층은 하나의 감시 영역이며, 각 층마다 설치된 다중 카메라(20) 및 이동 카메라(25)는 유선 또는 무선으로 지능형 에지장치(100)와 통신할 수 있다. 지능형 에지장치(100)는 각 층마다 설치된 환경 센서(50)가 환경 변수를 측정하여 생성한 측정 데이터를 수신할 수 있다. 환경 변수는, 예를 들어, 온도, 습도, 조도, 가스 농도, 미세먼지 농도 등 일 수 있으며, 환경 센서(50)는 예를 들어 온도 센서, 습도 센서, 조도 센서, 가스 센서, 먼지 센서, 화재 감지 센서 등일 수 있다. 화재 감시 센서는 열, 연기, 불꽃 등을 검출할 수 있다.FIG. 7 is a flowchart illustrating another embodiment of image analysis using multiple cameras and moving cameras, and FIG. 8 is a diagram illustrating a process for defining a blind area inside a multi-story building. Each floor is one surveillance area, and the multiple cameras 20 and mobile cameras 25 installed on each floor can communicate with the intelligent edge device 100 by wire or wirelessly. The intelligent edge device 100 can receive measurement data generated by environmental sensors 50 installed on each floor measuring environmental variables. Environmental variables may be, for example, temperature, humidity, illumination, gas concentration, fine dust concentration, etc., and the environmental sensor 50 may be, for example, a temperature sensor, a humidity sensor, an illumination sensor, a gas sensor, a dust sensor, a fire sensor, etc. It may be a detection sensor, etc. Fire monitoring sensors can detect heat, smoke, flames, etc.

도 7 내지 도 8을 함께 참조하면, S20에서 감시 공간마다 다중 카메라(20)의 확장 감시 영역(21)을 잠정적으로 결정한다. 위치, 높이, 틸트 각도, 카메라 사이각 등 확장 감시 영역(21)에 영향을 미치는 요소들은 각 층에 설치된 다중 카메라(20)마다 상이할 수 있다. 감시 공간 맵은 확장 감시 영역(21) 및 다중 카메라(20) 자체에 의해 생성된 사각 영역(31a)을 표현할 수 있다. 예를 들어, 1층 전체가 확장 감시 영역(21)에 포함된다고 가정한다. Referring to FIGS. 7 and 8 together, in S20, the extended surveillance area 21 of the multiple cameras 20 is provisionally determined for each surveillance space. Factors affecting the extended surveillance area 21, such as location, height, tilt angle, and camera angle, may be different for each multiple camera 20 installed on each floor. The surveillance space map may represent the extended surveillance area 21 and the blind area 31a created by the multiple cameras 20 themselves. For example, assume that the entire first floor is included in the extended surveillance area 21.

S21에서, 다중 카메라(20)의 시야를 가리는 시야 방해물(36)이 확장 감시 영역(21)에 존재하는지 판단한다. 시야 방해물(36)은 일시적으로 존재하거나 항상 존재할 수 있다. 시야 방해물(36)의 위치와 형태는 로봇이나 비행 드론에 탑재된 이동 카메라(25)에 의해 획득될 수 있다. 도 8에서, 벽이 1층 계단 좌측에 설치되어 있는 반면, 2층과 3층에는 시야 방해물이 존재하지 않는다.In S21, it is determined whether an obstruction 36 blocking the view of the multiple cameras 20 exists in the extended surveillance area 21. Viewing obstructions 36 may be present temporarily or may be present all the time. The location and shape of the field of view obstruction 36 can be acquired by a mobile camera 25 mounted on a robot or flying drone. In Figure 8, a wall is installed on the left side of the stairs on the first floor, while there are no obstructions to the view on the second and third floors.

S22에서, 시야 방해물(36)이 존재하면, 시야 방해물(36)로 인해 발생하는 새로운 사각 영역(31b)을 결정한다. 도 8에서, 1층 계단 좌측에 위치한 벽(36) 너머의 공간은 사각 영역(31b)이다. 반면, 시야 방해물(36)로 인한 사각 영역은 2층과 3층에서 발생하지 않는다. In S22, if the view obstruction 36 exists, a new blind area 31b caused by the view obstruction 36 is determined. In Figure 8, the space beyond the wall 36 located on the left side of the stairs on the first floor is a blind area 31b. On the other hand, blind areas due to visibility obstructions 36 do not occur on the second and third floors.

S23에서, 새로운 사각 영역을 감시 공간 맵에 추가하여 감시 공간 맵을 완성한다. In S23, a new rectangular area is added to the surveillance space map to complete the surveillance space map.

S24에서, 이동 카메라의 경로를 감시 공간 맵에 포함된 하나 이상의 사각 영역을 촬영할 수 있도록 설정한다. 이동 카메라(25)의 경로(37)는 이동 수단의 유형, 이동 속도, 방해물의 위치와 형태, 및 이동 카메라(25)의 회전 가능 여부 중 어느 하나 또는 이들의 조합을 고려하여, 하나 이상의 사각 영역을 촬영할 수 있도록 설정된다. 예를 들어, 회전할 수 없는 이동 카메라의 경로와 회전할 수 있는 이동 카메라의 경로는 상이할 수 있다. 설정된 경로(37)는 감시 공간 맵에 반영된다. 이동 제어부(130)는 감시 공간 맵을 참조하여 이동 카메라(25)를 경로(37)를 따라 이동시킬 수 있으며, 연속 추적이 필요한 경우 이동 카메라(25)의 경로를 일시적으로 변경할 수 있다. In S24, the path of the mobile camera is set to capture one or more blind areas included in the surveillance space map. The path 37 of the mobile camera 25 is determined by taking into account any one or a combination of the type of moving means, moving speed, location and shape of obstacles, and whether the moving camera 25 can be rotated, thereby determining one or more blind areas. It is set up so that you can take pictures. For example, the path of a mobile camera that cannot rotate may be different from the path of a mobile camera that can rotate. The set path 37 is reflected in the surveillance space map. The movement control unit 130 can move the mobile camera 25 along the path 37 by referring to the surveillance space map, and can temporarily change the path of the mobile camera 25 when continuous tracking is necessary.

경로(37)가 설정된 감시 공간 맵을 생성하는 과정이 반드시 영상 분석 모듈(120)에 의해서만 수행되어야 하는 것은 아니며, 경로가 설정되지 않은 맵 또는 경로가 설정된 맵은 외부에서 생성된 후 영상 분석 모듈(120)에 전달될 수도 있다.The process of creating a surveillance space map with a set path 37 does not necessarily have to be performed only by the video analysis module 120, and a map without a set route or a map with a set route is created externally and then through the video analysis module ( 120).

S25에서, 이동 카메라(25)는 경로(37)를 따라 이동하면서 이동 카메라 영상을 생성한다. 확장 추적시, 이동 카메라(25)는 이동 카메라 영상이 촬영된 위치를 나타내는 메타 데이터를 이동 카메라 영상에 기록하거나 이동 카메라 영상에 연관된 파일에 기록할 수 있다. 한편, 이동 카메라(25)는 이동 카메라 영상 촬영시 카메라 방향을 나타내는 메타 데이터를 이동 카메라 영상에 더 기록할 수 있다. 또한, 이동 수단이 비행 드론인 경우, 이동 카메라(25)는 비행 드론의 지상으로부터의 높이를 나타내는 메타 데이터를 이동 카메라 영상에 더 기록할 수 있다. 촬영 위치, 카메라 방향 및 촬영 높이는 변경될 때마다 이동 카메라 영상에 기록되며, 이를 통해 사각 영역에서 검출된 객체의 위치를 확정할 수 있게 된다. At S25, the moving camera 25 moves along the path 37 and generates a moving camera image. During extended tracking, the mobile camera 25 may record metadata indicating the location where the mobile camera image was captured in the mobile camera image or in a file associated with the mobile camera image. Meanwhile, the mobile camera 25 may further record metadata indicating the camera direction in the mobile camera image when capturing the mobile camera image. Additionally, when the means of transportation is a flying drone, the mobile camera 25 may further record metadata indicating the height of the flying drone from the ground in the mobile camera image. Whenever the shooting position, camera direction, and shooting height are changed, they are recorded in the moving camera image, and through this, the location of the object detected in the blind area can be confirmed.

S26에서, 확장 감시 영역(21)을 촬영한 다중 카메라 영상 및 확장 감시 영역(21)의 일부를 촬영한 이동 카메라 영상을 분석하여 객체 관련 이벤트를 검출한다. 다중 카메라 영상은 확장 감시 영역(21) 내에 위치한 객체들을 표출하며, 이동 카메라 영상은 사각 영역에 위치한 객체들을 표출한다. In S26, an object-related event is detected by analyzing the multi-camera image captured in the extended surveillance area 21 and the moving camera image captured in part of the extended surveillance area 21. The multi-camera image displays objects located within the extended surveillance area 21, and the moving camera image displays objects located in the blind area.

도 9는 다중 카메라 및 이동 카메라로 화재 발생을 감지하며, 이에 대응하는 과정을 예시적으로 도시한 도면이며, 도 10은 다층 건물의 내부에서 화재 발생시 이동 카메라를 이용한 화재 대응을 예시적으로 도시한 도면이다. Figure 9 is a diagram illustrating the process of detecting and responding to a fire using multiple cameras and moving cameras, and Figure 10 is an example showing a fire response using a moving camera when a fire occurs inside a multi-story building. It is a drawing.

화재 감지 센서(50)가 화재 신호를 발생한다. 화재 신호는 열, 연기, 및 불꽃 중 적어도 어느 하나로 검출되는 실제 화재로 인해 발생할 수 있지만(이하 실제 화재 신호), 단순한 온도 상승, 음식 조리시 생긴 연기, 또는 먼지와 같이 화재가 아님에도 발생할 수 있다(이하 오작동 화재 신호). 한편, 화재 신호는 화재 감지 센서(50) 고장시에도 발생할 수 있다. 따라서 화재 신호가 발생한 시점에서, 해당 화재 신호가 실제 화재 신호인지 아니면 오작동 화재 신호인지는 판단하기 어렵다. 또한, 복수의 화재 감지 센서(50)가 동일한 소방 중계기 또는 공통선을 통해 화재 신호를 소방 수신기에 전달하기 때문에, 화재가 발생한 구역을 파악할 수는 있지만, 해당 구역 내 어느 위치에서 화재가 발생하였는지는 파악할 수 없다.The fire detection sensor 50 generates a fire signal. A fire signal can be caused by an actual fire that is detected as at least one of heat, smoke, and flames (hereinafter referred to as an actual fire signal), but can also be caused by something other than a fire, such as a simple increase in temperature, smoke from cooking food, or dust. (hereinafter referred to as malfunctioning fire signal). Meanwhile, a fire signal may also occur when the fire detection sensor 50 fails. Therefore, at the time a fire signal occurs, it is difficult to determine whether the fire signal is an actual fire signal or a malfunctioning fire signal. In addition, since a plurality of fire detection sensors 50 transmit fire signals to the fire receiver through the same fire repeater or common line, it is possible to identify the area where the fire occurred, but it is not possible to determine where the fire occurred within the area. I can't.

도 9와 도 10을 함께 참조하면, S30에서, 관제 서버(300)가 화재 신호를 수신한다. 화재 신호를 수신하면, 관제 서버(300)는 화재 신호 수신 및 확인중임을 관제 단말에 표출할 수 있다. Referring to FIGS. 9 and 10 together, at S30, the control server 300 receives a fire signal. Upon receiving a fire signal, the control server 300 may display on the control terminal that the fire signal is being received and confirmed.

지능형 에지장치(100)도 화재 신호를 수신할 수 있다. 지능형 에지장치(100)는 다중 카메라(20) 및 이동 카메라(25)뿐 아니라 건물에 설치된 환경 센서(50)로부터 측정 데이터를 직접 또는 간접적으로 수신할 수 있다. 화재 감지 센서도 일종의 환경 센서(50)이므로, 화재 신호도 지능형 에지장치(100)에 전달되도록 할 수 있다. 이하에서는 환경 센서를 화재 감지 센서라 지칭한다. The intelligent edge device 100 can also receive fire signals. The intelligent edge device 100 can directly or indirectly receive measurement data from the multi-camera 20 and the mobile camera 25 as well as the environmental sensor 50 installed in the building. Since the fire detection sensor is also a type of environmental sensor 50, a fire signal can also be transmitted to the intelligent edge device 100. Hereinafter, the environmental sensor is referred to as a fire detection sensor.

한편, 지능형 에지장치(100)는 영상 분석에 의해서도 화재를 감지할 수 있다. 지능형 에지장치(100)는 영상 내 특정 영역의 색 변화 등을 통해 화염, 연기 등을 감지할 수 있으며, 다양한 감지 기법이 소개되어 있다. 따라서 지능형 에지장치(100)가 화재를 감지하는 경로는 화재 신호에 한정되지 않는다.Meanwhile, the intelligent edge device 100 can also detect fire through image analysis. The intelligent edge device 100 can detect flames, smoke, etc. through color changes in specific areas in the image, and various detection techniques have been introduced. Therefore, the path through which the intelligent edge device 100 detects fire is not limited to fire signals.

S31에서, 지능형 에지장치(100)가 화재를 감지하면 화재가 발생한 구역에 배치된 다중 카메라(20) 및/또는 이동 카메라(25)를 파악하며, S32에서 다중 카메라 영상 및/또는 이동 카메라 영상을 수신한다. 화재가 발생한 구역을 화재 신호로부터 파악할 수 있으면, 지능형 에지장치(100)는 해당 층에 설치된 다중 카메라(20)가 생성한 다중 카메라 영상에서 화재 이벤트를 검출할 수 있다. 반면 화재가 발생한 구역을 파악할 수 없으면, 지능형 에지장치(100)는 화재 신호가 발생한 건물에 설치된 모든 카메라로부터 수신된 영상을 분석하여 화재 이벤트를 검출할 수 있다. In S31, when the intelligent edge device 100 detects a fire, it identifies the multiple cameras 20 and/or moving cameras 25 deployed in the area where the fire occurred, and displays the multiple camera images and/or moving camera images in S32. Receive. If the area where the fire occurred can be identified from the fire signal, the intelligent edge device 100 can detect the fire event from the multi-camera image generated by the multi-camera 20 installed on the corresponding floor. On the other hand, if the area where the fire occurred cannot be identified, the intelligent edge device 100 can detect a fire event by analyzing images received from all cameras installed in the building where the fire signal occurred.

화재가 발생한 구역이 파악되면, 지능형 에지장치(100)는 이동 카메라(25)를 화재가 발생한 구역으로 이동시킨다. 다중 카메라(25)가 화재 발생 구역을 촬영할 수도 있다. 하지만, 다중 카메라(25)로부터 멀리 떨어지거나 사각 영역에서 발생한 화재의 진행 상황은 다중 카메라(20)만으로 감시하기 어려울 수 있다. 특히, 다중 카메라 영상만으로 화재가 다른 층으로 번지는 상황을 파악하기는 더욱 어려울 수 있다. 도 10에서, 1층에 화재가 발생하면, 1층 이동 카메라(25)는 화재 발생 구역으로 이동하여 화재를 촬영하기 시작한다. 한편, 화염이나 연기는 계단, 엘리베이터홀, 에어 덕트 등을 통해 다른 층으로 확산할 수 있다. 따라서 지능형 에지장치(100)는 2층 및 3층 이동 카메라들(25)을 화재가 영향을 미칠 수 있는 위치로 이동시켜 화재 진행 상황을 감시할 수 있다. 화재가 영향을 미칠 수 있는 위치가 복수이면, 지능형 에지장치(100)는 복수의 위치를 촬영할 수 있는 경로를 설정하며, 그 경로를 따라 이동하는 이동 카메라(25)가 생성한 이동 카메라 영상을 통해 화재 진행 상황을 감시할 수 있다. Once the area where the fire occurred is identified, the intelligent edge device 100 moves the mobile camera 25 to the area where the fire occurred. Multiple cameras 25 may photograph the area where the fire occurs. However, it may be difficult to monitor the progress of a fire that occurs far away from the multiple cameras 25 or in a blind area using only the multiple cameras 20. In particular, it can be more difficult to identify a situation where a fire spreads to another floor using only multiple camera images. In Figure 10, when a fire occurs on the first floor, the first floor mobile camera 25 moves to the fire occurrence area and starts filming the fire. Meanwhile, flames or smoke can spread to other floors through stairs, elevator halls, air ducts, etc. Therefore, the intelligent edge device 100 can monitor the progress of the fire by moving the second and third floor mobile cameras 25 to locations where the fire can affect. If there are multiple locations where a fire can affect, the intelligent edge device 100 sets a path to capture multiple locations, and uses the moving camera image generated by the moving camera 25 moving along the path. The progress of the fire can be monitored.

한편, 화재가 발생한 위치가 일시적으로 이동 카메라(25)의 시야 밖에 있을 수 있다. 따라서 화재 발생을 감지하면, 지능형 에지장치(100)는 이동 카메라(25)가 시야 밖 영역을 스캔하도록 제어한다. 여기서 스캔은 카메라의 회전 및 틸팅 중 어느 하나 또는 모두를 수행하여 이동 카메라(25)가 촬영할 수 있는 공간의 적어도 일부 또는 전체를 촬영하는 동작이다. Meanwhile, the location where the fire occurred may be temporarily outside the field of view of the mobile camera 25. Therefore, upon detecting the occurrence of a fire, the intelligent edge device 100 controls the mobile camera 25 to scan an area outside the field of view. Here, scanning is an operation of capturing at least part or all of the space that the mobile camera 25 can capture by performing either or both rotation and tilting of the camera.

S33에서, 지능형 에지장치(100)는 수신한 화재 신호가 실제 화재 신호인지 아니면 오작동 화재 신호인지를 1차 분석한다. 이를 위해서, 지능형 에지장치(100)는 다중 카메라 영상 및/또는 이동 카메라 영상에 고도화된 화재 오검지 조건을 적용한다. 지능형 에지장치(100)는 영상을 분석하여 메타 데이터를 생성하며, 이를 저장한다. 따라서, 지능형 에지장치(100)는 화재 신호를 수신한 시각을 기준으로 일정 시간 이전에 수신한 영상을 분석하여 획득한 메타 데이터에 고도화된 화재 오검지 조건을 적용하여 연기 또는 불꽃을 검출할 수 있다. 1차 분석 결과에 따라 이후 절차가 달라질 수 있다. 고도화된 화재 오검지 조건을 영상에 적용하여 분석하는 과정은 도 11을 참조하여 상세히 설명한다.In S33, the intelligent edge device 100 first analyzes whether the received fire signal is an actual fire signal or a malfunctioning fire signal. To this end, the intelligent edge device 100 applies advanced fire false detection conditions to multi-camera images and/or moving camera images. The intelligent edge device 100 analyzes images, generates metadata, and stores it. Therefore, the intelligent edge device 100 can detect smoke or flames by applying advanced fire false detection conditions to metadata obtained by analyzing images received a certain time before the fire signal was received. . Depending on the results of the primary analysis, subsequent procedures may vary. The process of applying and analyzing advanced fire false detection conditions to images will be described in detail with reference to FIG. 11.

불꽃 및 연기 중 어느 하나가 검출되어 실제 화재 신호인 것으로 분석되면, 지능형 에지장치(100)는 화재가 발생한 위치를 특정할 수 있다. 영상에 표출된 객체의 지리적 위치는 다중 카메라(25)의 위치, 높이, 틸트 각도 등을 이용하여 다양한 방식을 이용하여 특정될 수 있다. 특정된 화재 발생 위치는 화재 검출을 나타내는 메타 데이터와 함께 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송될 수 있다. 한편, 지능형 에지장치(100)는 이동 카메라(25)가 화재를 지속적으로 촬영하도록 제어하여 화재의 확산속도, 확산방향, 불꽃의 크기를 검출하며, 이를 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송할 수 있다.If either flame or smoke is detected and analyzed as an actual fire signal, the intelligent edge device 100 can specify the location where the fire occurred. The geographical location of the object displayed in the image can be specified using various methods using the location, height, tilt angle, etc. of the multiple cameras 25. The specified fire occurrence location may be transmitted to the edge-based video analysis device 200 or the control server 300 along with metadata indicating fire detection. Meanwhile, the intelligent edge device 100 controls the mobile camera 25 to continuously film the fire, detects the spread speed of the fire, direction of spread, and size of the flame, and reports these to the edge-based video analysis device 200 or the control server. It can be sent to (300).

불꽃 및 연기 중 어느 하나도 검출되지 않아 오작동 화재 신호인 것으로 분석되면, 지능형 에지장치(100)는 오작동 화재 신호임을 나타내는 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송할 수 있다.If neither flame nor smoke is detected and it is analyzed to be a malfunctioning fire signal, the intelligent edge device 100 may transmit metadata indicating a malfunctioning fire signal to the edge-based video analysis device 200 or the control server 300. .

1차 분석 결과 화재 여부를 판단할 수 없으면, 지능형 에지장치(100)는 화재 신호가 발생한 구역에서 촬영된 영상 또는 스냅샷을 에지기반 영상분석장치(200)로 전송한다. 예를 들어, 불꽃이나 연기를 검출했지만 주변에 위치한 사람들의 움직임이 없으면, 화재가 발생했지만 진화했거나 진화 가능한 상황인지 아니면 음식 조리와 같이 화재가 발생하지 않은 상황인지를 판단하기 어렵다. 이 경우, 지능형 에지장치(100)는 영상 분석의 결과를 도출하지 못하는 영상 구간 또는 스냅샷을 에지기반 영상분석장치(200)로 전송할 수 있다.If it is not possible to determine whether there is a fire as a result of the primary analysis, the intelligent edge device 100 transmits the image or snapshot taken in the area where the fire signal occurred to the edge-based video analysis device 200. For example, if a flame or smoke is detected but there is no movement of people nearby, it is difficult to determine whether a fire has occurred but has been extinguished or can be extinguished, or whether a fire has not occurred, such as cooking food. In this case, the intelligent edge device 100 may transmit a video section or snapshot that does not yield video analysis results to the edge-based video analysis device 200.

S34에서, 에지기반 영상분석장치(200)는 지능형 에지장치(100)의 1차 분석 결과를 검증하거나 2차 분석하여 화재 신호의 유형을 확정한다. 실제 화재 신호임을 나타내는 메타 데이터 및 오작동 화재 신호임을 나타내는 메타 데이터를 수신하면, 에지기반 영상분석장치(200)는 메타 데이터를 2차 분석하여 지능형 에지장치(100)에 의한 분석 결과를 검증할 수 있다. 에지기반 영상분석장치(200)는 지능형 에지장치(100)에 비해 상대적으로 많은 컴퓨팅 파워 및 리소스를 활용할 수 있으므로, 지능형 에지장치(100)에서 적용된 이벤트 조건보다 더욱 상세한 이벤트 조건을 적용한 분석이 가능하다. 또한 에지기반 영상분석장치(200)는 학습된 이벤트 검출기로 검출할 수 없는 이벤트도 빅데이터를 활용하여 분석할 수 있다. In S34, the edge-based video analysis device 200 verifies the primary analysis result of the intelligent edge device 100 or performs secondary analysis to determine the type of fire signal. Upon receiving metadata indicating an actual fire signal and metadata indicating a malfunctioning fire signal, the edge-based video analysis device 200 performs a secondary analysis of the metadata to verify the analysis result by the intelligent edge device 100. . Since the edge-based video analysis device 200 can utilize relatively more computing power and resources than the intelligent edge device 100, analysis is possible by applying more detailed event conditions than the event conditions applied by the intelligent edge device 100. . Additionally, the edge-based video analysis device 200 can analyze events that cannot be detected with a learned event detector using big data.

2차 분석 결과 오작동 화재 신호로 확정되면, 에지기반 영상분석장치(200)는 관제 서버(300)로 오작동 화재 신호를 통지한다. 오작동 화재 신호를 수신하면, 관제 서버(300)는 관제 단말에 표출한 화재 신호를 화재 감지기 오작동으로 변경한다.If it is confirmed as a malfunction fire signal as a result of the secondary analysis, the edge-based video analysis device 200 notifies the control server 300 of the malfunction fire signal. Upon receiving a malfunctioning fire signal, the control server 300 changes the fire signal displayed on the control terminal to a malfunctioning fire detector.

반면 2차 분석 결과 실제 화재 신호로 확정되면, 에지기반 영상분석장치(200)는 관제 서버(300)로 실제 화재 신호를 통지한다. 실제 화재 신호를 수신하면, 관제 서버(300)는 관제 단말에 표출한 화재 신호를 화재 발생으로 변경하며 화재가 발생한 위치를 관제 단말에 표출한다.On the other hand, if it is confirmed as an actual fire signal as a result of the secondary analysis, the edge-based video analysis device 200 notifies the control server 300 of the actual fire signal. Upon receiving an actual fire signal, the control server 300 changes the fire signal displayed on the control terminal to a fire occurrence and displays the location where the fire occurred on the control terminal.

도 11은 고도화된 화재 오검지 조건을 적용한 화재 검출 방식을 예시적으로 설명하기 위한 도면이다.Figure 11 is a diagram illustrating an exemplary fire detection method applying advanced fire false detection conditions.

도 9에 예시된 방식은 화재 신호 발생 후 카메라 스캔을 통해 화재를 검출하는 방식이며, 도 11에 예시된 방식은 도 9의 화재 감지기 오작동 감지뿐 아니라 화재 신호가 발생하지 않는 상황에서도 화재를 감지할 수 있다. 따라서 도 11에 예시된 방식만 실행될 수 있다.The method illustrated in FIG. 9 is a method that detects fire through camera scanning after a fire signal occurs, and the method illustrated in FIG. 11 not only detects malfunction of the fire detector in FIG. 9, but also detects fire even in situations where no fire signal occurs. You can. Therefore, only the method illustrated in Figure 11 can be implemented.

S40은 화재가 일어나지 않은 정상 상황에서 촬영한 영상이다. 고도화된 화재 오검지 조건은 그리드 기반 빅데이터 자가학습을 통해 화재 발생 판단의 정확도를 고도화할 수 있다. 영상은 m x n 그리드로 분할되며, 각 그리드별로 정상 프로파일이 생성될 수 있다. 정상 프로파일은 정상 상태에서만 식별되는 특징, 규칙 또는 주기적인 변화이며, 그리드별로 빅데이터 자가학습을 통해 결정될 수 있다. 예를 들어, 정상 프로파일은 시간에 따라 변하는 색상일 수 있다. S40 is a video taken under normal circumstances where no fire occurred. Advanced fire false detection conditions can enhance the accuracy of fire occurrence judgment through grid-based big data self-learning. The image is divided into m x n grids, and a normal profile can be generated for each grid. A normal profile is a characteristic, rule, or periodic change that is identified only in a normal state, and can be determined through big data self-learning for each grid. For example, a normal profile could be a color that changes over time.

그리드 기반은 화면 전체에 대한 정상 프로파일보다 더 정확한 화재 검출을 가능하게 한다. 예시된 화면은 부엌을 촬영한 영상으로, 우측에 있는 가스 레인지는 음식 조리를 위해 불꽃이 자주 검출되는 반면, 그 외의 영역은 창문을 통해 들어오는 햇빛 및 반사된 조명에 의해 규칙적으로 밝기가 변화한다. 따라서 화면 전체에 대해 정상 프로파일을 생성하면, 화면의 일부에서만 검출되는 특징들이 평균화되어서 어느 한 특징의 변화가 화면 전체의 정상 프로파일에 미치는 영향이 미미해진다. 그에 반해, 그리드별로 정상 프로파일을 생성하면, 그리드간에 구분이 가능하여 어느 한 그리드에 생긴 변화를 정확하게 검출할 수 있게 된다. 예를 들어, 빅데이터 자가학습을 통해 가스 레인지가 포함된 그리드는 위험 영역으로 분류되며, 일정 범위 이하로 검출되는 불꽃은 정상 상태, 즉, 음식 조리에 의해 발생한 것으로 식별될 수 있다.Grid-based allows for more accurate fire detection than a normal profile for the entire screen. The example screen is an image of a kitchen. Flames are frequently detected in the gas range on the right for cooking food, while the brightness of other areas changes regularly due to sunlight coming through the window and reflected lights. Therefore, when a normal profile is created for the entire screen, features detected only in part of the screen are averaged, so that changes in any one feature have a minimal effect on the normal profile for the entire screen. On the other hand, if a normal profile is created for each grid, it is possible to distinguish between grids and accurately detect changes in any one grid. For example, through big data self-learning, a grid containing a gas range is classified as a risk area, and flames detected below a certain range can be identified as normal, that is, caused by food cooking.

S41에서, 복수의 그리드 중에서 화재 후보영역이 검출된다. 화재 후보영역은 다양한 공지의 방식을 적용하여 검출될 수 있다. 예를 들어, 화재 후보영역은 색상정보를 이용하여 검출될 수 있다. 불꽃 또는 연기는 객체 유형을 특정할 수 없는 비정형이기 때문에 색상정보가 화재 검출에 주로 사용된다. 영상에서, 불꽃은 가장 밝으며, 불꽃 주변에는 적색 및 황색의 화염이 존재하는 특성을 가지며, 연기는 백색, 회색 또는 흑색을 띄며, 상당한 넓은 영역에 걸쳐 검출되는 특성을 가진다. 예시된 화면에서, 2개의 화재 후보영역이 검출되었다. 좌측 후보영역은 화재로 인한 불꽃이며, 우측 후보영역은 가스 레인지 불꽃이다.In S41, a fire candidate area is detected among a plurality of grids. Fire candidate areas can be detected by applying various known methods. For example, a fire candidate area can be detected using color information. Since flames or smoke are atypical and cannot specify the object type, color information is mainly used for fire detection. In the video, the flame is the brightest, with red and yellow flames present around the flame, and the smoke is white, gray, or black, and has the characteristic of being detected over a fairly wide area. In the example screen, two fire candidate areas were detected. The candidate area on the left is a flame from a fire, and the candidate area on the right is a flame from a gas range.

상술한 특징들은 화재가 아닌 경우에도 검출될 수 있어서, 유사한 특징을 갖는 화재 후보영역을 제거하는 오검지 필터링을 적용하면 오검지율을 더욱 감소시킬 수 있다. 예를 들어, 석양, 빨간색 객체, 네온사인, 붉은 조명, 가로등(이하 오검지 화재)은 불꽃으로 검출될 수 있다. Since the above-described features can be detected even when it is not a fire, the false detection rate can be further reduced by applying false detection filtering to remove fire candidate areas with similar characteristics. For example, sunsets, red objects, neon signs, red lights, and street lights (hereinafter referred to as false detection fires) can be detected as flames.

S42에서, 오검지 필터링을 통해 화재 후보영역 중에서 화재가 아닌 영역이 제거된다. 오검지 필터는 영상에서 분석하지 않을 영역이나 객체를 제거하는 환경 필터이다. 오검지 필터링은 실제 화재와 다른 특징을 가진 영역을 제외하는 방식으로 수행될 수 있다. 일 예로, 오검지 필터링은 화재 후보영역별로 히스토그램을 생성하며, 생성된 히스토그램을 실제 화재에 대한 히스토그램 또는 오검지 화재에 대한 히스토그램과 비교 및 분류하여 오검지 화재를 제거할 수 있다. 다른 예로, 화재 후보영역이 미리 설정된 분석이 필요 없는 영역에 해당하면 오검지 필터는 해당 화재 후보영역을 제거할 수 있다.In S42, non-fire areas are removed from the fire candidate areas through false detection filtering. A false detection filter is an environmental filter that removes areas or objects that should not be analyzed from an image. False detection filtering can be performed by excluding areas with characteristics different from actual fires. As an example, false detection filtering generates a histogram for each fire candidate area, and the generated histogram can be compared and classified with histograms for actual fires or histograms for falsely detected fires to remove falsely detected fires. As another example, if the fire candidate area corresponds to an area that does not require preset analysis, the false detection filter may remove the fire candidate area.

S43에서, 오검지 필터링을 통과한 화재 후보영역을 정상 프로파일과 비교하여 비정상 상태의 발생을 확정할 수 있다. 정상 프로파일은 정상 상태가 유지되는 동안에 생성되므로, 정상 상태의 특징을 나타낸다. 예를 들면, 그리드별로 생성된 정상 프로파일과 실시간으로 수집된 영상의 색상정보를 비교하여 해당 그리드에서 비정상 상태를 검출할 수 있다. 예시된 그리드 G24와 G34의 색상정보는 정상 프로파일을 가진다. 한편 실시간 영상에서 그리드 G24와 G34에 대응하는 영역에서 발생한 화재는 그리드 G24와 G34가 정상 프로파일과는 다른 색상정보를 가지게 한다. 따라서 비정상 상태, 즉, 화재가 발생한 경우이다.In S43, the occurrence of an abnormal state can be confirmed by comparing the fire candidate area that passed false detection filtering with the normal profile. Since the normal profile is created while the steady state is maintained, it represents the characteristics of the steady state. For example, by comparing the color information of images collected in real time with the normal profile generated for each grid, an abnormal state can be detected in the corresponding grid. The color information of the illustrated grids G24 and G34 has a normal profile. Meanwhile, a fire that occurred in the area corresponding to grids G24 and G34 in the real-time video causes grids G24 and G34 to have color information different from the normal profile. Therefore, it is an abnormal state, that is, a fire has occurred.

화재가 검출되면, 화재의 확산속도, 확산방향, 불꽃의 크기와 같은 화재 특성을 지속적으로 추적할 수 있다. 그리드로 분할된 영상은 그리드별로 비정상 상태를 검출할 수 있으므로, 그리드별 상태 변화를 통해 화재를 신속하게 추적할 수 있다.Once a fire is detected, fire characteristics such as the speed of fire spread, direction of spread, and size of flames can be continuously tracked. Since images divided into grids can detect abnormal conditions for each grid, fires can be quickly tracked through changes in the status for each grid.

상술한 과정은 화재 후보영역을 검출한 후 정상 프로파일을 이용하는 경우이다. 화재 후보영역 검출 과정은 생략가능하며, 실시간 영상을 정상 프로파일과 그리드별 비교를 통해 비정상 상태 발생을 검출할 수도 있다.The above-described process is a case of using a normal profile after detecting a fire candidate area. The fire candidate area detection process can be omitted, and the occurrence of abnormal conditions can also be detected by comparing real-time images with the normal profile for each grid.

도 12는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다. 도 5와 중복되는 설명을 생략하며 차이점을 설명한다.Figure 12 is a configuration diagram for functionally explaining an embodiment of a video analysis system using multiple cameras and moving cameras. Descriptions that overlap with those of FIG. 5 will be omitted and differences will be explained.

도 12를 참조하면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템은, 다중 카메라로부터 획득한 영상을 분석하는 제1 지능형 에지장치(100) 및 이동 중 또는 이동 후 영상을 획득하며 획득한 영상을 분석하는 제2 지능형 에지장치(400)를 포함할 수 있다. 여기서 제2 지능형 에지장치(400)는 영상 분석을 수행할 수 있는 이동 카메라(25)이다.Referring to FIG. 12, the image analysis system using multiple cameras and moving cameras includes a first intelligent edge device 100 that analyzes images acquired from multiple cameras, acquires images during or after moving, and analyzes the acquired images. It may include a second intelligent edge device 400 that does. Here, the second intelligent edge device 400 is a mobile camera 25 capable of performing image analysis.

제1 지능형 에지장치(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 메타 데이터 전송 모듈(130)을 포함할 수 있다. 제1 지능형 에지장치(100)는 감시 공간 내에 설치된 하나 이상의 다중 카메라가 생성한 하나 이상의 다중 카메라 영상을 분석할 수 있다. 영상 분석 모듈(120)을 구성하는 객체 검출부(121), 객체 추적부(122) 및 이벤트 검출부(124) 중 어느 하나는 이벤트 발생을 검출할 수 있다. 추가적으로 또는 선택적으로, 제1 지능형 에지장치(100)는 감시 공간 내에 설치된 복수의 환경 센서(50)로부터 측정 데이터를 수신할 수 있다. 따라서, 제1 지능형 에지장치(100)는 환경 센서(50)로부터 수신된 측정 데이터를 처리하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈(105)을 더 포함할 수 있다. 영상 데이터 처리 모듈(110)에 의해 검출되는 이벤트 발생과 측정 데이터 처리 모듈(105)에 의해 검출되는 이벤트 발생은 동일 원인에 의해 발생하거나 상이한 원인에 의해 발생할 수 있다. 메타 데이터 전송 모듈(130)은 다중 카메라 영상, 다중 카메라 영상을 분석하여 생성된 메타 데이터, 측정 데이터 및 측정 데이터를 분석하여 생성된 메타 데이터 중 어느 하나 또는 이들의 조합을 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송할 수 있다.The first intelligent edge device 100 may include an image data processing module 110, an image analysis module 120, and a metadata transmission module 130. The first intelligent edge device 100 can analyze one or more multi-camera images generated by one or more multi-cameras installed in the surveillance space. Any one of the object detection unit 121, the object tracking unit 122, and the event detection unit 124 that constitute the image analysis module 120 may detect the occurrence of an event. Additionally or alternatively, the first intelligent edge device 100 may receive measurement data from a plurality of environmental sensors 50 installed in the surveillance space. Accordingly, the first intelligent edge device 100 may further include a measurement data processing module 105 that processes measurement data received from the environmental sensor 50 to detect event occurrence. The occurrence of an event detected by the image data processing module 110 and the occurrence of an event detected by the measurement data processing module 105 may occur due to the same cause or may occur due to different causes. The metadata transmission module 130 transmits any one or a combination of multi-camera images, metadata generated by analyzing multi-camera images, measurement data, and metadata generated by analyzing measurement data to the edge through the communication network 40. It can be transmitted to the base video analysis device 200.

제2 지능형 에지장치(400)는 제1 지능형 에지장치(100)의 제어에 의해 감시 공간 내에서 이동하여 이동 카메라 영상을 생성하며, 생성된 이동 카메라 영상을 분석한다. 영상 분석 결과로 생성된 메타 데이터는 통신망을 통해 에지기반 영상분석장치(200)로 전송될 수 있다. 제2 지능형 에지장치(400)는 제1 지능형 에지장치(100)가 지시한 특정 위치까지 이동 중에 또는 이동 후에 이동 카메라 영상을 생성하는 카메라(405), 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈(410), 전처리된 이동 카메라 영상을 분석하는 영상 분석 모듈(420), 및 영상 분석 결과로 생성된 메타 데이터를 전송하는 데이터 전송 모듈(430)를 포함할 수 있다. 영상 데이터 처리 모듈(410)과 영상 데이터 처리 모듈(110)은 실질적으로 동일할 수 있으며, 영상 분석 모듈(420)은 이동 제어부를 제외하면 영상 분석 모듈(120)과 실질적으로 동일할 수 있다. 한편, 도시되진 않았으나, 제2 지능형 에지장치(400)는 환경 센서(50)를 더 포함할 수 있다. 제2 지능형 에지장치(400)에 장착된 환경 센서(50)는 특정 위치에서 측정 데이터를 생성할 수 있다.The second intelligent edge device 400 moves within the surveillance space under the control of the first intelligent edge device 100, generates a moving camera image, and analyzes the generated moving camera image. Metadata generated as a result of video analysis may be transmitted to the edge-based video analysis device 200 through a communication network. The second intelligent edge device 400 includes a camera 405 that generates a moving camera image during or after moving to a specific location indicated by the first intelligent edge device 100, and an image data processing module that preprocesses the moving camera image ( 410), an image analysis module 420 that analyzes pre-processed moving camera images, and a data transmission module 430 that transmits metadata generated as a result of image analysis. The image data processing module 410 and the image data processing module 110 may be substantially the same, and the image analysis module 420 may be substantially the same as the image analysis module 120 except for the movement control unit. Meanwhile, although not shown, the second intelligent edge device 400 may further include an environmental sensor 50. The environmental sensor 50 mounted on the second intelligent edge device 400 can generate measurement data at a specific location.

제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 감시 공간에서 생성된 다중 카메라 영상 및 이동 카메라 영상을 각각 분석하여 미리 설정된 유형의 이벤트에 대한 메타 데이터를 생성(이하 1차 분석)하며, 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 분석(이하, 2차 분석)될 수 있다. 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 설치된 지역 및 현장 상황에 적합하게 학습하고, 수행된 학습에 기초하여 영상 분석을 수행할 수 있다. 특히, 영상은 에지기반 영상분석장치(200)가 요청하는 경우에 한하여 전송될 수 있으므로, 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능하다. The first intelligent edge device 100 and the second intelligent edge device 400 analyze multi-camera images and moving camera images generated in the surveillance space, respectively, to generate metadata for events of a preset type (hereinafter referred to as primary analysis). ), and the generated metadata can be analyzed (hereinafter referred to as secondary analysis) by the edge-based image analysis device 200. The first intelligent edge device 100 and the second intelligent edge device 400 can learn appropriately for the installed area and field situation and perform image analysis based on the learned learning. In particular, since video can be transmitted only when requested by the edge-based video analysis device 200, it is not limited by the type, accessibility, bandwidth, etc. of the communication network, and event detection is possible through rapid video analysis.

제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 1차 분석을 수행하여, 객체에 관련하여 미리 설정된 제1 이벤트 조건을 충족하는 이벤트를 검출하며, 검출된 이벤트에 대한 제1 메타 데이터를 생성한다. 제1 메타 데이터는 에지기반 영상분석장치(200)가 사용자에 의해 설정된 제2 이벤트 조건에 부합하는 이벤트를 검출하는데 이용되거나, 학습 데이터로 이용될 수 있다. 에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)의 이벤트 검출부를 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 1차 분석이 어려울 경우, 영상 및/또는 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다. The first intelligent edge device 100 and the second intelligent edge device 400 perform primary analysis to detect an event that satisfies a preset first event condition related to the object, and a first intelligent edge device for the detected event. Create metadata. The first metadata may be used by the edge-based image analysis device 200 to detect an event that meets the second event condition set by the user, or may be used as learning data. Based on the secondary analysis results, the edge-based image analysis device 200 updates the event detection units of the first intelligent edge device 100 and the second intelligent edge device 400 to detect new events or detect new events in a changed environment. Be able to adapt. Meanwhile, when primary analysis is difficult, the first intelligent edge device 100 and the second intelligent edge device 400 transmit metadata about the image and/or detected objects to the edge-based image analysis device 200 You can also request analysis.

도 13은 도 12에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다. 도 6과 중복되는 설명을 생략하고 차이점을 설명한다.FIG. 13 is a flowchart illustrating an example of image analysis performed by the image analysis system illustrated in FIG. 12 . Descriptions overlapping with FIG. 6 will be omitted and differences will be explained.

S50에서, 하나 이상의 다중 카메라(20)가 감시 공간의 적어도 일부를 촬영하여 하나 이상의 다중 카메라 영상을 생성하며, 다중 카메라 영상은 제1 지능형 에지장치(100)에 의해 분석된다. 동시에 하나 이상의 환경 센서(50)가 감시 공간 내에 환경 변수를 측정하여 측정 데이터를 생성하며, 측정 데이터는 측정 데이터 처리 모듈(105)에 의해 분석될 수 있다.In S50, one or more multiple cameras 20 capture at least a portion of the surveillance space to generate one or more multiple camera images, and the multiple camera images are analyzed by the first intelligent edge device 100. At the same time, one or more environmental sensors 50 measure environmental variables within the monitoring space and generate measurement data, and the measurement data can be analyzed by the measurement data processing module 105.

S51에서, 제1 지능형 에지장치(100)의 영상 분석 모듈(120) 또는 측정 데이터 처리 모듈(105)이 이벤트를 검출하면, 이벤트 발생 위치가 산출된다. 연속 추적 또는 확장 추적이 필요하거나 측정 데이터가 정상 범위를 벗어나면, 이벤트가 발생하였다고 판단된다. 연속 추적시 이벤트 발생 위치는 다중 카메라(20)의 위치, 높이, 틸트 각도 등을 이용하여 산출될 수 있다. 확장 추적시 이벤트 발생 위치는 미리 결정된 경로의 시작 위치일 수 있다. 한편, 임의의 측정 데이터가 과거에 수신된 측정 데이터로부터 산출된 정상 범위를 벗어나거나, 측정 데이터가 미리 설정된 시간격으로 수신되지 않으면, 환경 센서(50)의 설치 위치가 이벤트 발생 위치일 수 있다.In S51, when the image analysis module 120 or the measurement data processing module 105 of the first intelligent edge device 100 detects an event, the event occurrence location is calculated. If continuous or extended tracking is required or measurement data is outside the normal range, it is determined that an event has occurred. During continuous tracking, the event occurrence location can be calculated using the position, height, tilt angle, etc. of the multiple cameras 20. During extended tracking, the event occurrence location may be the starting location of a predetermined path. Meanwhile, if any measurement data deviates from a normal range calculated from measurement data received in the past, or measurement data is not received at preset time intervals, the installation location of the environmental sensor 50 may be the event occurrence location.

S52에서, 영상 분석 모듈(120)은 제2 지능형 에지장치(400)의 현재 위치를 산출하고 이벤트 발생 위치까지의 경로를 설정한다. 제2 지능형 에지장치(400)의 현재 위치는 실외의 경우, GPS 등을 이용하며, 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC 등을 이용하여 산출될 수 있다. 설정된 경로는 제2 지능형 에지장치(400)에 전송된다. 한편, 연속 추적의 경우, 연속 추적할 객체를 식별하기 위한 정보(이하 객체 식별 정보)도 제2 지능형 에지장치(400)에 전송될 수 있다.In S52, the video analysis module 120 calculates the current location of the second intelligent edge device 400 and sets a path to the event occurrence location. The current location of the second intelligent edge device 400 can be calculated outdoors using GPS, etc., and indoors can be calculated using an image matching method, an inertial sensor-based method, a marker-based method, VLC, etc. The set path is transmitted to the second intelligent edge device 400. Meanwhile, in the case of continuous tracking, information for identifying the object to be continuously tracked (hereinafter referred to as object identification information) may also be transmitted to the second intelligent edge device 400.

S53에서, 메타 데이터 전송 모듈(130)은 다중 카메라 영상의 분석 결과로 생성된 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(미도시)로 전송할 수 있다. In S53, the meta data transmission module 130 may transmit meta data generated as a result of analysis of multi-camera images to the edge-based video analysis device 200 or a control server (not shown).

S54에서, 제2 지능형 에지장치(400)는 경로를 따라 이동하여 목적지에 도착한다. 제2 지능형 에지장치(400)는 이벤트 발생 위치로 이동하기 시작할 때부터 또는 이벤트 발생 위치에 도착한 후부터 이동 카메라 영상을 생성하며, 생성된 이동 카메라 영상을 분석한다. 영상 분석 모듈(420)은 객체 식별 정보를 이용하여 연속 추적할 객체와 동일한 객체를 이동 카메라 영상에서 식별한다. 한편, 측정 데이터로 인해 이벤트가 발생했으며, 제2 지능형 에지장치(400)에 환경 센서(50)가 장착된 경우, 이벤트 발생 위치에서 환경 변수가 측정될 수 있다. At S54, the second intelligent edge device 400 moves along the path and arrives at the destination. The second intelligent edge device 400 generates a moving camera image from the time it starts moving to the event occurrence location or after arriving at the event occurrence location, and analyzes the generated moving camera image. The image analysis module 420 uses object identification information to identify the same object as the object to be continuously tracked in the moving camera image. Meanwhile, if an event occurs due to measured data and the environmental sensor 50 is mounted on the second intelligent edge device 400, environmental variables can be measured at the location where the event occurred.

S55에서, 메타 데이터 전송 모듈(430)은 이동 카메라 영상의 분석 결과로 생성된 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(미도시)로 전송할 수 있다. In S55, the meta data transmission module 430 may transmit meta data generated as a result of analysis of the moving camera image to the edge-based video analysis device 200 or a control server (not shown).

S56에서, 에지기반 영상분석장치(200)는 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)로부터 수신한 메타 데이터를 분석한다.In S56, the edge-based image analysis device 200 analyzes metadata received from the first intelligent edge device 100 and the second intelligent edge device 400.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. In particular, the features of the present invention described with reference to the drawings are not limited to the structure shown in the specific drawings, and may be implemented independently or in combination with other features.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .

Claims (12)

다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈; 및
상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고,
상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고,
상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며,
이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함하되,
상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.An image data processing module that preprocesses multi-camera images generated by shooting an extended surveillance area by multiple cameras and moving camera images created by shooting objects by a moving camera; and
Detecting and tracking a first object that can be analyzed among objects displayed in the multi-camera image,
When detecting a second object to be continuously tracked among objects displayed in the multi-camera image, control the moving camera to capture the second object and generate the moving camera image;
Detecting and tracking an analyzable third object corresponding to the second object in the moving camera image,
A video analysis module that detects an event that meets event conditions in one or both of the multi-camera video and the moving camera video,
The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras,
The extended surveillance area is comprised of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras. 청구항 1에 있어서, 상기 영상 분석 모듈은
상기 다중 카메라 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 이동 카메라 영상에서 상기 제3 객체를 식별하는 객체 검출부;
상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부;
상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부; 및
상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method of claim 1, wherein the image analysis module
an object detection unit that detects the first object and the second object in the multi-camera image and identifies the third object in the moving camera image;
an object tracking unit that tracks the movement of the first object in the multi-camera image and tracks the movement of the third object in the moving camera image;
an event detection unit that detects the event by analyzing the movement of the first object and the movement of the third object; and
An image analysis device using multiple cameras and a moving camera, including a movement control unit that calculates the location of the second object and controls the moving camera to move toward the calculated location and photograph the third object. 청구항 2에 있어서, 상기 이벤트 검출부는
상기 다중 카메라 영상 및 상기 이동 카메라 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부; 및
상기 다중 카메라 영상 및 상기 이동 카메라 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method of claim 2, wherein the event detection unit
a deep learning event detection unit that detects events by analyzing the multi-camera images and the moving camera images using deep learning; and
An image analysis device using multiple cameras and a moving camera, including a rule-based event detection unit that detects events by analyzing the multiple camera images and the moving camera images in a rule-based manner. 청구항 2에 있어서, 상기 이동 카메라는 비행 드론 및 로봇 중 어느 하나에 장착되며, 상기 이동 제어부는 상기 이동 카메라가 상기 제3 객체를 향해 이동하는 경로를 설정하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method of claim 2, wherein the mobile camera is mounted on one of a flying drone and a robot, and the movement control unit sets a path for the mobile camera to move toward the third object. An image analysis device using multiple cameras and a mobile camera. . 청구항 2에 있어서, 상기 이동 제어부는 상기 다중 카메라 및 시야 방해물 중 어느 하나 또는 모두에 의해 정의된 사각 영역을 촬영하도록 상기 이동 카메라의 경로를 설정하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The image analysis device according to claim 2, wherein the movement control unit sets a path of the moving camera to capture a blind area defined by one or both of the multiple cameras and the view obstruction. 청구항 2에 있어서, 상기 영상 데이터 처리 모듈은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상을 이미지 스티칭에 의해 결합하여 상기 다중 카메라 영상으로 변환하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치The method according to claim 2, wherein the image data processing module combines a plurality of fixed camera images generated by the plurality of fixed cameras by image stitching and converts them into the multi-camera image. An image analysis device using multiple cameras and a moving camera. 청구항 2에 있어서, 상기 다중 카메라 영상은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상이며, 상기 복수의 고정 카메라 영상은 상기 복수의 개별 감시 영역 사이의 공간적 관계를 학습한 상기 객체 식별부 및 상기 객체 추적부에 의해 단일 영상으로 취급되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method according to claim 2, wherein the multiple camera images are a plurality of fixed camera images generated by the plurality of fixed cameras, and the plurality of fixed camera images include the object identification unit that learns the spatial relationship between the plurality of individual surveillance areas, and An image analysis device using multiple cameras and moving cameras that are treated as a single image by the object tracking unit. 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 상기 확장 감시 영역에 포함되지 않은 사각 영역을 촬영하도록 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈; 및
상기 다중 카메라 영상에서, 분석 가능한 제1 객체를 검출 및 추적하고,
상기 이동 카메라 영상에서 분석 가능한 제2 객체를 검출 및 추적하고,
상기 제1 객체의 움직임 및 상기 제2 객체의 움직임 중 어느 하나 또는 모두를 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함하되,
상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.An image data processing module that preprocesses a multi-camera image generated by multiple cameras shooting an extended surveillance area and a moving camera image received from a mobile camera moving along a set path to capture a blind area not included in the extended surveillance area; and
Detecting and tracking a first object that can be analyzed in the multi-camera image,
Detecting and tracking a second object that can be analyzed in the moving camera image,
Comprising an image analysis module that detects an event that meets event conditions by analyzing one or both of the movement of the first object and the movement of the second object,
The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras,
The extended surveillance area is comprised of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras. 청구항 8에 있어서, 상기 영상 분석 모듈은
상기 다중 카메라 영상에서 상기 제1 객체 및 상기 이동 카메라 영상에서 상기 제2 객체를 검출하는 객체 검출부;
상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제2 객체의 움직임을 추적하는 객체 추적부;
상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부; 및
상기 제1 객체의 움직임 및 상기 제2 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method of claim 8, wherein the image analysis module
an object detection unit that detects the first object in the multi-camera image and the second object in the moving camera image;
an object tracking unit that tracks the movement of the first object in the multi-camera image and tracks the movement of the second object in the moving camera image;
a movement control unit that controls the mobile camera to move along the path; and
An image analysis device using multiple cameras and a moving camera, including an event detector that detects the event by analyzing the movement of the first object and the movement of the second object. 청구항 8에 있어서, 상기 제1 객체가 상기 사각 영역에 진입하면, 상기 객체 검출부는 상기 이동 카메라 영상에서 상기 제1 객체에 대응하는 제3 객체를 검출하며, 상기 객체 추적부는 상기 이동 카메라 영상에서 상기 제3 객체를 추적하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method of claim 8, wherein when the first object enters the blind area, the object detection unit detects a third object corresponding to the first object in the moving camera image, and the object tracking unit detects the third object corresponding to the first object in the moving camera image. A video analysis device using multiple cameras and moving cameras that tracks a third object. 감시 공간 내에 설치된 다중 카메라로부터 수신한 다중 카메라 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 제1 지능형 에지장치; 및
이동 수단에 탑재되어 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며, 이동 카메라 영상을 분석하여 제2 메타 데이터를 생성하는 제2 지능형 에지장치를 포함하되,
상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템.A first intelligent edge device that analyzes multi-camera images received from multiple cameras installed in the surveillance space to generate first metadata and calculates a path to the event occurrence location when an event is detected; and
It includes a second intelligent edge device that is mounted on a moving means and moves along the set path from the current location to the event occurrence location, and generates second metadata by analyzing moving camera images,
The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras,
The extended surveillance area is comprised of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras. A video analysis system using multiple cameras and a moving camera. 청구항 11에 있어서,
상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상분석장치를 더 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템.In claim 11,
An image analysis system using multiple cameras and a moving camera, further comprising an edge-based image analysis device that receives and analyzes the first metadata and the second metadata.

Images