KR20230152410A - Video analysis device using a multi camera consisting of a plurality of fixed cameras - Google Patents
Video analysis device using a multi camera consisting of a plurality of fixed cameras Download PDFInfo
- Publication number
- KR20230152410A KR20230152410A KR1020220052137A KR20220052137A KR20230152410A KR 20230152410 A KR20230152410 A KR 20230152410A KR 1020220052137 A KR1020220052137 A KR 1020220052137A KR 20220052137 A KR20220052137 A KR 20220052137A KR 20230152410 A KR20230152410 A KR 20230152410A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- image
- moving
- cameras
- event
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 75
- 238000010191 image analysis Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims description 73
- 230000033001 locomotion Effects 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 44
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 19
- 230000007613 environmental effect Effects 0.000 description 19
- 238000005259 measurement Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 14
- 239000000779 smoke Substances 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010411 cooking Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003703 image analysis method Methods 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 244000249914 Hemigraphis reptans Species 0.000 description 1
- 244000171022 Peltophorum pterocarpum Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 개시된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함할 수 있다.A video analysis device using multiple cameras and moving cameras is disclosed. The video analysis device includes a video data processing module that preprocesses multi-camera images generated by shooting an extended surveillance area by multiple cameras and moving camera images created by shooting objects by a moving camera, and analyzes objects expressed in the multi-camera images. Detecting and tracking a possible first object, and controlling the moving camera to generate the moving camera image by photographing the second object when detecting a second object to be continuously tracked among the objects displayed in the multi-camera image, An image analysis module that detects and tracks an analyzable third object corresponding to a second object in the moving camera image, and detects an event matching an event condition in any or both of the multi-camera image and the moving camera image. It can be included.
Description
본 발명은 다중 카메라 및 이동 카메라로 촬영한 영상을 분석하는 기술에 관한 것이다.The present invention relates to technology for analyzing images taken with multiple cameras and mobile cameras.
본 발명은 과학기술정보통신부(과제관리기관: 경기도경제과학진흥원)의 지원으로 2021년 10월 1일부터 2022년 4월 30일에 수행된 'AI 기술실증 테스트베드 연계 실증 지원사업: AI 영상분석과 로봇 융복합 생활안전 하이브리드 솔루션'(과제번호 X2121007)의 결과물이다. The present invention was developed through the 'AI Technology Verification Testbed Linkage Demonstration Support Project: AI Image Analysis' conducted from October 1, 2021 to April 30, 2022 with the support of the Ministry of Science and ICT (Project Management Agency: Gyeonggi Province Economic and Science Promotion Agency). It is the result of the ‘Life Safety Hybrid Solution that combines robots and robots’ (project number X2121007).
감시 카메라는 소정 영역을 감시할 목적으로 설치된다. 감시하려는 영역이 감시 카메라가 커버할 수 있는 범위보다 크면, 회전할 수 있는 PTZ 카메라가 설치될 수 있다. 회전, 틸트 및 줌이 가능하므로, PTZ 카메라가 촬영할 수 있는 감시 영역은 특정 방향을 향하도록 고정된 고정 카메라가 촬영할 수 있는 감시 영역보다 넓다. 하지만 PTZ 카메라는 고정 카메라에 비해 상대적으로 고가이다. 한편, PTZ 카메라는 회전하기 때문에, PTZ 카메라가 현재 촬영하고 있는 영역의 주변은 촬영되지 않는다. 이로 인해, 고정 카메라와 PTZ 카메라로 구성된 CCTV 카메라 1식이 선호되고 있다.Surveillance cameras are installed for the purpose of monitoring a certain area. If the area to be monitored is larger than what a surveillance camera can cover, a rotatable PTZ camera can be installed. Because rotation, tilt, and zoom are possible, the surveillance area that a PTZ camera can capture is wider than the surveillance area that a fixed camera fixed to face a specific direction can capture. However, PTZ cameras are relatively expensive compared to fixed cameras. Meanwhile, because the PTZ camera rotates, the area around the area that the PTZ camera is currently shooting is not captured. For this reason, a single CCTV camera consisting of a fixed camera and a PTZ camera is preferred.
본 발명의 실시예는 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있는 다중 카메라를 이용하여 촬영한 복수의 카메라 영상을 하나의 고정 카메라가 촬영한 영상으로 취급하여 분석할 수 있는 방안을 제공하고자 한다. 즉, 감시 영역을 확장하면서도 그에 따른 비용 증가를 최소화할 수 있는 영상 분석 방안을 제공하고자 한다. An embodiment of the present invention uses a fixed camera that is relatively inexpensive compared to a PTZ camera, and multiple camera images captured using multiple cameras capable of shooting the same or larger surveillance area as a PTZ camera are converted into a single fixed camera. We would like to provide a way to treat and analyze video taken by . In other words, we aim to provide a video analysis method that can expand the surveillance area while minimizing the resulting cost increase.
한편, 본 발명의 실시예는 다중 카메라에 의해 발생한 사각 영역을 이동 카메라를 이용하여 촬영할 수 있는 영상 분석 장치를 제공하고자 한다.Meanwhile, an embodiment of the present invention seeks to provide an image analysis device that can capture blind areas created by multiple cameras using a moving camera.
또한 본 발명의 실시예는 다중 카메라에 의해 검출된 이벤트의 발생 위치로 이동 카메라를 이동시킬 수 있는 영상 분석 장치를 제공하고자 한다. Additionally, an embodiment of the present invention seeks to provide an image analysis device that can move a mobile camera to the location of an event detected by multiple cameras.
본 발명의 일 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다. According to one aspect of the present invention, an image analysis device using multiple cameras and a moving camera is provided. The video analysis device includes a video data processing module that preprocesses multi-camera images generated by shooting an extended surveillance area by multiple cameras and moving camera images created by shooting objects by a moving camera, and analyzes objects expressed in the multi-camera images. Detecting and tracking a possible first object, and controlling the moving camera to generate the moving camera image by photographing the second object when detecting a second object to be continuously tracked among the objects displayed in the multi-camera image, An image analysis module that detects and tracks an analyzable third object corresponding to a second object in the moving camera image, and detects an event matching an event condition in any or both of the multi-camera image and the moving camera image. It can be included. The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.
일 실시예로, 상기 영상 분석 모듈은 상기 다중 카메라 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 이동 카메라 영상에서 상기 제3 객체를 식별하는 객체 검출부, 상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부, 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부 및 상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함할 수 있다.In one embodiment, the image analysis module detects the first object and the second object in the multi-camera image, an object detector that identifies the third object in the moving camera image, and an object detector that identifies the third object in the multi-camera image. 1 An object tracking unit that tracks the movement of an object and tracks the movement of the third object in the moving camera image, an event detection unit that detects the event by analyzing the movement of the first object and the movement of the third object, and It may include a movement control unit that calculates the location of the second object and controls the mobile camera to move toward the calculated location and photograph the third object.
일 실시예로, 상기 이벤트 검출부는 상기 다중 카메라 영상 및 상기 이동 카메라 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부 및 상기 다중 카메라 영상 및 상기 이동 카메라 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함할 수 있다.In one embodiment, the event detection unit includes a deep learning event detection unit that detects events by analyzing the multi-camera images and the moving camera images in a deep learning method, and a deep learning event detector that analyzes the multi-camera images and the moving camera images in a rule-based method. It may include a rule-based event detection unit that detects events.
일 실시예로, 상기 이동 카메라는 비행 드론 및 로봇 중 어느 하나에 장착되며, 상기 이동 제어부는 상기 이동 카메라가 상기 제3 객체를 향해 이동하는 경로를 설정할 수 있다. In one embodiment, the mobile camera is mounted on one of a flying drone and a robot, and the movement control unit can set a path for the mobile camera to move toward the third object.
일 실시예로, 상기 이동 제어부는 상기 다중 카메라 및 시야 방해물 중 어느 하나 또는 모두에 의해 정의된 사각 영역을 촬영하도록 상기 이동 카메라의 경로를 설정할 수 있다. In one embodiment, the movement control unit may set the path of the moving camera to photograph a blind area defined by one or both of the multiple cameras and the view obstruction.
일 실시예로, 상기 영상 데이터 처리 모듈은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상을 이미지 스티칭에 의해 결합하여 상기 다중 카메라 영상으로 변환할 수 있다. In one embodiment, the image data processing module may combine a plurality of fixed camera images generated by the plurality of fixed cameras by image stitching and convert them into the multi-camera image.
일 실시예로, 상기 다중 카메라 영상은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상이며, 상기 복수의 고정 카메라 영상은 상기 복수의 개별 감시 영역 사이의 공간적 관계를 학습한 상기 객체 식별부 및 상기 객체 추적부에 의해 단일 영상으로 취급될 수 있다. In one embodiment, the multi-camera image is a plurality of fixed camera images generated by the plurality of fixed cameras, and the plurality of fixed camera images include the object identification unit that learned the spatial relationship between the plurality of individual surveillance areas, and It can be treated as a single image by the object tracking unit.
본 발명의 다른 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 상기 확장 감시 영역에 포함되지 않은 사각 영역을 촬영하도록 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에서, 분석 가능한 제1 객체를 검출 및 추적하고, 상기 이동 카메라 영상에서 분석 가능한 제2 객체를 검출 및 추적하고, 상기 제1 객체의 움직임 및 상기 제2 객체의 움직임 중 어느 하나 또는 모두를 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다. According to another aspect of the present invention, an image analysis device using multiple cameras and a moving camera is provided. The video analysis device preprocesses multi-camera images generated by multiple cameras shooting an extended surveillance area and moving camera images received from a moving camera moving along a set path to capture blind areas not included in the extended surveillance area. Detecting and tracking a first object that can be analyzed in the image data processing module and the multi-camera image, detecting and tracking a second object that can be analyzed in the moving camera image, and detecting and tracking the movement of the first object and the second object. It may include a video analysis module that detects an event that meets event conditions by analyzing any or all of the movements. The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.
일 실시예로, 상기 영상 분석 모듈은 상기 다중 카메라 영상에서 상기 제1 객체 및 상기 이동 카메라 영상에서 상기 제2 객체를 검출하는 객체 검출부, 상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제2 객체의 움직임을 추적하는 객체 추적부, 상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부 및 상기 제1 객체의 움직임 및 상기 제2 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함할 수 있다. In one embodiment, the image analysis module includes an object detector that detects the first object in the multi-camera image and the second object in the moving camera image, and tracks the movement of the first object in the multi-camera image, An object tracking unit that tracks the movement of the second object in the moving camera image, a movement control unit that controls the moving camera to move along the path, and an object tracking unit that analyzes the movement of the first object and the movement of the second object It may include an event detection unit that detects an event.
일 실시예로, 상기 제1 객체가 상기 사각 영역에 진입하면, 상기 객체 검출부는 상기 이동 카메라 영상에서 상기 제1 객체에 대응하는 제3 객체를 검출하며, 상기 객체 추적부는 상기 이동 카메라 영상에서 상기 제3 객체를 추적할 수 있다. In one embodiment, when the first object enters the blind area, the object detection unit detects a third object corresponding to the first object in the moving camera image, and the object tracking unit detects the third object in the moving camera image. A third object can be tracked.
본 발명의 또 다른 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템이 제공된다. 영상 분석 시스템은 감시 공간 내에 설치된 다중 카메라로부터 수신한 다중 카메라 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 제1 지능형 에지장치 및 이동 수단에 탑재되어 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며, 이동 카메라 영상을 분석하여 제2 메타 데이터를 생성하는 제2 지능형 에지장치를 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다. According to another aspect of the present invention, a video analysis system using multiple cameras and moving cameras is provided. The video analysis system generates first metadata by analyzing multi-camera video received from multiple cameras installed in the surveillance space, and is mounted on the first intelligent edge device and means of transportation that calculates the path to the location of the event when an event is detected. It moves along the set path from the current location to the event occurrence location, and may include a second intelligent edge device that analyzes the moving camera image and generates second metadata. The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras, and the extended surveillance area may be composed of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.
일 실시예로, 영상 분석 시스템은 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상분석장치를 더 포함할 수 있다. In one embodiment, the video analysis system may further include an edge-based video analysis device that receives and analyzes the first metadata and the second metadata.
본 발명의 실시예에 따르면, 다중 카메라가 생성한 복수의 카메라 영상을 소프트웨어적으로 처리함으로써, 개별 감시 영역을 가진 복수의 고정 카메라를 하나의 확장 감시 영역을 가진 카메라와 같이 활용할 수 있게 되어 비용 대비 효율이 극대화될 수 있다. 특히, 복수의 카메라 영상이 현장에서 분석되기 때문에, 원격지에 위치한 영상분석장치로 전송하기 위해 필요한 통신 자원 역시 크게 감소될 수 있다.According to an embodiment of the present invention, by processing multiple camera images generated by multiple cameras through software, multiple fixed cameras with individual surveillance areas can be utilized like a camera with one extended surveillance area, thereby reducing cost. Efficiency can be maximized. In particular, because multiple camera images are analyzed on-site, the communication resources required to transmit them to an image analysis device located in a remote location can also be greatly reduced.
특히, 넓은 감시 공간을 감시하기 위해 많은 다중 카메라 또는 고정 카메라를 설치하는 대신, 다중 카메라와 이동 카메라를 함께 이용함으로써, 넓은 감시 공간을 효율적으로 효율적으로 감시할 수 있다. 특히, 다중 카메라의 사각 영역은 이동 카메라로 촬영할 수 있어서, 감시 공간 전체를 완벽하게 감시할 수 있게 된다.In particular, instead of installing many multiple cameras or fixed cameras to monitor a large surveillance space, a large surveillance space can be monitored effectively and efficiently by using multiple cameras and moving cameras together. In particular, blind areas of multiple cameras can be captured by moving cameras, making it possible to perfectly monitor the entire surveillance space.
또한, 본 발명의 실시예에 따르면 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있어서, 설치 비용이 크게 감소된다. 1대의 PTZ 카메라 또는 CCTV 카메라 1식과 달리, 복수의 고정 카메라로 구성된 다중 카메라의 감시 영역에서는 사각 영역이 일시적으로 발생하지 않는다.In addition, according to an embodiment of the present invention, a fixed camera that is relatively inexpensive compared to a PTZ camera can be used to capture a surveillance area that is the same or larger than that of a PTZ camera, thereby greatly reducing installation costs. Unlike a single PTZ camera or a single CCTV camera, blind areas do not temporarily occur in the surveillance area of multiple cameras consisting of multiple fixed cameras.
이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 공지의 CCTV 카메라 1식에 의한 감시 영역을 예시적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 다중 카메라를 예시적으로 도시한 도면이다.
도 3은 상이한 화각을 가진 복수의 고정 카메라로 구성된 다중 카메라 및 확장 감시 영역을 예시적으로 도시한 도면이다.
도 4는 다중 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
도 5는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 6은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 7은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 8은 다층 건물의 내부에서 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다.
도 9는 다중 카메라 및 이동 카메라로 화재 발생을 감지하며, 이에 대응하는 과정을 예시적으로 도시한 도면이다.
도 10은 다층 건물의 내부에서 화재 발생시 이동 카메라를 이용한 화재 대응을 예시적으로 도시한 도면이다.
도 11은 고도화된 화재 오검지 조건을 적용한 화재 검출 방식을 예시적으로 설명하기 위한 도면이다.
도 12는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 13은 도 12에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.Hereinafter, the present invention will be described with reference to embodiments shown in the attached drawings. To facilitate understanding, like reference numerals have been assigned to like elements throughout the accompanying drawings. The configuration shown in the attached drawings is merely an exemplary embodiment implemented to explain the present invention, and is not intended to limit the scope of the present invention thereto. In particular, in the attached drawings, some of the elements expressed in the drawings are somewhat exaggerated to aid understanding of the invention.
Figure 1 is a diagram illustrating an example of a surveillance area by a type of known CCTV camera.
Figure 2 is a diagram illustrating a multiple camera according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of a multi-camera and expanded surveillance area composed of a plurality of fixed cameras with different viewing angles.
Figure 4 is a diagram illustrating image analysis using multiple cameras and moving cameras.
Figure 5 is a configuration diagram for functionally explaining an embodiment of an image analysis device using multiple cameras and moving cameras.
Figure 6 is a flowchart illustrating an example of image analysis using multiple cameras and moving cameras.
Figure 7 is a flowchart illustrating another embodiment of image analysis using multiple cameras and moving cameras.
Figure 8 is a diagram for exemplarily explaining the process of defining a blind area inside a multi-story building.
Figure 9 is a diagram illustrating a process for detecting and responding to a fire using multiple cameras and moving cameras.
Figure 10 is a diagram illustrating fire response using a moving camera when a fire occurs inside a multi-story building.
FIG. 11 is a diagram illustrating an exemplary fire detection method applying advanced fire false detection conditions.
Figure 12 is a configuration diagram for functionally explaining an embodiment of a video analysis system using multiple cameras and moving cameras.
FIG. 13 is a flowchart illustrating an example of image analysis performed by the image analysis system illustrated in FIG. 12 .
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. In particular, functions, features, and embodiments to be described below with reference to the accompanying drawings may be implemented alone or in combination with other embodiments. Therefore, it should be noted that the scope of the present invention is not limited to the form shown in the attached drawings.
첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다. 한편, 설명의 편의와 이해를 돕기 위해서, 도면은 다소 과장하여 도시되었다.Throughout the accompanying drawings, identical or similar elements are referred to using identical reference numerals. Meanwhile, in order to facilitate explanation and understanding, the drawings are somewhat exaggerated.
도 1은 공지의 CCTV 카메라 1식에 의한 감시 영역을 예시적으로 도시한 도면이며, 도 2는 본 발명의 실시예에 따른 다중 카메라를 예시적으로 도시한 도면으로, 다중 카메라에 의한 확장 감시 영역을 나타낸다.FIG. 1 is a diagram illustrating a surveillance area by a known type of CCTV camera, and FIG. 2 is a diagram illustrating a multiple camera according to an embodiment of the present invention, showing an expanded surveillance area by multiple cameras. represents.
도 1을 참조하면, CCTV 카메라는 안전 또는 보안 목적으로 특정 영역(이하 감시 영역)을 촬영하여 감시 영상을 출력한다. 일반적으로 사용되는 CCTV 카메라 1식은 1대의 고정 카메라(10a)와 1대의 PTZ(Pan tilt zoom) 카메라(10b)로 구성된다. 고정 카메라(10a)에 의해 촬영되는 감시 영역(11a)은 고정적이며 변경되지 않는다. 따라서 검출된 객체가 감시 영역(11a)에서 이탈하면 더 이상 객체 추적이 불가능하게 된다. PTZ 카메라(10b)는 회전(Pan), 기울기 조절(Tilt), 확대(Zoom) 기능을 가지고 있어서, PTZ 카메라(10b)에 의해 촬영되는 감시 영역(11b, 11b')은 변경이 가능하다. 즉, PTZ 카메라(10b)는 감시 영역(11a)을 이탈한 객체를 촬영할 수 있다.Referring to Figure 1, a CCTV camera captures a specific area (hereinafter referred to as a surveillance area) for safety or security purposes and outputs surveillance images. A commonly used CCTV camera consists of one fixed camera (10a) and one PTZ (pan tilt zoom) camera (10b). The
CCTV 카메라 1식은 2대의 카메라를 이용하여 상대적으로 넓은 감시 영역을 커버할 수 있는 장점을 가진다. 하지만 PTZ 카메라(10b)의 가격은 고정 카메라(10a)보다 상대적으로 고가이다. 따라서 PTZ 카메라(10b)를 필요한 수량만큼 설치하려면 상당한 비용이 든다. 특히, CCTV 카메라 1식이 상대적으로 넓은 감시 영역을 커버할 순 있지만, 동시에 감시 영역 전체를 커버하지 못한다. 도시된 예에서, PTZ 카메라(10b)의 감시 영역(11b)이 감시 영역(11a)의 좌측에 위치한 시점에서, 감시 영역(11b')을 감시할 수 없게 된다. 유사하게, PTZ 카메라(10b)가 반시계 방향으로 회전하여 감시 영역(11b')을 촬영하는 동안, 감시 영역(11b)을 감시할 수 없다.One type of CCTV camera has the advantage of being able to cover a relatively wide surveillance area using two cameras. However, the price of the PTZ camera 10b is relatively higher than that of the fixed
도 2를 참조하면, 다중 카메라(20)는 복수의 고정 카메라(20a, 20b, 20c)로 구성된다. 고정 카메라(20a, 20b, 20c)가 촬영할 수 있는 영역을 개별 감시 영역(21a, 21b, 21c)이라고 정의한다. 동일 사양을 가진 고정 카메라(20a, 20b, 20c)의 광축 사이의 각도(이하 카메라 사이각)에 의해 개별 감시 영역(21a, 21b, 21c)간 관계도 정의될 수 있다. 제2 고정 카메라(20b)의 제2 개별 감시 영역(21b)은 제1 고정 카메라(20a)의 제1 개별 감시 영역(21a)을 카메라 사이각 만큼 회전시킨 것과 실질적으로 동일할 수 있다. 동일한 관계는 제2 개별 감시 영역(21b)와 제3 개별 감시 영역(21c)간에도 성립될 수 있다. 따라서 확장 감시 영역(21)은 카메라 사이각만큼 회전된 복수의 고정 카메라(20a, 20b, 20c)의 개별 감시 영역들로 구성된다. 다시 말해, 다중 카메라(20)가 촬영할 수 있는 영역을 확장 감시 영역(21)이라고 정의한다. 하나의 확장 감시 영역(21)을 구성하는 복수의 개별 감시 영역(21a, 21b, 21c)은 이웃하는 개별 감시 영역과 부분적으로 중첩되거나 이격될 수 있다. 중첩되는 면적 또는 이격 거리는 카메라 사이각에 의해 조절될 수 있다. Referring to FIG. 2, the
다중 카메라(20)는 다중 카메라 영상을 생성한다. 일 실시예로, 다중 카메라 영상은 복수의 고정 카메라 영상의 집합이며, 하나의 고정 카메라 영상은 하나의 개별 감시 영역에 대응한다. 다만, 영상들의 단순한 집합과 달리, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상들은 개별 감시 영역들 사이의 공간적 관계를 반영한다. 다른 실시예로, 다중 카메라 영상은 확장 감시 영역 전체를 커버하는 단일 영상일 수 있다. 다중 카메라 영상은, 예를 들어, 복수의 고정 카메라 영상을 이미지 스티칭을 적용하여 결합한 단일 영상(이하 스티칭된 단일 영상)일 수 있다. 이미지 스티칭 적용을 위해서도, 개별 감시 영역들 사이의 공간적 관계가 참조될 수 있다. 이하에서는 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우를 중심으로 설명한다.The multi-camera 20 generates multi-camera images. In one embodiment, a multi-camera image is a set of multiple fixed camera images, and one fixed camera image corresponds to one individual surveillance area. However, unlike a simple set of images, multiple fixed camera images that make up a multi-camera image reflect the spatial relationship between individual surveillance areas. In another embodiment, the multi-camera video may be a single video that covers the entire extended surveillance area. The multi-camera image may be, for example, a single image (hereinafter referred to as a "stitched single image") obtained by combining a plurality of fixed camera images by applying image stitching. For image stitching applications, the spatial relationship between individual surveillance areas can also be referenced. Hereinafter, the description will focus on the case where the multi-camera image is a set of multiple fixed camera images.
공간적 관계는 지능형 에지장치, 예를 들어, 객체 검출부 및 객체 추적부에 의해 학습될 수 있다. 학습된 지능형 에지장치는 스티칭된 단일 영상뿐 아니라 공간적 관계를 가진 복수의 고정 카메라 영상을 단일 영상으로 취급할 수 있게 된다. 이로 인해, 둘 이상의 개별 감시 영역에서 동일한 객체를 찾기 위한 필요한 연산량이 크게 감소될 수 있다. 공간적 관계는 카메라 사이각에 의해 기본적으로 결정될 수 있으며, 예를 들어, 개별 감시 영역간 중첩 영역의 형상/면적/위치, 개별 감시 영역간 사각 영역의 형상/면적/위치 또는 개별 감시 영역의 경계간 이격 거리 등일 수 있다. Spatial relationships can be learned by intelligent edge devices, such as object detection and object tracking. The learned intelligent edge device can treat not only a single stitched image but also multiple fixed camera images with spatial relationships as a single image. Because of this, the amount of computation required to find the same object in two or more separate surveillance areas can be greatly reduced. The spatial relationship can be basically determined by the camera angle, for example, the shape/area/position of the overlapping area between individual surveillance areas, the shape/area/location of the blind area between individual surveillance areas, or the separation distance between the boundaries of individual surveillance areas. It may be, etc.
도 3은 상이한 화각을 가진 복수의 고정 카메라로 구성된 다중 카메라 및 확장 감시 영역을 예시적으로 도시한 도면이다.FIG. 3 is a diagram illustrating an example of a multi-camera and expanded surveillance area composed of a plurality of fixed cameras with different viewing angles.
도 3을 참조하면, 상이한 화각을 가진 복수의 고정 카메라로 다중 카메라를 구성한 경우의 확장 감시 영역이 예시되어 있다. 고정 카메라의 화각은 렌즈에 의해 결정된다. 널리 사용되는 4.0 mm 고정 초점 렌즈를 가진 고정 카메라(20d)의 경우 좌우 약 70도 및 상하 약 50도의 화각을 가지며, 전방으로 약 10M까지는 객체를 명확하게 식별 가능하게 촬영할 수 있는 유효 감시 영역(22d)를 가지지만, 그 이상의 거리에 있는 객체는 존재 여부 정도만 확인할 수 있다. 따라서 보다 먼 거리에 위치한 객체를 식별 가능하게 촬영하려면 초점 거리가 긴 렌즈를 사용하여야 하며, 그 경우 고정 카메라의 화각은 크게 감소한다. 예를 들어 8.0 mm 고정 초점 렌즈를 가진 고정 카메라(20e)는 약 10M 내지 20M에 위치한 객체를 식별 가능하게 촬영할 수 있는 유효 감시 영역(22e)를 가지지만, 화각은 약 40도 이하이다. 즉, 고정 카메라(20e)의 경우, 약 10M까지의 영역은 객체 식별이 용이하지 않은 무효 영역(23e)일 수 있다. 본 명세서에서 지칭하는 확장 감시 영역 및 개별 감시 영역은 영상 분석을 통해 객체를 명확하게 검출 및 추적할 수 있는 유효 감시 영역이다. 따라서 개별 감시 영역은 고정 카메라가 촬영할 수 있는 최대 범위의 영역보다는 상대적으로 작을 수 있다. Referring to FIG. 3, an expanded surveillance area when a multi-camera configuration is made up of a plurality of fixed cameras with different viewing angles is illustrated. The angle of view of a fixed camera is determined by the lens. The widely used fixed camera (20d) with a 4.0 mm fixed focus lens has a field of view of approximately 70 degrees left and right and approximately 50 degrees up and down, and has an effective surveillance area (22d) that can capture clearly identifiable objects up to approximately 10M forward. ), but only the existence of objects at a distance beyond that can be confirmed. Therefore, in order to clearly photograph objects located at a greater distance, a lens with a longer focal length must be used, in which case the angle of view of the fixed camera is greatly reduced. For example, the fixed
도 2에 예시된 확장 감시 영역(21)과 달리, 도 3에 예시된 확장 감시 영역(25)은 개별 감시 영역, 보다 정확하게는, 유효 감시 영역(22d, 22e)을 방사상으로 배치하여 형성될 수 있다. 이로 인해, 고정 카메라(20d)로만 구성된 다중 카메라는 검출할 수 없었던 먼 거리에 위치한 객체의 검출도 가능해진다. 같은 맥락으로, 고정 카메라(20e)로만 구성된 다중 카메라는 검출할 수 없었던 가까운 거리에 위치한 객체의 검출 역시 가능해질 수 있다. 한편, 중첩 영역(22d')은 개별 감시 영역을 방사상으로 배치하는 경우에도 발생할 수 있으며, 개별 감시 영역간 공간적 관계로 취급될 수 있다. Unlike the extended
공지의 CCTV 카메라 1식과 비교하면, 다중 카메라는 사각 영역을 최소화할 수 있다. CCTV 카메라 1식의 경우, 회전하는 PTZ 카메라의 시야에서 벗어난 영역은 일시적으로 사각 영역이 될 수 있다. 이에 반해 다중 카메라는 복수의 개별 감시 영역 전부를 동시에 촬영하므로, 일시적인 사각 영역이 발생하지 않는다. 따라서 다중 카메라는 동등 또는 보다 넓은 영역을 CCTV 카메라 1식보다 상대적으로 적은 비용으로 일시적인 사각 영역의 발생 없이 촬영할 수 있다. Compared to a single known CCTV camera, multiple cameras can minimize blind areas. In the case of a
도 4는 다중 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.Figure 4 is a diagram illustrating image analysis using multiple cameras and moving cameras.
다중 카메라 및 이동 카메라를 이용한 영상 분석은 다중 카메라 영상에서 검출된 객체를 이동 카메라도 촬영하여 객체 관련 이벤트를 검출(이하에서, 연속 추적이라 함)하거나, 다중 카메라가 촬영할 수 없는 사각 영역에 위치한 객체를 검출(이하에서, 확장 추적이라 함)하는 방식이다. 연속 추적은 다중 카메라 영상에서 검출된 동일 객체를 촬영하도록 이동 카메라를 탑재한 비행 드론 또는 로봇을 객체를 향해 이동시켜 촬영하는 방식이다. 확장 추적은 다중 카메라의 사각 영역을 이동 카메라가 경로를 따라 이동하면서 촬영하여 감시 공간에서 사각 영역을 실질적으로 제거하는 방식이다. 연속 추적과 확장 추적은 독립적으로 수행될 수 있지만, 필요한 경우 확장 추적중인 이동 카메라가 연속 추적을 수행할 수도 있다. 이하에서, 이동 카메라는 비행 드론, 로봇 이외에도 다양한 이동 수단에 탑재될 수 있으며 비행 드론 또는 로봇은 이동 카메라를 지정된 위치로 이동시키기 위한 이동 수단이므로, 이하에서는 필요한 경우가 아니면 이동 카메라의 이동 수단을 언급하지 않는다. Image analysis using multiple cameras and moving cameras detects object-related events (hereinafter referred to as continuous tracking) by photographing objects detected in multi-camera images with a moving camera, or detects objects located in blind areas that cannot be captured by multiple cameras. This is a method of detecting (hereinafter referred to as extended tracking). Continuous tracking is a method of moving a flying drone or robot equipped with a moving camera toward an object to capture the same object detected in multiple camera images. Extended tracking is a method of virtually eliminating blind areas from the surveillance space by capturing the blind areas of multiple cameras as the moving camera moves along a path. Continuous tracking and extended tracking can be performed independently, but if necessary, the mobile camera being extended tracking can also perform continuous tracking. Hereinafter, the mobile camera may be mounted on various means of movement in addition to flying drones and robots. Since the flying drone or robot is a means of moving the mobile camera to a designated location, the means of moving the mobile camera will be mentioned hereinafter unless necessary. I never do that.
도 4를 참조하면, 감시 공간(30)은 4대의 고정 카메라(20a, 20b, 20c, 20d)로 구성된 1대의 다중 카메라(20) 및 2대의 이동 카메라 R1, R2에 의해 감시된다. 사각 영역(31a)은 다중 카메라(20)로 인해 발생된 사각 영역이며, 사각 영역(31b, 31c)은 시야 방해물에 의해 발생한 사각 영역이다. Referring to FIG. 4, the
다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)는 복수의 확장 감시 영역(21)에서 동일한 객체 및 이벤트를 검출하기 위한 다중 카메라 영상(33)을 출력한다. 다중 카메라 영상(33)은 스티칭된 단일 영상 및 복수의 고정 카메라 영상 중 어느 하나일 수 있다. 만일 고정 카메라별 설정이 다르면, 객체 및 이벤트 검출에 소요되는 연산량이 증가하여, 영상 분석 효율이 감소될 수 있다. 이를 방지하기 위해서, 임의의 객체 또는 이벤트 검출이 설정되면, 설정된 이벤트 검출에 필요한 카메라 설정은 연동에 의해 다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d) 전체에 적용될 수 있다. 따라서 고정 카메라마다 카메라 설정을 개별적으로 변경할 필요가 없어진다.A plurality of fixed
다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)는 개별 감시 영역(21a, 21b, 21c, 21d)을 가진다. 다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)의 사양이 실질적으로 동일하면, 복수의 개별 감시 영역(21a, 21b, 21c, 21d)도 실질적으로 동일하게 형성될 수 있다. 복수의 고정 카메라(20a, 20b, 20c, 20d)가 카메라 사이각 만큼 회전하면, 개별 감시 영역(21a, 21b, 21c, 21d)도 카메라 사이각 만큼 회전한다. 개별 감시 영역(21a, 21b, 21c, 21d)간의 공간적 관계를 고려하면, 복수의 고정 카메라 영상으로 구성된 다중 카메라 영상(33)도 확장 감시 영역(21) 전체를 나타내는 가로로 확장된 단일 영상으로 취급될 수 있다. A plurality of fixed cameras (20a, 20b, 20c, 20d) constituting the
공지의 CCTV 카메라 1식과 달리, 개별 감시 영역 사이에 위치한 사각 영역(미도시)의 형상은 변경되지 않는다. 따라서 검출할 객체의 특성을 고려할 때, 사각 영역의 폭(즉, 두 개별 감시 영역 사이의 거리)이 지나치게 크지 않으면, 객체가 사각 영역에 일시적으로 진입하더라도 계속해서 추적할 수 있다.Unlike the known
연속 추적중인 이동 카메라 R1은 사람 객체들을 촬영하여 제1 이동 카메라 영상(34)을 생성한다. 사람 객체 ID#105는 확장 감시 영역(21)에 새로 진입했으며, 다중 카메라(20)는 사람 객체 ID#105의 얼굴을 촬영하지 못했다. 사각 영역(31a, 31b)을 촬영중인 2대의 이동 카메라 R1, R2 중에서 사람 객체 ID#105의 예상 이동 방향과 교차하는 경로로 이동중인 이동 카메라 R1이 선택될 수 있다. 이동 카메라 R1은 사람 객체 ID#105를 향해 이동하여 제2 영상(34)을 생성할 수 있다. 사람 객체 ID#105의 얼굴을 촬영하면, 이동 카메라 R1은 기존 경로로 되돌아갈 수 있다. The continuously tracking mobile camera R1 captures human objects and generates a first
경로(32)를 따라 확장 추적중인 이동 카메라 R2는 사각 영역(31a)을 촬영하여 제2 이동 카메라 영상(35)을 생성한다. 사람 객체 ID#106은 사각 영역(31a)에 위치하며, 이로 인해 다중 카메라 영상(33)에 포함되지 않았다. The mobile camera R2, which is being extended and tracked along the
도 5는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다. Figure 5 is a configuration diagram for functionally explaining an embodiment of an image analysis device using multiple cameras and moving cameras.
지능형 에지장치(100)는 다중 카메라(20) 및 이동 카메라(25)가 설치된 현장에 설치되어, 다중 카메라(20)에 의해 생성된 다중 카메라 영상 및 이동 카메라(25)에 의해 생성된 이동 카메라 영상을 1차 영상 분석하여 메타 데이터를 생성할 수 있다. 메타 데이터는 다중 카메라 영상 및 이동 카메라 영상에서 검출된 객체 및 객체 관련 이벤트 중 어느 하나에 대한 정보를 포함할 수 있다. The
지능형 에지장치(100)는 다중 카메라(20)가 설치된 위치 및 현장 상황에 적합하게 학습하여 사각 영역을 파악하고, 이동 카메라(25)의 경로를 설정하여 사각 영역을 제거 또는 최소화하며, 이를 통해 다중 카메라 영상 및 이동 카메라 영상을 분석할 수 있다. 특히, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상간 공간적 관계를 학습함으로써, 지능형 에지장치(100)는 다중 카메라 영상을 확장 감시 영역을 촬영한 단일 영상으로 취급할 수 있다.The
지능형 에지장치(100)는, 예를 들어, 다양한 종류의 객체마다 설정된 이벤트를 검출하도록 학습될 수 있다. 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 2차 영상 분석될 수 있다. 1차 영상 분석은 학습된 이벤트를 다중 카메라 영상 및/또는 이동 카메라 영상에서 검출하는 분석을 포함할 수 있다. 2차 영상 분석은 지능형 에지장치(100)가 학습하지 않은 이벤트를 검출하거나, 다중 카메라 영상과 이동 카메라 영상간 관계를 고려하여 이벤트를 검출하기 위한 분석을 포함할 수 있다. For example, the
도 5를 참조하면, 다중 카메라(20) 및 이동 카메라(25)로부터 수신한 영상을 분석하는 지능형 에지장치(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 메타 데이터 전송 모듈(130)을 포함할 수 있다. 영상 데이터 처리 모듈(110)은 하나 이상의 다중 카메라(20) 및 하나 이상의 이동 카메라(25)로부터 영상을 수신하며, 수신한 영상을 영상 분석에 적합하게 전처리한다. 영상 분석 모듈(120)은 전처리된 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다. Referring to FIG. 5, the
영상 데이터 처리 모듈(110)과 영상 분석 모듈(120)은 모듈 형태의 소프트웨어일 수 있다. 지능형 에지장치(100)는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함한다. 영상 데이터 처리 모듈(110)과 영상 분석 모듈(120), 및 각 모듈에 포함된 서브 모듈들은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다. The image
다중 카메라(20)는 2차원 또는 3차원의 다중 카메라 영상을 생성한다. 이동 카메라(25)는 2차원 또는 3차원의 이동 카메라 영상을 생성하는 IP 카메라 등일 수 있다. 이동 카메라(25)는 비행 드론, 로봇 등과 같은 이동 수단에 장착되어 이동한다. 따라서 이동 카메라(25)의 촬영 범위는 이동 수단을 통해 변경 가능하다. The multi-camera 20 generates two-dimensional or three-dimensional multi-camera images. The
영상 데이터 처리 모듈(110)은 RTSP 클라이언트, 디코더 및 영상 전처리부를 포함할 수 있다. RTSP 클라이언트는 영상 전송 프로토콜, 예를 들어, RTSP(Real time streaming protocol)를 지원하는 통신 모뎀으로, 다중 카메라(20) 및 이동 카메라(25)로부터 영상 데이터를 수신한다. 디코더는 수신된 영상 데이터를 디코딩하여 영상을 복원한다. 영상 전처리부는 영상 분석에 적합하도록, 복원된 확장 영상 및 개별 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 추가적으로 또는 선택적으로, 영상 전처리부는 복수의 고정 카메라 영상을 스티칭된 단일 영상으로 변환할 수 있다. 디코더 및 영상 전처리부는 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다. The video
영상 분석 모듈(120)은 객체 검출부(121), 객체 추적부(122), 이동 제어부(123) 및 이벤트 검출부(124)를 포함할 수 있다. 객체 검출, 객체 식별 및 객체 추적은 분리할 수 없는 일련의 과정으로도 수행될 수 있음을 이해하여야 한다. 지능형 에지장치(100)에 둘 이상의 영상 분석 방식을 적용하기 위해서, 객체의 검출 및 추적은 독립적으로 수행될 수 있다. 이를 통해, 중복되거나 불필요한 연산이 감소되며, 동시에 둘 이상의 영상 분석 방식이 병행 또는 적응적으로 수행될 수 있다.The
객체 검출부(121)는 전처리된 다중 카메라 영상 및 전처리된 이동 카메라 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류할 수 있다. 객체 검출부(121)는 예를 들어, 객체 이미지를 이용하여 학습된 객체 검출 모듈, 또는 객체를 표현한 템플릿을 이용하는 객체 검출 모듈일 수 있다. 특히, 객체 검출부(121)는 3차원 기하학 필터를 적용하여, 검출된 객체를 표현할 수 있는 3차원 좌표값을 결정할 수 있다. 결정된 3차원 좌표값을 이용하면, 검출된 객체는 3차원 도형으로 영상에 표출되거나 객체 추적에 이용될 수 있다. 또한, 객체 검출부(121)는 환경 필터를 적용하여, 영상에서 노이즈를 제거할 수 있다. The
복수의 개별 감시 영역을 통해 확장 감시 영역을 효율적으로 감시하기 위해서는, 확장 감시 영역을 한 대의 카메라에 의해 촬영된 단일 영역으로 취급하는 방식이 적용될 수 있다. 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우, 확장 감시 영역을 단일 영역처럼 처리하기 위해서, 동일 객체를 복수의 고정 카메라 영상에서 식별하며 추적할 수 있어야 한다. 객체가 개별 감시 영역 내에서 움직이는 동안에는 공지의 객체 추적 방식, 예를 들어, 객체의 움직임 예측을 통한 추적 방식, 객체의 속성 비교를 통한 추적 방식 등이 적용될 수 있다. 한편, 객체가 연속한 개별 감시 영역 중 하나로부터 이탈하기 시작하면, 하나의 확장 감시 영역을 구성하는 복수의 개별 감시 영역들 사이의 공간적 관계를 이용하여 객체를 식별 및 추적할 수 있다. 이를 통해, 연속된 두 카메라 영상에 표출된 객체의 동일 여부가 신속하게 결정될 수 있도록 한다. In order to efficiently monitor an extended surveillance area through a plurality of individual surveillance areas, a method of treating the extended surveillance area as a single area captured by a single camera may be applied. When a multi-camera image is a set of multiple fixed camera images, the same object must be identified and tracked in the multiple fixed camera images in order to treat the extended surveillance area as a single area. While an object is moving within an individual surveillance area, known object tracking methods, for example, a tracking method by predicting the movement of the object, a tracking method by comparing object properties, etc. can be applied. Meanwhile, when an object begins to deviate from one of the continuous individual surveillance areas, the object can be identified and tracked using the spatial relationship between a plurality of individual surveillance areas constituting one extended surveillance area. Through this, it is possible to quickly determine whether the objects displayed in two consecutive camera images are identical.
객체 추적부(122)는 검출된 객체의 움직임을 추적한다. 객체 추적부(122)는 객체의 움직임 예측을 통해 객체를 추적하거나, 객체의 속성을 비교하여 객체를 추적할 수 있다. 객체 추적 방식은 제1 영상(또는 프레임)에서 검출된 객체의 움직임을 예측하거나 속성을 검출하고, 이를 제2 영상(또는 프레임)에서 검출된 객체와 비교하여 두 객체가 동일 객체인지를 판단한다. 영상을 구성하는 매크로 블록 단위로 비교하여 객체의 움직임을 추적하거나 영상에서 배경을 제거하여 객체만 영상에 남도록 하여 객체 검출 및 움직임을 추적하는 방식 등과 같이, 다양한 객체 추적 방식이 적용될 수 있다.The
객체 추적부(122)는 다중 카메라 영상 및 이동 카메라 영상에서 동일 객체를 검출할 수 있다. 하나 이상의 다중 카메라(20) 및 하나 이상의 이동 카메라(25)에 의해 감시되는 공간에서, 동일 객체는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상 중 일부에, 또는 다중 카메라 영상과 이동 카메라 영상에 동시에 표출될 수 있다. 일 실시예로, 객체 검출부(122)는 개별 감시 영역간 공간적 관계를 참고하여 둘 이상의 고정 카메라 영상에 표출된 동일 객체를 검출할 수 있다. 다른 실시예로, 객체 검출부(122)는, 딥러닝 분석을 통해, 검출된 객체의 속성을 추출하며, 추출한 객체의 속성을 비교하여, 두 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 예를 들어, 두 객체가 서로 일치할 확률(이하 유사도)이 표출되거나, 제1 영상의 분석 결과로 부여되었던 객체 식별자가 제2 영상에서 검출된 객체에 다시 부여될 수 있다.The
객체 추적부(122)는 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 이용할 수 있다. 사람 객체의 경우, 객체 추적부(122)는 예를 들어, 시각적 특징, 얼굴 특징, 걸음 걸이 특징 등을 이용하여 사람 객체를 재인식할 수 있다. 시각적 특징으로는, 사람 객체의 키, 착용한 옷의 종류나 색깔 등이 이용될 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.The
이동 제어부(123)는 이동 카메라(25)가 이동하는 경로를 결정한다. 이동 카메라(25)는 미리 설정된 경로를 따라 이동하거나 장애물을 피해서 이동할 수 있다. 이동 카메라(25)의 경로는 다중 카메라 영상에서 연속 추적할 객체 검출시 변경될 수 있다. 연속 추적할 객체는 영상 분석을 위한 속성을 획득하지 못한 객체, 이상 행위를 하는 객체, 사각 영역에 진입하여 더 이상 추적할 수 없는 객체 또는 다중 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다. 이동 제어부(123)는 연속 추적할 객체의 위치 및 이동 카메라(25)의 위치를 산출하여 연속 추적할 객체를 향하도록 이동 카메라(25)의 경로를 변경할 수 있다.The
영상 분석 모듈(120)은 이벤트 조건에 부합하는 이벤트를 검출하는 이벤트 검출부(124)를 포함할 수 있다. 이벤트 검출부(124)는 검출된 객체, 객체의 움직임, 및 객체의 주변 환경 중 어느 하나 또는 이들의 조합에 기초하여, 이벤트 조건에 부합하는 이벤트를 검출한다. 이벤트 검출부(124)는 둘 이상의 상이한 영상 분석 방식으로 구동할 수 있다. 예를 들어, 딥러닝 기반 이벤트 검출부는 검출된 객체의 속성을 추출하고, 속성에 기초하여 설정된 이벤트 조건에 부합하는지를 판단하며, 룰 기반 이벤트 검출부는 관심 영역에서 객체의 움직임에 기초하여 이벤트 조건에 부합하는 이벤트를 검출한다. 한편, 딥러닝 분석에 의해 제1 이벤트 조건에 부합하는 객체는 룰 기반 분석에 전달되어, 제2 이벤트 조건에 부합하는지 판단될 수 있다. 딥러닝 방식으로 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 딥러닝 기반 이벤트 검출부도 복수일 수 있다. 동일하게, 룰 기반 방식을 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 룰 기반 이벤트 검출부도 복수개일 수 있다.The
메타 데이터 전송 모듈(130)은 영상분석모듈(120)이 생성한 메타 데이터를 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송한다. 추가적으로, 메타 데이터 전송 모듈(130)은 환경 센서(도 8의 50 참조)가 생성한 측정 데이터 또는 측정 데이터에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송할 수 있다.The meta
통신망(40)은 메타 데이터의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC, LTE, 와이브로 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.The
에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 지능형 에지 장치(100)의 이벤트 검출 모듈을 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(100)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다.The edge-based
도 6은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.Figure 6 is a flowchart illustrating an example of image analysis using multiple cameras and moving cameras.
S10에서, 하나 이상의 다중 카메라(20)가 감시 공간을 촬영하여 다중 카메라 영상을 생성하며, 다중 카메라 영상은 영상 분석 모듈(120)에 의해 분석된다. 영상 분석 모듈(120)의 객체 검출부(121)는 다중 카메라 영상에 표출된 하나 이상의 객체를 검출하며, 객체 추적부(122)는 검출된 객체의 움직임을 추적한다. In S10, one or more
S11에서, 연속 추적할 객체를 검출하며 그 객체의 위치를 산출한다. 연속 추적할 객체는 객체 검출부(121), 객체 추적부(122), 이벤트 검출부(124) 중 어느 하나에 의해 결정될 수 있다. 연속 추적할 객체의 일 예는 영상 분석을 위한 속성을 획득하지 못한 객체일 수 있으며, 예를 들어, 사람 객체의 식별에 필요한 얼굴 정면을 다중 카메라 영상 또는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상을 통해 획득하지 못하면, 연속 추적할 객체로 분류한다. 연속 추적할 객체의 다른 예는 다중 카메라 영상을 분석하여 추적이 필요한 객체 관련 이벤트, 즉, 이상 행위가 검출된 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 사각 영역에 진입하여 더 이상 추적할 수 없는 객체이며, 다중 카메라 영상에서 더 이상 검출되지 않는 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 다중 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다.In S11, an object to be continuously tracked is detected and the position of the object is calculated. The object to be continuously tracked may be determined by any one of the
연속 추적할 객체의 지리적 위치는 다중 카메라(20)의 위치, 높이, 틸트(tilt) 각도 등을 이용하여 다양한 방식으로 산출될 수 있다. 이동 카메라(25)의 이동 목적지는 연속 추적 유형에 따라 결정될 수 있다. 사각 영역에 진입한 객체의 경우, 해당 객체가 사라지기 직전까지 검출된 지점을 이동 카메라(25)의 이동 목적지로 결정하여 위치를 산출할 수 있다. 객체가 사각 영역에 진입한 경우를 제외하면, 연속 추적할 객체는 다중 카메라 영상에서 검출되고 있으며, 따라서 이동 카메라(25)의 이동 목적지는 객체의 현재 위치이다.S12에서, 이동 카메라(25)의 위치를 산출하고 연속 추적할 객체까지의 경로를 설정한다. 이동 카메라(25)의 위치는 다양한 측위 방식을 통해 산출될 수 있다. 실외의 경우, GPS(Global positioning system) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC(Visible light communication) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 둘 이상의 이동 카메라(25)가 활용 가능한 경우, 연속 추적할 객체까지의 이동 시간이 짧은 위치에 있는 이동 카메라(25)가 선택될 수 있다. The geographic location of an object to be continuously tracked can be calculated in various ways using the location, height, tilt angle, etc. of the
이동 카메라(25)의 위치가 산출되면, 연속 추적할 객체까지의 경로가 설정될 수 있다. 경로는 이동 카메라(25)가 탑재된 이동 수단의 유형 또는 이동 속도뿐 아니라 주변의 방해물의 위치를 고려하여 결정될 수 있다. 예를 들어, 비행 드론의 경로는 이동 카메라(25)의 현재 위치로부터 연속 추적할 객체의 위치까지 대부분 직선이며, 경로 중간에 위치한 방해물 주변으로 우회하도록 결정될 수 있다. Once the position of the moving
S13에서, 이동 카메라(25)는 경로를 따라 이동하여 목적지에 도착하며 이동 카메라 영상을 생성한다. 영상 분석 모듈(200)은 다중 카메라 영상에서 검출된 연속 추적할 객체와 동일한 객체를 이동 카메라 영상에서 식별한다. 객체의 속성을 획득하기 위한 연속 추적의 경우, 사람 객체의 얼굴 정면을 촬영한 후 연속 추적은 종료된다. 반면 이상 행위를 한 객체에 대한 연속 추적은 이동 카메라 영상에서 객체가 식별된 이후에도 계속될 수 있다.In S13, the
S14에서, 다중 카메라 영상 및 이동 카메라 영상에서 검출 및 추적한 객체에 대한 메타 데이터가 생성되며, 생성된 메타 데이터는 영상 분석에 이용될 수 있다.In S14, metadata for objects detected and tracked in multi-camera images and moving camera images are generated, and the generated metadata can be used for image analysis.
도 7은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이며, 도 8은 다층 건물의 내부에서 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다. 각 층은 하나의 감시 영역이며, 각 층마다 설치된 다중 카메라(20) 및 이동 카메라(25)는 유선 또는 무선으로 지능형 에지장치(100)와 통신할 수 있다. 지능형 에지장치(100)는 각 층마다 설치된 환경 센서(50)가 환경 변수를 측정하여 생성한 측정 데이터를 수신할 수 있다. 환경 변수는, 예를 들어, 온도, 습도, 조도, 가스 농도, 미세먼지 농도 등 일 수 있으며, 환경 센서(50)는 예를 들어 온도 센서, 습도 센서, 조도 센서, 가스 센서, 먼지 센서, 화재 감지 센서 등일 수 있다. 화재 감시 센서는 열, 연기, 불꽃 등을 검출할 수 있다.FIG. 7 is a flowchart illustrating another embodiment of image analysis using multiple cameras and moving cameras, and FIG. 8 is a diagram illustrating a process for defining a blind area inside a multi-story building. Each floor is one surveillance area, and the
도 7 내지 도 8을 함께 참조하면, S20에서 감시 공간마다 다중 카메라(20)의 확장 감시 영역(21)을 잠정적으로 결정한다. 위치, 높이, 틸트 각도, 카메라 사이각 등 확장 감시 영역(21)에 영향을 미치는 요소들은 각 층에 설치된 다중 카메라(20)마다 상이할 수 있다. 감시 공간 맵은 확장 감시 영역(21) 및 다중 카메라(20) 자체에 의해 생성된 사각 영역(31a)을 표현할 수 있다. 예를 들어, 1층 전체가 확장 감시 영역(21)에 포함된다고 가정한다. Referring to FIGS. 7 and 8 together, in S20, the extended
S21에서, 다중 카메라(20)의 시야를 가리는 시야 방해물(36)이 확장 감시 영역(21)에 존재하는지 판단한다. 시야 방해물(36)은 일시적으로 존재하거나 항상 존재할 수 있다. 시야 방해물(36)의 위치와 형태는 로봇이나 비행 드론에 탑재된 이동 카메라(25)에 의해 획득될 수 있다. 도 8에서, 벽이 1층 계단 좌측에 설치되어 있는 반면, 2층과 3층에는 시야 방해물이 존재하지 않는다.In S21, it is determined whether an
S22에서, 시야 방해물(36)이 존재하면, 시야 방해물(36)로 인해 발생하는 새로운 사각 영역(31b)을 결정한다. 도 8에서, 1층 계단 좌측에 위치한 벽(36) 너머의 공간은 사각 영역(31b)이다. 반면, 시야 방해물(36)로 인한 사각 영역은 2층과 3층에서 발생하지 않는다. In S22, if the
S23에서, 새로운 사각 영역을 감시 공간 맵에 추가하여 감시 공간 맵을 완성한다. In S23, a new rectangular area is added to the surveillance space map to complete the surveillance space map.
S24에서, 이동 카메라의 경로를 감시 공간 맵에 포함된 하나 이상의 사각 영역을 촬영할 수 있도록 설정한다. 이동 카메라(25)의 경로(37)는 이동 수단의 유형, 이동 속도, 방해물의 위치와 형태, 및 이동 카메라(25)의 회전 가능 여부 중 어느 하나 또는 이들의 조합을 고려하여, 하나 이상의 사각 영역을 촬영할 수 있도록 설정된다. 예를 들어, 회전할 수 없는 이동 카메라의 경로와 회전할 수 있는 이동 카메라의 경로는 상이할 수 있다. 설정된 경로(37)는 감시 공간 맵에 반영된다. 이동 제어부(130)는 감시 공간 맵을 참조하여 이동 카메라(25)를 경로(37)를 따라 이동시킬 수 있으며, 연속 추적이 필요한 경우 이동 카메라(25)의 경로를 일시적으로 변경할 수 있다. In S24, the path of the mobile camera is set to capture one or more blind areas included in the surveillance space map. The
경로(37)가 설정된 감시 공간 맵을 생성하는 과정이 반드시 영상 분석 모듈(120)에 의해서만 수행되어야 하는 것은 아니며, 경로가 설정되지 않은 맵 또는 경로가 설정된 맵은 외부에서 생성된 후 영상 분석 모듈(120)에 전달될 수도 있다.The process of creating a surveillance space map with a
S25에서, 이동 카메라(25)는 경로(37)를 따라 이동하면서 이동 카메라 영상을 생성한다. 확장 추적시, 이동 카메라(25)는 이동 카메라 영상이 촬영된 위치를 나타내는 메타 데이터를 이동 카메라 영상에 기록하거나 이동 카메라 영상에 연관된 파일에 기록할 수 있다. 한편, 이동 카메라(25)는 이동 카메라 영상 촬영시 카메라 방향을 나타내는 메타 데이터를 이동 카메라 영상에 더 기록할 수 있다. 또한, 이동 수단이 비행 드론인 경우, 이동 카메라(25)는 비행 드론의 지상으로부터의 높이를 나타내는 메타 데이터를 이동 카메라 영상에 더 기록할 수 있다. 촬영 위치, 카메라 방향 및 촬영 높이는 변경될 때마다 이동 카메라 영상에 기록되며, 이를 통해 사각 영역에서 검출된 객체의 위치를 확정할 수 있게 된다. At S25, the moving
S26에서, 확장 감시 영역(21)을 촬영한 다중 카메라 영상 및 확장 감시 영역(21)의 일부를 촬영한 이동 카메라 영상을 분석하여 객체 관련 이벤트를 검출한다. 다중 카메라 영상은 확장 감시 영역(21) 내에 위치한 객체들을 표출하며, 이동 카메라 영상은 사각 영역에 위치한 객체들을 표출한다. In S26, an object-related event is detected by analyzing the multi-camera image captured in the extended
도 9는 다중 카메라 및 이동 카메라로 화재 발생을 감지하며, 이에 대응하는 과정을 예시적으로 도시한 도면이며, 도 10은 다층 건물의 내부에서 화재 발생시 이동 카메라를 이용한 화재 대응을 예시적으로 도시한 도면이다. Figure 9 is a diagram illustrating the process of detecting and responding to a fire using multiple cameras and moving cameras, and Figure 10 is an example showing a fire response using a moving camera when a fire occurs inside a multi-story building. It is a drawing.
화재 감지 센서(50)가 화재 신호를 발생한다. 화재 신호는 열, 연기, 및 불꽃 중 적어도 어느 하나로 검출되는 실제 화재로 인해 발생할 수 있지만(이하 실제 화재 신호), 단순한 온도 상승, 음식 조리시 생긴 연기, 또는 먼지와 같이 화재가 아님에도 발생할 수 있다(이하 오작동 화재 신호). 한편, 화재 신호는 화재 감지 센서(50) 고장시에도 발생할 수 있다. 따라서 화재 신호가 발생한 시점에서, 해당 화재 신호가 실제 화재 신호인지 아니면 오작동 화재 신호인지는 판단하기 어렵다. 또한, 복수의 화재 감지 센서(50)가 동일한 소방 중계기 또는 공통선을 통해 화재 신호를 소방 수신기에 전달하기 때문에, 화재가 발생한 구역을 파악할 수는 있지만, 해당 구역 내 어느 위치에서 화재가 발생하였는지는 파악할 수 없다.The
도 9와 도 10을 함께 참조하면, S30에서, 관제 서버(300)가 화재 신호를 수신한다. 화재 신호를 수신하면, 관제 서버(300)는 화재 신호 수신 및 확인중임을 관제 단말에 표출할 수 있다. Referring to FIGS. 9 and 10 together, at S30, the
지능형 에지장치(100)도 화재 신호를 수신할 수 있다. 지능형 에지장치(100)는 다중 카메라(20) 및 이동 카메라(25)뿐 아니라 건물에 설치된 환경 센서(50)로부터 측정 데이터를 직접 또는 간접적으로 수신할 수 있다. 화재 감지 센서도 일종의 환경 센서(50)이므로, 화재 신호도 지능형 에지장치(100)에 전달되도록 할 수 있다. 이하에서는 환경 센서를 화재 감지 센서라 지칭한다. The
한편, 지능형 에지장치(100)는 영상 분석에 의해서도 화재를 감지할 수 있다. 지능형 에지장치(100)는 영상 내 특정 영역의 색 변화 등을 통해 화염, 연기 등을 감지할 수 있으며, 다양한 감지 기법이 소개되어 있다. 따라서 지능형 에지장치(100)가 화재를 감지하는 경로는 화재 신호에 한정되지 않는다.Meanwhile, the
S31에서, 지능형 에지장치(100)가 화재를 감지하면 화재가 발생한 구역에 배치된 다중 카메라(20) 및/또는 이동 카메라(25)를 파악하며, S32에서 다중 카메라 영상 및/또는 이동 카메라 영상을 수신한다. 화재가 발생한 구역을 화재 신호로부터 파악할 수 있으면, 지능형 에지장치(100)는 해당 층에 설치된 다중 카메라(20)가 생성한 다중 카메라 영상에서 화재 이벤트를 검출할 수 있다. 반면 화재가 발생한 구역을 파악할 수 없으면, 지능형 에지장치(100)는 화재 신호가 발생한 건물에 설치된 모든 카메라로부터 수신된 영상을 분석하여 화재 이벤트를 검출할 수 있다. In S31, when the
화재가 발생한 구역이 파악되면, 지능형 에지장치(100)는 이동 카메라(25)를 화재가 발생한 구역으로 이동시킨다. 다중 카메라(25)가 화재 발생 구역을 촬영할 수도 있다. 하지만, 다중 카메라(25)로부터 멀리 떨어지거나 사각 영역에서 발생한 화재의 진행 상황은 다중 카메라(20)만으로 감시하기 어려울 수 있다. 특히, 다중 카메라 영상만으로 화재가 다른 층으로 번지는 상황을 파악하기는 더욱 어려울 수 있다. 도 10에서, 1층에 화재가 발생하면, 1층 이동 카메라(25)는 화재 발생 구역으로 이동하여 화재를 촬영하기 시작한다. 한편, 화염이나 연기는 계단, 엘리베이터홀, 에어 덕트 등을 통해 다른 층으로 확산할 수 있다. 따라서 지능형 에지장치(100)는 2층 및 3층 이동 카메라들(25)을 화재가 영향을 미칠 수 있는 위치로 이동시켜 화재 진행 상황을 감시할 수 있다. 화재가 영향을 미칠 수 있는 위치가 복수이면, 지능형 에지장치(100)는 복수의 위치를 촬영할 수 있는 경로를 설정하며, 그 경로를 따라 이동하는 이동 카메라(25)가 생성한 이동 카메라 영상을 통해 화재 진행 상황을 감시할 수 있다. Once the area where the fire occurred is identified, the
한편, 화재가 발생한 위치가 일시적으로 이동 카메라(25)의 시야 밖에 있을 수 있다. 따라서 화재 발생을 감지하면, 지능형 에지장치(100)는 이동 카메라(25)가 시야 밖 영역을 스캔하도록 제어한다. 여기서 스캔은 카메라의 회전 및 틸팅 중 어느 하나 또는 모두를 수행하여 이동 카메라(25)가 촬영할 수 있는 공간의 적어도 일부 또는 전체를 촬영하는 동작이다. Meanwhile, the location where the fire occurred may be temporarily outside the field of view of the
S33에서, 지능형 에지장치(100)는 수신한 화재 신호가 실제 화재 신호인지 아니면 오작동 화재 신호인지를 1차 분석한다. 이를 위해서, 지능형 에지장치(100)는 다중 카메라 영상 및/또는 이동 카메라 영상에 고도화된 화재 오검지 조건을 적용한다. 지능형 에지장치(100)는 영상을 분석하여 메타 데이터를 생성하며, 이를 저장한다. 따라서, 지능형 에지장치(100)는 화재 신호를 수신한 시각을 기준으로 일정 시간 이전에 수신한 영상을 분석하여 획득한 메타 데이터에 고도화된 화재 오검지 조건을 적용하여 연기 또는 불꽃을 검출할 수 있다. 1차 분석 결과에 따라 이후 절차가 달라질 수 있다. 고도화된 화재 오검지 조건을 영상에 적용하여 분석하는 과정은 도 11을 참조하여 상세히 설명한다.In S33, the
불꽃 및 연기 중 어느 하나가 검출되어 실제 화재 신호인 것으로 분석되면, 지능형 에지장치(100)는 화재가 발생한 위치를 특정할 수 있다. 영상에 표출된 객체의 지리적 위치는 다중 카메라(25)의 위치, 높이, 틸트 각도 등을 이용하여 다양한 방식을 이용하여 특정될 수 있다. 특정된 화재 발생 위치는 화재 검출을 나타내는 메타 데이터와 함께 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송될 수 있다. 한편, 지능형 에지장치(100)는 이동 카메라(25)가 화재를 지속적으로 촬영하도록 제어하여 화재의 확산속도, 확산방향, 불꽃의 크기를 검출하며, 이를 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송할 수 있다.If either flame or smoke is detected and analyzed as an actual fire signal, the
불꽃 및 연기 중 어느 하나도 검출되지 않아 오작동 화재 신호인 것으로 분석되면, 지능형 에지장치(100)는 오작동 화재 신호임을 나타내는 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송할 수 있다.If neither flame nor smoke is detected and it is analyzed to be a malfunctioning fire signal, the
1차 분석 결과 화재 여부를 판단할 수 없으면, 지능형 에지장치(100)는 화재 신호가 발생한 구역에서 촬영된 영상 또는 스냅샷을 에지기반 영상분석장치(200)로 전송한다. 예를 들어, 불꽃이나 연기를 검출했지만 주변에 위치한 사람들의 움직임이 없으면, 화재가 발생했지만 진화했거나 진화 가능한 상황인지 아니면 음식 조리와 같이 화재가 발생하지 않은 상황인지를 판단하기 어렵다. 이 경우, 지능형 에지장치(100)는 영상 분석의 결과를 도출하지 못하는 영상 구간 또는 스냅샷을 에지기반 영상분석장치(200)로 전송할 수 있다.If it is not possible to determine whether there is a fire as a result of the primary analysis, the
S34에서, 에지기반 영상분석장치(200)는 지능형 에지장치(100)의 1차 분석 결과를 검증하거나 2차 분석하여 화재 신호의 유형을 확정한다. 실제 화재 신호임을 나타내는 메타 데이터 및 오작동 화재 신호임을 나타내는 메타 데이터를 수신하면, 에지기반 영상분석장치(200)는 메타 데이터를 2차 분석하여 지능형 에지장치(100)에 의한 분석 결과를 검증할 수 있다. 에지기반 영상분석장치(200)는 지능형 에지장치(100)에 비해 상대적으로 많은 컴퓨팅 파워 및 리소스를 활용할 수 있으므로, 지능형 에지장치(100)에서 적용된 이벤트 조건보다 더욱 상세한 이벤트 조건을 적용한 분석이 가능하다. 또한 에지기반 영상분석장치(200)는 학습된 이벤트 검출기로 검출할 수 없는 이벤트도 빅데이터를 활용하여 분석할 수 있다. In S34, the edge-based
2차 분석 결과 오작동 화재 신호로 확정되면, 에지기반 영상분석장치(200)는 관제 서버(300)로 오작동 화재 신호를 통지한다. 오작동 화재 신호를 수신하면, 관제 서버(300)는 관제 단말에 표출한 화재 신호를 화재 감지기 오작동으로 변경한다.If it is confirmed as a malfunction fire signal as a result of the secondary analysis, the edge-based
반면 2차 분석 결과 실제 화재 신호로 확정되면, 에지기반 영상분석장치(200)는 관제 서버(300)로 실제 화재 신호를 통지한다. 실제 화재 신호를 수신하면, 관제 서버(300)는 관제 단말에 표출한 화재 신호를 화재 발생으로 변경하며 화재가 발생한 위치를 관제 단말에 표출한다.On the other hand, if it is confirmed as an actual fire signal as a result of the secondary analysis, the edge-based
도 11은 고도화된 화재 오검지 조건을 적용한 화재 검출 방식을 예시적으로 설명하기 위한 도면이다.Figure 11 is a diagram illustrating an exemplary fire detection method applying advanced fire false detection conditions.
도 9에 예시된 방식은 화재 신호 발생 후 카메라 스캔을 통해 화재를 검출하는 방식이며, 도 11에 예시된 방식은 도 9의 화재 감지기 오작동 감지뿐 아니라 화재 신호가 발생하지 않는 상황에서도 화재를 감지할 수 있다. 따라서 도 11에 예시된 방식만 실행될 수 있다.The method illustrated in FIG. 9 is a method that detects fire through camera scanning after a fire signal occurs, and the method illustrated in FIG. 11 not only detects malfunction of the fire detector in FIG. 9, but also detects fire even in situations where no fire signal occurs. You can. Therefore, only the method illustrated in Figure 11 can be implemented.
S40은 화재가 일어나지 않은 정상 상황에서 촬영한 영상이다. 고도화된 화재 오검지 조건은 그리드 기반 빅데이터 자가학습을 통해 화재 발생 판단의 정확도를 고도화할 수 있다. 영상은 m x n 그리드로 분할되며, 각 그리드별로 정상 프로파일이 생성될 수 있다. 정상 프로파일은 정상 상태에서만 식별되는 특징, 규칙 또는 주기적인 변화이며, 그리드별로 빅데이터 자가학습을 통해 결정될 수 있다. 예를 들어, 정상 프로파일은 시간에 따라 변하는 색상일 수 있다. S40 is a video taken under normal circumstances where no fire occurred. Advanced fire false detection conditions can enhance the accuracy of fire occurrence judgment through grid-based big data self-learning. The image is divided into m x n grids, and a normal profile can be generated for each grid. A normal profile is a characteristic, rule, or periodic change that is identified only in a normal state, and can be determined through big data self-learning for each grid. For example, a normal profile could be a color that changes over time.
그리드 기반은 화면 전체에 대한 정상 프로파일보다 더 정확한 화재 검출을 가능하게 한다. 예시된 화면은 부엌을 촬영한 영상으로, 우측에 있는 가스 레인지는 음식 조리를 위해 불꽃이 자주 검출되는 반면, 그 외의 영역은 창문을 통해 들어오는 햇빛 및 반사된 조명에 의해 규칙적으로 밝기가 변화한다. 따라서 화면 전체에 대해 정상 프로파일을 생성하면, 화면의 일부에서만 검출되는 특징들이 평균화되어서 어느 한 특징의 변화가 화면 전체의 정상 프로파일에 미치는 영향이 미미해진다. 그에 반해, 그리드별로 정상 프로파일을 생성하면, 그리드간에 구분이 가능하여 어느 한 그리드에 생긴 변화를 정확하게 검출할 수 있게 된다. 예를 들어, 빅데이터 자가학습을 통해 가스 레인지가 포함된 그리드는 위험 영역으로 분류되며, 일정 범위 이하로 검출되는 불꽃은 정상 상태, 즉, 음식 조리에 의해 발생한 것으로 식별될 수 있다.Grid-based allows for more accurate fire detection than a normal profile for the entire screen. The example screen is an image of a kitchen. Flames are frequently detected in the gas range on the right for cooking food, while the brightness of other areas changes regularly due to sunlight coming through the window and reflected lights. Therefore, when a normal profile is created for the entire screen, features detected only in part of the screen are averaged, so that changes in any one feature have a minimal effect on the normal profile for the entire screen. On the other hand, if a normal profile is created for each grid, it is possible to distinguish between grids and accurately detect changes in any one grid. For example, through big data self-learning, a grid containing a gas range is classified as a risk area, and flames detected below a certain range can be identified as normal, that is, caused by food cooking.
S41에서, 복수의 그리드 중에서 화재 후보영역이 검출된다. 화재 후보영역은 다양한 공지의 방식을 적용하여 검출될 수 있다. 예를 들어, 화재 후보영역은 색상정보를 이용하여 검출될 수 있다. 불꽃 또는 연기는 객체 유형을 특정할 수 없는 비정형이기 때문에 색상정보가 화재 검출에 주로 사용된다. 영상에서, 불꽃은 가장 밝으며, 불꽃 주변에는 적색 및 황색의 화염이 존재하는 특성을 가지며, 연기는 백색, 회색 또는 흑색을 띄며, 상당한 넓은 영역에 걸쳐 검출되는 특성을 가진다. 예시된 화면에서, 2개의 화재 후보영역이 검출되었다. 좌측 후보영역은 화재로 인한 불꽃이며, 우측 후보영역은 가스 레인지 불꽃이다.In S41, a fire candidate area is detected among a plurality of grids. Fire candidate areas can be detected by applying various known methods. For example, a fire candidate area can be detected using color information. Since flames or smoke are atypical and cannot specify the object type, color information is mainly used for fire detection. In the video, the flame is the brightest, with red and yellow flames present around the flame, and the smoke is white, gray, or black, and has the characteristic of being detected over a fairly wide area. In the example screen, two fire candidate areas were detected. The candidate area on the left is a flame from a fire, and the candidate area on the right is a flame from a gas range.
상술한 특징들은 화재가 아닌 경우에도 검출될 수 있어서, 유사한 특징을 갖는 화재 후보영역을 제거하는 오검지 필터링을 적용하면 오검지율을 더욱 감소시킬 수 있다. 예를 들어, 석양, 빨간색 객체, 네온사인, 붉은 조명, 가로등(이하 오검지 화재)은 불꽃으로 검출될 수 있다. Since the above-described features can be detected even when it is not a fire, the false detection rate can be further reduced by applying false detection filtering to remove fire candidate areas with similar characteristics. For example, sunsets, red objects, neon signs, red lights, and street lights (hereinafter referred to as false detection fires) can be detected as flames.
S42에서, 오검지 필터링을 통해 화재 후보영역 중에서 화재가 아닌 영역이 제거된다. 오검지 필터는 영상에서 분석하지 않을 영역이나 객체를 제거하는 환경 필터이다. 오검지 필터링은 실제 화재와 다른 특징을 가진 영역을 제외하는 방식으로 수행될 수 있다. 일 예로, 오검지 필터링은 화재 후보영역별로 히스토그램을 생성하며, 생성된 히스토그램을 실제 화재에 대한 히스토그램 또는 오검지 화재에 대한 히스토그램과 비교 및 분류하여 오검지 화재를 제거할 수 있다. 다른 예로, 화재 후보영역이 미리 설정된 분석이 필요 없는 영역에 해당하면 오검지 필터는 해당 화재 후보영역을 제거할 수 있다.In S42, non-fire areas are removed from the fire candidate areas through false detection filtering. A false detection filter is an environmental filter that removes areas or objects that should not be analyzed from an image. False detection filtering can be performed by excluding areas with characteristics different from actual fires. As an example, false detection filtering generates a histogram for each fire candidate area, and the generated histogram can be compared and classified with histograms for actual fires or histograms for falsely detected fires to remove falsely detected fires. As another example, if the fire candidate area corresponds to an area that does not require preset analysis, the false detection filter may remove the fire candidate area.
S43에서, 오검지 필터링을 통과한 화재 후보영역을 정상 프로파일과 비교하여 비정상 상태의 발생을 확정할 수 있다. 정상 프로파일은 정상 상태가 유지되는 동안에 생성되므로, 정상 상태의 특징을 나타낸다. 예를 들면, 그리드별로 생성된 정상 프로파일과 실시간으로 수집된 영상의 색상정보를 비교하여 해당 그리드에서 비정상 상태를 검출할 수 있다. 예시된 그리드 G24와 G34의 색상정보는 정상 프로파일을 가진다. 한편 실시간 영상에서 그리드 G24와 G34에 대응하는 영역에서 발생한 화재는 그리드 G24와 G34가 정상 프로파일과는 다른 색상정보를 가지게 한다. 따라서 비정상 상태, 즉, 화재가 발생한 경우이다.In S43, the occurrence of an abnormal state can be confirmed by comparing the fire candidate area that passed false detection filtering with the normal profile. Since the normal profile is created while the steady state is maintained, it represents the characteristics of the steady state. For example, by comparing the color information of images collected in real time with the normal profile generated for each grid, an abnormal state can be detected in the corresponding grid. The color information of the illustrated grids G24 and G34 has a normal profile. Meanwhile, a fire that occurred in the area corresponding to grids G24 and G34 in the real-time video causes grids G24 and G34 to have color information different from the normal profile. Therefore, it is an abnormal state, that is, a fire has occurred.
화재가 검출되면, 화재의 확산속도, 확산방향, 불꽃의 크기와 같은 화재 특성을 지속적으로 추적할 수 있다. 그리드로 분할된 영상은 그리드별로 비정상 상태를 검출할 수 있으므로, 그리드별 상태 변화를 통해 화재를 신속하게 추적할 수 있다.Once a fire is detected, fire characteristics such as the speed of fire spread, direction of spread, and size of flames can be continuously tracked. Since images divided into grids can detect abnormal conditions for each grid, fires can be quickly tracked through changes in the status for each grid.
상술한 과정은 화재 후보영역을 검출한 후 정상 프로파일을 이용하는 경우이다. 화재 후보영역 검출 과정은 생략가능하며, 실시간 영상을 정상 프로파일과 그리드별 비교를 통해 비정상 상태 발생을 검출할 수도 있다.The above-described process is a case of using a normal profile after detecting a fire candidate area. The fire candidate area detection process can be omitted, and the occurrence of abnormal conditions can also be detected by comparing real-time images with the normal profile for each grid.
도 12는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다. 도 5와 중복되는 설명을 생략하며 차이점을 설명한다.Figure 12 is a configuration diagram for functionally explaining an embodiment of a video analysis system using multiple cameras and moving cameras. Descriptions that overlap with those of FIG. 5 will be omitted and differences will be explained.
도 12를 참조하면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템은, 다중 카메라로부터 획득한 영상을 분석하는 제1 지능형 에지장치(100) 및 이동 중 또는 이동 후 영상을 획득하며 획득한 영상을 분석하는 제2 지능형 에지장치(400)를 포함할 수 있다. 여기서 제2 지능형 에지장치(400)는 영상 분석을 수행할 수 있는 이동 카메라(25)이다.Referring to FIG. 12, the image analysis system using multiple cameras and moving cameras includes a first
제1 지능형 에지장치(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 메타 데이터 전송 모듈(130)을 포함할 수 있다. 제1 지능형 에지장치(100)는 감시 공간 내에 설치된 하나 이상의 다중 카메라가 생성한 하나 이상의 다중 카메라 영상을 분석할 수 있다. 영상 분석 모듈(120)을 구성하는 객체 검출부(121), 객체 추적부(122) 및 이벤트 검출부(124) 중 어느 하나는 이벤트 발생을 검출할 수 있다. 추가적으로 또는 선택적으로, 제1 지능형 에지장치(100)는 감시 공간 내에 설치된 복수의 환경 센서(50)로부터 측정 데이터를 수신할 수 있다. 따라서, 제1 지능형 에지장치(100)는 환경 센서(50)로부터 수신된 측정 데이터를 처리하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈(105)을 더 포함할 수 있다. 영상 데이터 처리 모듈(110)에 의해 검출되는 이벤트 발생과 측정 데이터 처리 모듈(105)에 의해 검출되는 이벤트 발생은 동일 원인에 의해 발생하거나 상이한 원인에 의해 발생할 수 있다. 메타 데이터 전송 모듈(130)은 다중 카메라 영상, 다중 카메라 영상을 분석하여 생성된 메타 데이터, 측정 데이터 및 측정 데이터를 분석하여 생성된 메타 데이터 중 어느 하나 또는 이들의 조합을 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송할 수 있다.The first
제2 지능형 에지장치(400)는 제1 지능형 에지장치(100)의 제어에 의해 감시 공간 내에서 이동하여 이동 카메라 영상을 생성하며, 생성된 이동 카메라 영상을 분석한다. 영상 분석 결과로 생성된 메타 데이터는 통신망을 통해 에지기반 영상분석장치(200)로 전송될 수 있다. 제2 지능형 에지장치(400)는 제1 지능형 에지장치(100)가 지시한 특정 위치까지 이동 중에 또는 이동 후에 이동 카메라 영상을 생성하는 카메라(405), 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈(410), 전처리된 이동 카메라 영상을 분석하는 영상 분석 모듈(420), 및 영상 분석 결과로 생성된 메타 데이터를 전송하는 데이터 전송 모듈(430)를 포함할 수 있다. 영상 데이터 처리 모듈(410)과 영상 데이터 처리 모듈(110)은 실질적으로 동일할 수 있으며, 영상 분석 모듈(420)은 이동 제어부를 제외하면 영상 분석 모듈(120)과 실질적으로 동일할 수 있다. 한편, 도시되진 않았으나, 제2 지능형 에지장치(400)는 환경 센서(50)를 더 포함할 수 있다. 제2 지능형 에지장치(400)에 장착된 환경 센서(50)는 특정 위치에서 측정 데이터를 생성할 수 있다.The second
제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 감시 공간에서 생성된 다중 카메라 영상 및 이동 카메라 영상을 각각 분석하여 미리 설정된 유형의 이벤트에 대한 메타 데이터를 생성(이하 1차 분석)하며, 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 분석(이하, 2차 분석)될 수 있다. 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 설치된 지역 및 현장 상황에 적합하게 학습하고, 수행된 학습에 기초하여 영상 분석을 수행할 수 있다. 특히, 영상은 에지기반 영상분석장치(200)가 요청하는 경우에 한하여 전송될 수 있으므로, 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능하다. The first
제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 1차 분석을 수행하여, 객체에 관련하여 미리 설정된 제1 이벤트 조건을 충족하는 이벤트를 검출하며, 검출된 이벤트에 대한 제1 메타 데이터를 생성한다. 제1 메타 데이터는 에지기반 영상분석장치(200)가 사용자에 의해 설정된 제2 이벤트 조건에 부합하는 이벤트를 검출하는데 이용되거나, 학습 데이터로 이용될 수 있다. 에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)의 이벤트 검출부를 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 1차 분석이 어려울 경우, 영상 및/또는 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다. The first
도 13은 도 12에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다. 도 6과 중복되는 설명을 생략하고 차이점을 설명한다.FIG. 13 is a flowchart illustrating an example of image analysis performed by the image analysis system illustrated in FIG. 12 . Descriptions overlapping with FIG. 6 will be omitted and differences will be explained.
S50에서, 하나 이상의 다중 카메라(20)가 감시 공간의 적어도 일부를 촬영하여 하나 이상의 다중 카메라 영상을 생성하며, 다중 카메라 영상은 제1 지능형 에지장치(100)에 의해 분석된다. 동시에 하나 이상의 환경 센서(50)가 감시 공간 내에 환경 변수를 측정하여 측정 데이터를 생성하며, 측정 데이터는 측정 데이터 처리 모듈(105)에 의해 분석될 수 있다.In S50, one or more
S51에서, 제1 지능형 에지장치(100)의 영상 분석 모듈(120) 또는 측정 데이터 처리 모듈(105)이 이벤트를 검출하면, 이벤트 발생 위치가 산출된다. 연속 추적 또는 확장 추적이 필요하거나 측정 데이터가 정상 범위를 벗어나면, 이벤트가 발생하였다고 판단된다. 연속 추적시 이벤트 발생 위치는 다중 카메라(20)의 위치, 높이, 틸트 각도 등을 이용하여 산출될 수 있다. 확장 추적시 이벤트 발생 위치는 미리 결정된 경로의 시작 위치일 수 있다. 한편, 임의의 측정 데이터가 과거에 수신된 측정 데이터로부터 산출된 정상 범위를 벗어나거나, 측정 데이터가 미리 설정된 시간격으로 수신되지 않으면, 환경 센서(50)의 설치 위치가 이벤트 발생 위치일 수 있다.In S51, when the
S52에서, 영상 분석 모듈(120)은 제2 지능형 에지장치(400)의 현재 위치를 산출하고 이벤트 발생 위치까지의 경로를 설정한다. 제2 지능형 에지장치(400)의 현재 위치는 실외의 경우, GPS 등을 이용하며, 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC 등을 이용하여 산출될 수 있다. 설정된 경로는 제2 지능형 에지장치(400)에 전송된다. 한편, 연속 추적의 경우, 연속 추적할 객체를 식별하기 위한 정보(이하 객체 식별 정보)도 제2 지능형 에지장치(400)에 전송될 수 있다.In S52, the
S53에서, 메타 데이터 전송 모듈(130)은 다중 카메라 영상의 분석 결과로 생성된 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(미도시)로 전송할 수 있다. In S53, the meta
S54에서, 제2 지능형 에지장치(400)는 경로를 따라 이동하여 목적지에 도착한다. 제2 지능형 에지장치(400)는 이벤트 발생 위치로 이동하기 시작할 때부터 또는 이벤트 발생 위치에 도착한 후부터 이동 카메라 영상을 생성하며, 생성된 이동 카메라 영상을 분석한다. 영상 분석 모듈(420)은 객체 식별 정보를 이용하여 연속 추적할 객체와 동일한 객체를 이동 카메라 영상에서 식별한다. 한편, 측정 데이터로 인해 이벤트가 발생했으며, 제2 지능형 에지장치(400)에 환경 센서(50)가 장착된 경우, 이벤트 발생 위치에서 환경 변수가 측정될 수 있다. At S54, the second
S55에서, 메타 데이터 전송 모듈(430)은 이동 카메라 영상의 분석 결과로 생성된 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(미도시)로 전송할 수 있다. In S55, the meta
S56에서, 에지기반 영상분석장치(200)는 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)로부터 수신한 메타 데이터를 분석한다.In S56, the edge-based
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. In particular, the features of the present invention described with reference to the drawings are not limited to the structure shown in the specific drawings, and may be implemented independently or in combination with other features.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .
Claims (12)
상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고,
상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고,
상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며,
이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함하되,
상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.An image data processing module that preprocesses multi-camera images generated by shooting an extended surveillance area by multiple cameras and moving camera images created by shooting objects by a moving camera; and
Detecting and tracking a first object that can be analyzed among objects displayed in the multi-camera image,
When detecting a second object to be continuously tracked among objects displayed in the multi-camera image, control the moving camera to capture the second object and generate the moving camera image;
Detecting and tracking an analyzable third object corresponding to the second object in the moving camera image,
A video analysis module that detects an event that meets event conditions in one or both of the multi-camera video and the moving camera video,
The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras,
The extended surveillance area is comprised of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.
상기 다중 카메라 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 이동 카메라 영상에서 상기 제3 객체를 식별하는 객체 검출부;
상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부;
상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부; 및
상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method of claim 1, wherein the image analysis module
an object detection unit that detects the first object and the second object in the multi-camera image and identifies the third object in the moving camera image;
an object tracking unit that tracks the movement of the first object in the multi-camera image and tracks the movement of the third object in the moving camera image;
an event detection unit that detects the event by analyzing the movement of the first object and the movement of the third object; and
An image analysis device using multiple cameras and a moving camera, including a movement control unit that calculates the location of the second object and controls the moving camera to move toward the calculated location and photograph the third object.
상기 다중 카메라 영상 및 상기 이동 카메라 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부; 및
상기 다중 카메라 영상 및 상기 이동 카메라 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method of claim 2, wherein the event detection unit
a deep learning event detection unit that detects events by analyzing the multi-camera images and the moving camera images using deep learning; and
An image analysis device using multiple cameras and a moving camera, including a rule-based event detection unit that detects events by analyzing the multiple camera images and the moving camera images in a rule-based manner.
상기 다중 카메라 영상에서, 분석 가능한 제1 객체를 검출 및 추적하고,
상기 이동 카메라 영상에서 분석 가능한 제2 객체를 검출 및 추적하고,
상기 제1 객체의 움직임 및 상기 제2 객체의 움직임 중 어느 하나 또는 모두를 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함하되,
상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.An image data processing module that preprocesses a multi-camera image generated by multiple cameras shooting an extended surveillance area and a moving camera image received from a mobile camera moving along a set path to capture a blind area not included in the extended surveillance area; and
Detecting and tracking a first object that can be analyzed in the multi-camera image,
Detecting and tracking a second object that can be analyzed in the moving camera image,
Comprising an image analysis module that detects an event that meets event conditions by analyzing one or both of the movement of the first object and the movement of the second object,
The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras,
The extended surveillance area is comprised of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras.
상기 다중 카메라 영상에서 상기 제1 객체 및 상기 이동 카메라 영상에서 상기 제2 객체를 검출하는 객체 검출부;
상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제2 객체의 움직임을 추적하는 객체 추적부;
상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부; 및
상기 제1 객체의 움직임 및 상기 제2 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.The method of claim 8, wherein the image analysis module
an object detection unit that detects the first object in the multi-camera image and the second object in the moving camera image;
an object tracking unit that tracks the movement of the first object in the multi-camera image and tracks the movement of the second object in the moving camera image;
a movement control unit that controls the mobile camera to move along the path; and
An image analysis device using multiple cameras and a moving camera, including an event detector that detects the event by analyzing the movement of the first object and the movement of the second object.
이동 수단에 탑재되어 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며, 이동 카메라 영상을 분석하여 제2 메타 데이터를 생성하는 제2 지능형 에지장치를 포함하되,
상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템.A first intelligent edge device that analyzes multi-camera images received from multiple cameras installed in the surveillance space to generate first metadata and calculates a path to the event occurrence location when an event is detected; and
It includes a second intelligent edge device that is mounted on a moving means and moves along the set path from the current location to the event occurrence location, and generates second metadata by analyzing moving camera images,
The multi-camera consists of a plurality of fixed cameras arranged by rotating by the angle between the cameras,
The extended surveillance area is comprised of a plurality of individual surveillance areas corresponding to each of the plurality of fixed cameras. A video analysis system using multiple cameras and a moving camera.
상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상분석장치를 더 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템.In claim 11,
An image analysis system using multiple cameras and a moving camera, further comprising an edge-based image analysis device that receives and analyzes the first metadata and the second metadata.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220052137A KR20230152410A (en) | 2022-04-27 | 2022-04-27 | Video analysis device using a multi camera consisting of a plurality of fixed cameras |
PCT/KR2022/006096 WO2023210839A1 (en) | 2022-04-27 | 2022-04-28 | Image analysis apparatus using multi-camera and moving camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220052137A KR20230152410A (en) | 2022-04-27 | 2022-04-27 | Video analysis device using a multi camera consisting of a plurality of fixed cameras |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230152410A true KR20230152410A (en) | 2023-11-03 |
Family
ID=88518955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220052137A KR20230152410A (en) | 2022-04-27 | 2022-04-27 | Video analysis device using a multi camera consisting of a plurality of fixed cameras |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230152410A (en) |
WO (1) | WO2023210839A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102674825B1 (en) * | 2023-12-13 | 2024-06-13 | 주식회사 인텔리빅스 | Crowd Management Apparatus, Driving Method Thereof, and Crowd Management System by Using Fixed Cameras and PTZ Camera |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210065647A (en) | 2019-11-27 | 2021-06-04 | 한국전력공사 | MULTI CAMERA FIXING DEVICE and VIDEO MONITORING SYSTEM using it |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101119084B1 (en) * | 2011-07-13 | 2012-03-15 | (주)블루비스 | System for managementing video data using metadata and method thereof |
KR101679318B1 (en) * | 2014-12-30 | 2016-11-24 | 주식회사 펀진 | Object Tracking System |
KR101977635B1 (en) * | 2017-11-20 | 2019-05-13 | 한국항공대학교산학협력단 | Multi-camera based aerial-view 360-degree video stitching and object detection method and device |
KR102298063B1 (en) * | 2021-02-17 | 2021-09-02 | 임정석 | Smart security drone system linked to cctv |
KR102347026B1 (en) * | 2021-09-30 | 2022-01-04 | 주식회사 넥스트케이 | Video analysis device using a multi camera consisting of a plurality of fixed cameras |
-
2022
- 2022-04-27 KR KR1020220052137A patent/KR20230152410A/en not_active Application Discontinuation
- 2022-04-28 WO PCT/KR2022/006096 patent/WO2023210839A1/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210065647A (en) | 2019-11-27 | 2021-06-04 | 한국전력공사 | MULTI CAMERA FIXING DEVICE and VIDEO MONITORING SYSTEM using it |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102674825B1 (en) * | 2023-12-13 | 2024-06-13 | 주식회사 인텔리빅스 | Crowd Management Apparatus, Driving Method Thereof, and Crowd Management System by Using Fixed Cameras and PTZ Camera |
Also Published As
Publication number | Publication date |
---|---|
WO2023210839A1 (en) | 2023-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021253961A1 (en) | Intelligent visual perception system | |
US9928707B2 (en) | Surveillance system | |
KR101835552B1 (en) | Control center system of working environment for smart factory | |
KR101248054B1 (en) | Object tracking system for tracing path of object and method thereof | |
JP2006523043A (en) | Method and system for monitoring | |
KR101496390B1 (en) | System for Vehicle Number Detection | |
KR101743689B1 (en) | Method for image processing of integrated intelligence surveillance CCTV(closed circuit television) and integrated intelligence surveillance CCTV system | |
KR101136366B1 (en) | Auto object tracking system | |
KR102060045B1 (en) | Fire detector and system capable of measuring heat distribution | |
KR20140127574A (en) | Fire detecting system using unmanned aerial vehicle for reducing of fire misinformation | |
KR101852058B1 (en) | unexpected accident detecting method using dual camera | |
KR101832274B1 (en) | System for crime prevention of intelligent type by video photographing and method for acting thereof | |
KR102434154B1 (en) | Method for tracking multi target in traffic image-monitoring-system | |
CN111914592B (en) | Multi-camera combined evidence obtaining method, device and system | |
CN113096337B (en) | Moving target identification processing method for complex background and intelligent security system | |
KR102347026B1 (en) | Video analysis device using a multi camera consisting of a plurality of fixed cameras | |
KR20230152410A (en) | Video analysis device using a multi camera consisting of a plurality of fixed cameras | |
KR101695127B1 (en) | Group action analysis method by image | |
KR101795798B1 (en) | Intelligent surveillance camera system | |
JP7314973B2 (en) | VIDEO MONITORING DEVICE, VIDEO MONITORING METHOD AND PROGRAM | |
KR101033237B1 (en) | Multi-function detecting system for vehicles and security using 360 deg. wide image and method of detecting thereof | |
KR20190136515A (en) | Vehicle recognition device | |
KR20230020184A (en) | Video analysis device using fixed camera and moving camera | |
KR20180099098A (en) | Fusion Type Image Monitoring System Camera with Movement Tracking Function of Shooting Target | |
KR102630275B1 (en) | Multi-camera fire detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |