KR20230152410A - 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치 - Google Patents

다중 카메라 및 이동 카메라를 이용한 영상 분석 장치 Download PDF

Info

Publication number
KR20230152410A
KR20230152410A KR1020220052137A KR20220052137A KR20230152410A KR 20230152410 A KR20230152410 A KR 20230152410A KR 1020220052137 A KR1020220052137 A KR 1020220052137A KR 20220052137 A KR20220052137 A KR 20220052137A KR 20230152410 A KR20230152410 A KR 20230152410A
Authority
KR
South Korea
Prior art keywords
camera
image
moving
cameras
event
Prior art date
Application number
KR1020220052137A
Other languages
English (en)
Inventor
고현준
Original Assignee
주식회사 넥스트케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스트케이 filed Critical 주식회사 넥스트케이
Priority to KR1020220052137A priority Critical patent/KR20230152410A/ko
Priority to PCT/KR2022/006096 priority patent/WO2023210839A1/ko
Publication of KR20230152410A publication Critical patent/KR20230152410A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 개시된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함할 수 있다.

Description

다중 카메라 및 이동 카메라를 이용한 영상 분석 장치{Video analysis device using a multi camera consisting of a plurality of fixed cameras}
본 발명은 다중 카메라 및 이동 카메라로 촬영한 영상을 분석하는 기술에 관한 것이다.
본 발명은 과학기술정보통신부(과제관리기관: 경기도경제과학진흥원)의 지원으로 2021년 10월 1일부터 2022년 4월 30일에 수행된 'AI 기술실증 테스트베드 연계 실증 지원사업: AI 영상분석과 로봇 융복합 생활안전 하이브리드 솔루션'(과제번호 X2121007)의 결과물이다.
감시 카메라는 소정 영역을 감시할 목적으로 설치된다. 감시하려는 영역이 감시 카메라가 커버할 수 있는 범위보다 크면, 회전할 수 있는 PTZ 카메라가 설치될 수 있다. 회전, 틸트 및 줌이 가능하므로, PTZ 카메라가 촬영할 수 있는 감시 영역은 특정 방향을 향하도록 고정된 고정 카메라가 촬영할 수 있는 감시 영역보다 넓다. 하지만 PTZ 카메라는 고정 카메라에 비해 상대적으로 고가이다. 한편, PTZ 카메라는 회전하기 때문에, PTZ 카메라가 현재 촬영하고 있는 영역의 주변은 촬영되지 않는다. 이로 인해, 고정 카메라와 PTZ 카메라로 구성된 CCTV 카메라 1식이 선호되고 있다.
한국 공개특허공보 제10-2021-0065647호
본 발명의 실시예는 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있는 다중 카메라를 이용하여 촬영한 복수의 카메라 영상을 하나의 고정 카메라가 촬영한 영상으로 취급하여 분석할 수 있는 방안을 제공하고자 한다. 즉, 감시 영역을 확장하면서도 그에 따른 비용 증가를 최소화할 수 있는 영상 분석 방안을 제공하고자 한다.
한편, 본 발명의 실시예는 다중 카메라에 의해 발생한 사각 영역을 이동 카메라를 이용하여 촬영할 수 있는 영상 분석 장치를 제공하고자 한다.
또한 본 발명의 실시예는 다중 카메라에 의해 검출된 이벤트의 발생 위치로 이동 카메라를 이동시킬 수 있는 영상 분석 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다.
일 실시예로, 상기 영상 분석 모듈은 상기 다중 카메라 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 이동 카메라 영상에서 상기 제3 객체를 식별하는 객체 검출부, 상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부, 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부 및 상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함할 수 있다.
일 실시예로, 상기 이벤트 검출부는 상기 다중 카메라 영상 및 상기 이동 카메라 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부 및 상기 다중 카메라 영상 및 상기 이동 카메라 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함할 수 있다.
일 실시예로, 상기 이동 카메라는 비행 드론 및 로봇 중 어느 하나에 장착되며, 상기 이동 제어부는 상기 이동 카메라가 상기 제3 객체를 향해 이동하는 경로를 설정할 수 있다.
일 실시예로, 상기 이동 제어부는 상기 다중 카메라 및 시야 방해물 중 어느 하나 또는 모두에 의해 정의된 사각 영역을 촬영하도록 상기 이동 카메라의 경로를 설정할 수 있다.
일 실시예로, 상기 영상 데이터 처리 모듈은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상을 이미지 스티칭에 의해 결합하여 상기 다중 카메라 영상으로 변환할 수 있다.
일 실시예로, 상기 다중 카메라 영상은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상이며, 상기 복수의 고정 카메라 영상은 상기 복수의 개별 감시 영역 사이의 공간적 관계를 학습한 상기 객체 식별부 및 상기 객체 추적부에 의해 단일 영상으로 취급될 수 있다.
본 발명의 다른 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는, 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 상기 확장 감시 영역에 포함되지 않은 사각 영역을 촬영하도록 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈 및 상기 다중 카메라 영상에서, 분석 가능한 제1 객체를 검출 및 추적하고, 상기 이동 카메라 영상에서 분석 가능한 제2 객체를 검출 및 추적하고, 상기 제1 객체의 움직임 및 상기 제2 객체의 움직임 중 어느 하나 또는 모두를 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다.
일 실시예로, 상기 영상 분석 모듈은 상기 다중 카메라 영상에서 상기 제1 객체 및 상기 이동 카메라 영상에서 상기 제2 객체를 검출하는 객체 검출부, 상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제2 객체의 움직임을 추적하는 객체 추적부, 상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부 및 상기 제1 객체의 움직임 및 상기 제2 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함할 수 있다.
일 실시예로, 상기 제1 객체가 상기 사각 영역에 진입하면, 상기 객체 검출부는 상기 이동 카메라 영상에서 상기 제1 객체에 대응하는 제3 객체를 검출하며, 상기 객체 추적부는 상기 이동 카메라 영상에서 상기 제3 객체를 추적할 수 있다.
본 발명의 또 다른 측면에 따르면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템이 제공된다. 영상 분석 시스템은 감시 공간 내에 설치된 다중 카메라로부터 수신한 다중 카메라 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 제1 지능형 에지장치 및 이동 수단에 탑재되어 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며, 이동 카메라 영상을 분석하여 제2 메타 데이터를 생성하는 제2 지능형 에지장치를 포함할 수 있다. 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고, 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성될 수 있다.
일 실시예로, 영상 분석 시스템은 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상분석장치를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 다중 카메라가 생성한 복수의 카메라 영상을 소프트웨어적으로 처리함으로써, 개별 감시 영역을 가진 복수의 고정 카메라를 하나의 확장 감시 영역을 가진 카메라와 같이 활용할 수 있게 되어 비용 대비 효율이 극대화될 수 있다. 특히, 복수의 카메라 영상이 현장에서 분석되기 때문에, 원격지에 위치한 영상분석장치로 전송하기 위해 필요한 통신 자원 역시 크게 감소될 수 있다.
특히, 넓은 감시 공간을 감시하기 위해 많은 다중 카메라 또는 고정 카메라를 설치하는 대신, 다중 카메라와 이동 카메라를 함께 이용함으로써, 넓은 감시 공간을 효율적으로 효율적으로 감시할 수 있다. 특히, 다중 카메라의 사각 영역은 이동 카메라로 촬영할 수 있어서, 감시 공간 전체를 완벽하게 감시할 수 있게 된다.
또한, 본 발명의 실시예에 따르면 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있어서, 설치 비용이 크게 감소된다. 1대의 PTZ 카메라 또는 CCTV 카메라 1식과 달리, 복수의 고정 카메라로 구성된 다중 카메라의 감시 영역에서는 사각 영역이 일시적으로 발생하지 않는다.
이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 공지의 CCTV 카메라 1식에 의한 감시 영역을 예시적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 다중 카메라를 예시적으로 도시한 도면이다.
도 3은 상이한 화각을 가진 복수의 고정 카메라로 구성된 다중 카메라 및 확장 감시 영역을 예시적으로 도시한 도면이다.
도 4는 다중 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
도 5는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 6은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 7은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 8은 다층 건물의 내부에서 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다.
도 9는 다중 카메라 및 이동 카메라로 화재 발생을 감지하며, 이에 대응하는 과정을 예시적으로 도시한 도면이다.
도 10은 다층 건물의 내부에서 화재 발생시 이동 카메라를 이용한 화재 대응을 예시적으로 도시한 도면이다.
도 11은 고도화된 화재 오검지 조건을 적용한 화재 검출 방식을 예시적으로 설명하기 위한 도면이다.
도 12는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 13은 도 12에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.
첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다. 한편, 설명의 편의와 이해를 돕기 위해서, 도면은 다소 과장하여 도시되었다.
도 1은 공지의 CCTV 카메라 1식에 의한 감시 영역을 예시적으로 도시한 도면이며, 도 2는 본 발명의 실시예에 따른 다중 카메라를 예시적으로 도시한 도면으로, 다중 카메라에 의한 확장 감시 영역을 나타낸다.
도 1을 참조하면, CCTV 카메라는 안전 또는 보안 목적으로 특정 영역(이하 감시 영역)을 촬영하여 감시 영상을 출력한다. 일반적으로 사용되는 CCTV 카메라 1식은 1대의 고정 카메라(10a)와 1대의 PTZ(Pan tilt zoom) 카메라(10b)로 구성된다. 고정 카메라(10a)에 의해 촬영되는 감시 영역(11a)은 고정적이며 변경되지 않는다. 따라서 검출된 객체가 감시 영역(11a)에서 이탈하면 더 이상 객체 추적이 불가능하게 된다. PTZ 카메라(10b)는 회전(Pan), 기울기 조절(Tilt), 확대(Zoom) 기능을 가지고 있어서, PTZ 카메라(10b)에 의해 촬영되는 감시 영역(11b, 11b')은 변경이 가능하다. 즉, PTZ 카메라(10b)는 감시 영역(11a)을 이탈한 객체를 촬영할 수 있다.
CCTV 카메라 1식은 2대의 카메라를 이용하여 상대적으로 넓은 감시 영역을 커버할 수 있는 장점을 가진다. 하지만 PTZ 카메라(10b)의 가격은 고정 카메라(10a)보다 상대적으로 고가이다. 따라서 PTZ 카메라(10b)를 필요한 수량만큼 설치하려면 상당한 비용이 든다. 특히, CCTV 카메라 1식이 상대적으로 넓은 감시 영역을 커버할 순 있지만, 동시에 감시 영역 전체를 커버하지 못한다. 도시된 예에서, PTZ 카메라(10b)의 감시 영역(11b)이 감시 영역(11a)의 좌측에 위치한 시점에서, 감시 영역(11b')을 감시할 수 없게 된다. 유사하게, PTZ 카메라(10b)가 반시계 방향으로 회전하여 감시 영역(11b')을 촬영하는 동안, 감시 영역(11b)을 감시할 수 없다.
도 2를 참조하면, 다중 카메라(20)는 복수의 고정 카메라(20a, 20b, 20c)로 구성된다. 고정 카메라(20a, 20b, 20c)가 촬영할 수 있는 영역을 개별 감시 영역(21a, 21b, 21c)이라고 정의한다. 동일 사양을 가진 고정 카메라(20a, 20b, 20c)의 광축 사이의 각도(이하 카메라 사이각)에 의해 개별 감시 영역(21a, 21b, 21c)간 관계도 정의될 수 있다. 제2 고정 카메라(20b)의 제2 개별 감시 영역(21b)은 제1 고정 카메라(20a)의 제1 개별 감시 영역(21a)을 카메라 사이각 만큼 회전시킨 것과 실질적으로 동일할 수 있다. 동일한 관계는 제2 개별 감시 영역(21b)와 제3 개별 감시 영역(21c)간에도 성립될 수 있다. 따라서 확장 감시 영역(21)은 카메라 사이각만큼 회전된 복수의 고정 카메라(20a, 20b, 20c)의 개별 감시 영역들로 구성된다. 다시 말해, 다중 카메라(20)가 촬영할 수 있는 영역을 확장 감시 영역(21)이라고 정의한다. 하나의 확장 감시 영역(21)을 구성하는 복수의 개별 감시 영역(21a, 21b, 21c)은 이웃하는 개별 감시 영역과 부분적으로 중첩되거나 이격될 수 있다. 중첩되는 면적 또는 이격 거리는 카메라 사이각에 의해 조절될 수 있다.
다중 카메라(20)는 다중 카메라 영상을 생성한다. 일 실시예로, 다중 카메라 영상은 복수의 고정 카메라 영상의 집합이며, 하나의 고정 카메라 영상은 하나의 개별 감시 영역에 대응한다. 다만, 영상들의 단순한 집합과 달리, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상들은 개별 감시 영역들 사이의 공간적 관계를 반영한다. 다른 실시예로, 다중 카메라 영상은 확장 감시 영역 전체를 커버하는 단일 영상일 수 있다. 다중 카메라 영상은, 예를 들어, 복수의 고정 카메라 영상을 이미지 스티칭을 적용하여 결합한 단일 영상(이하 스티칭된 단일 영상)일 수 있다. 이미지 스티칭 적용을 위해서도, 개별 감시 영역들 사이의 공간적 관계가 참조될 수 있다. 이하에서는 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우를 중심으로 설명한다.
공간적 관계는 지능형 에지장치, 예를 들어, 객체 검출부 및 객체 추적부에 의해 학습될 수 있다. 학습된 지능형 에지장치는 스티칭된 단일 영상뿐 아니라 공간적 관계를 가진 복수의 고정 카메라 영상을 단일 영상으로 취급할 수 있게 된다. 이로 인해, 둘 이상의 개별 감시 영역에서 동일한 객체를 찾기 위한 필요한 연산량이 크게 감소될 수 있다. 공간적 관계는 카메라 사이각에 의해 기본적으로 결정될 수 있으며, 예를 들어, 개별 감시 영역간 중첩 영역의 형상/면적/위치, 개별 감시 영역간 사각 영역의 형상/면적/위치 또는 개별 감시 영역의 경계간 이격 거리 등일 수 있다.
도 3은 상이한 화각을 가진 복수의 고정 카메라로 구성된 다중 카메라 및 확장 감시 영역을 예시적으로 도시한 도면이다.
도 3을 참조하면, 상이한 화각을 가진 복수의 고정 카메라로 다중 카메라를 구성한 경우의 확장 감시 영역이 예시되어 있다. 고정 카메라의 화각은 렌즈에 의해 결정된다. 널리 사용되는 4.0 mm 고정 초점 렌즈를 가진 고정 카메라(20d)의 경우 좌우 약 70도 및 상하 약 50도의 화각을 가지며, 전방으로 약 10M까지는 객체를 명확하게 식별 가능하게 촬영할 수 있는 유효 감시 영역(22d)를 가지지만, 그 이상의 거리에 있는 객체는 존재 여부 정도만 확인할 수 있다. 따라서 보다 먼 거리에 위치한 객체를 식별 가능하게 촬영하려면 초점 거리가 긴 렌즈를 사용하여야 하며, 그 경우 고정 카메라의 화각은 크게 감소한다. 예를 들어 8.0 mm 고정 초점 렌즈를 가진 고정 카메라(20e)는 약 10M 내지 20M에 위치한 객체를 식별 가능하게 촬영할 수 있는 유효 감시 영역(22e)를 가지지만, 화각은 약 40도 이하이다. 즉, 고정 카메라(20e)의 경우, 약 10M까지의 영역은 객체 식별이 용이하지 않은 무효 영역(23e)일 수 있다. 본 명세서에서 지칭하는 확장 감시 영역 및 개별 감시 영역은 영상 분석을 통해 객체를 명확하게 검출 및 추적할 수 있는 유효 감시 영역이다. 따라서 개별 감시 영역은 고정 카메라가 촬영할 수 있는 최대 범위의 영역보다는 상대적으로 작을 수 있다.
도 2에 예시된 확장 감시 영역(21)과 달리, 도 3에 예시된 확장 감시 영역(25)은 개별 감시 영역, 보다 정확하게는, 유효 감시 영역(22d, 22e)을 방사상으로 배치하여 형성될 수 있다. 이로 인해, 고정 카메라(20d)로만 구성된 다중 카메라는 검출할 수 없었던 먼 거리에 위치한 객체의 검출도 가능해진다. 같은 맥락으로, 고정 카메라(20e)로만 구성된 다중 카메라는 검출할 수 없었던 가까운 거리에 위치한 객체의 검출 역시 가능해질 수 있다. 한편, 중첩 영역(22d')은 개별 감시 영역을 방사상으로 배치하는 경우에도 발생할 수 있으며, 개별 감시 영역간 공간적 관계로 취급될 수 있다.
공지의 CCTV 카메라 1식과 비교하면, 다중 카메라는 사각 영역을 최소화할 수 있다. CCTV 카메라 1식의 경우, 회전하는 PTZ 카메라의 시야에서 벗어난 영역은 일시적으로 사각 영역이 될 수 있다. 이에 반해 다중 카메라는 복수의 개별 감시 영역 전부를 동시에 촬영하므로, 일시적인 사각 영역이 발생하지 않는다. 따라서 다중 카메라는 동등 또는 보다 넓은 영역을 CCTV 카메라 1식보다 상대적으로 적은 비용으로 일시적인 사각 영역의 발생 없이 촬영할 수 있다.
도 4는 다중 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
다중 카메라 및 이동 카메라를 이용한 영상 분석은 다중 카메라 영상에서 검출된 객체를 이동 카메라도 촬영하여 객체 관련 이벤트를 검출(이하에서, 연속 추적이라 함)하거나, 다중 카메라가 촬영할 수 없는 사각 영역에 위치한 객체를 검출(이하에서, 확장 추적이라 함)하는 방식이다. 연속 추적은 다중 카메라 영상에서 검출된 동일 객체를 촬영하도록 이동 카메라를 탑재한 비행 드론 또는 로봇을 객체를 향해 이동시켜 촬영하는 방식이다. 확장 추적은 다중 카메라의 사각 영역을 이동 카메라가 경로를 따라 이동하면서 촬영하여 감시 공간에서 사각 영역을 실질적으로 제거하는 방식이다. 연속 추적과 확장 추적은 독립적으로 수행될 수 있지만, 필요한 경우 확장 추적중인 이동 카메라가 연속 추적을 수행할 수도 있다. 이하에서, 이동 카메라는 비행 드론, 로봇 이외에도 다양한 이동 수단에 탑재될 수 있으며 비행 드론 또는 로봇은 이동 카메라를 지정된 위치로 이동시키기 위한 이동 수단이므로, 이하에서는 필요한 경우가 아니면 이동 카메라의 이동 수단을 언급하지 않는다.
도 4를 참조하면, 감시 공간(30)은 4대의 고정 카메라(20a, 20b, 20c, 20d)로 구성된 1대의 다중 카메라(20) 및 2대의 이동 카메라 R1, R2에 의해 감시된다. 사각 영역(31a)은 다중 카메라(20)로 인해 발생된 사각 영역이며, 사각 영역(31b, 31c)은 시야 방해물에 의해 발생한 사각 영역이다.
다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)는 복수의 확장 감시 영역(21)에서 동일한 객체 및 이벤트를 검출하기 위한 다중 카메라 영상(33)을 출력한다. 다중 카메라 영상(33)은 스티칭된 단일 영상 및 복수의 고정 카메라 영상 중 어느 하나일 수 있다. 만일 고정 카메라별 설정이 다르면, 객체 및 이벤트 검출에 소요되는 연산량이 증가하여, 영상 분석 효율이 감소될 수 있다. 이를 방지하기 위해서, 임의의 객체 또는 이벤트 검출이 설정되면, 설정된 이벤트 검출에 필요한 카메라 설정은 연동에 의해 다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d) 전체에 적용될 수 있다. 따라서 고정 카메라마다 카메라 설정을 개별적으로 변경할 필요가 없어진다.
다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)는 개별 감시 영역(21a, 21b, 21c, 21d)을 가진다. 다중 카메라(20)를 구성하는 복수의 고정 카메라(20a, 20b, 20c, 20d)의 사양이 실질적으로 동일하면, 복수의 개별 감시 영역(21a, 21b, 21c, 21d)도 실질적으로 동일하게 형성될 수 있다. 복수의 고정 카메라(20a, 20b, 20c, 20d)가 카메라 사이각 만큼 회전하면, 개별 감시 영역(21a, 21b, 21c, 21d)도 카메라 사이각 만큼 회전한다. 개별 감시 영역(21a, 21b, 21c, 21d)간의 공간적 관계를 고려하면, 복수의 고정 카메라 영상으로 구성된 다중 카메라 영상(33)도 확장 감시 영역(21) 전체를 나타내는 가로로 확장된 단일 영상으로 취급될 수 있다.
공지의 CCTV 카메라 1식과 달리, 개별 감시 영역 사이에 위치한 사각 영역(미도시)의 형상은 변경되지 않는다. 따라서 검출할 객체의 특성을 고려할 때, 사각 영역의 폭(즉, 두 개별 감시 영역 사이의 거리)이 지나치게 크지 않으면, 객체가 사각 영역에 일시적으로 진입하더라도 계속해서 추적할 수 있다.
연속 추적중인 이동 카메라 R1은 사람 객체들을 촬영하여 제1 이동 카메라 영상(34)을 생성한다. 사람 객체 ID#105는 확장 감시 영역(21)에 새로 진입했으며, 다중 카메라(20)는 사람 객체 ID#105의 얼굴을 촬영하지 못했다. 사각 영역(31a, 31b)을 촬영중인 2대의 이동 카메라 R1, R2 중에서 사람 객체 ID#105의 예상 이동 방향과 교차하는 경로로 이동중인 이동 카메라 R1이 선택될 수 있다. 이동 카메라 R1은 사람 객체 ID#105를 향해 이동하여 제2 영상(34)을 생성할 수 있다. 사람 객체 ID#105의 얼굴을 촬영하면, 이동 카메라 R1은 기존 경로로 되돌아갈 수 있다.
경로(32)를 따라 확장 추적중인 이동 카메라 R2는 사각 영역(31a)을 촬영하여 제2 이동 카메라 영상(35)을 생성한다. 사람 객체 ID#106은 사각 영역(31a)에 위치하며, 이로 인해 다중 카메라 영상(33)에 포함되지 않았다.
도 5는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
지능형 에지장치(100)는 다중 카메라(20) 및 이동 카메라(25)가 설치된 현장에 설치되어, 다중 카메라(20)에 의해 생성된 다중 카메라 영상 및 이동 카메라(25)에 의해 생성된 이동 카메라 영상을 1차 영상 분석하여 메타 데이터를 생성할 수 있다. 메타 데이터는 다중 카메라 영상 및 이동 카메라 영상에서 검출된 객체 및 객체 관련 이벤트 중 어느 하나에 대한 정보를 포함할 수 있다.
지능형 에지장치(100)는 다중 카메라(20)가 설치된 위치 및 현장 상황에 적합하게 학습하여 사각 영역을 파악하고, 이동 카메라(25)의 경로를 설정하여 사각 영역을 제거 또는 최소화하며, 이를 통해 다중 카메라 영상 및 이동 카메라 영상을 분석할 수 있다. 특히, 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상간 공간적 관계를 학습함으로써, 지능형 에지장치(100)는 다중 카메라 영상을 확장 감시 영역을 촬영한 단일 영상으로 취급할 수 있다.
지능형 에지장치(100)는, 예를 들어, 다양한 종류의 객체마다 설정된 이벤트를 검출하도록 학습될 수 있다. 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 2차 영상 분석될 수 있다. 1차 영상 분석은 학습된 이벤트를 다중 카메라 영상 및/또는 이동 카메라 영상에서 검출하는 분석을 포함할 수 있다. 2차 영상 분석은 지능형 에지장치(100)가 학습하지 않은 이벤트를 검출하거나, 다중 카메라 영상과 이동 카메라 영상간 관계를 고려하여 이벤트를 검출하기 위한 분석을 포함할 수 있다.
도 5를 참조하면, 다중 카메라(20) 및 이동 카메라(25)로부터 수신한 영상을 분석하는 지능형 에지장치(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 메타 데이터 전송 모듈(130)을 포함할 수 있다. 영상 데이터 처리 모듈(110)은 하나 이상의 다중 카메라(20) 및 하나 이상의 이동 카메라(25)로부터 영상을 수신하며, 수신한 영상을 영상 분석에 적합하게 전처리한다. 영상 분석 모듈(120)은 전처리된 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다.
영상 데이터 처리 모듈(110)과 영상 분석 모듈(120)은 모듈 형태의 소프트웨어일 수 있다. 지능형 에지장치(100)는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함한다. 영상 데이터 처리 모듈(110)과 영상 분석 모듈(120), 및 각 모듈에 포함된 서브 모듈들은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다.
다중 카메라(20)는 2차원 또는 3차원의 다중 카메라 영상을 생성한다. 이동 카메라(25)는 2차원 또는 3차원의 이동 카메라 영상을 생성하는 IP 카메라 등일 수 있다. 이동 카메라(25)는 비행 드론, 로봇 등과 같은 이동 수단에 장착되어 이동한다. 따라서 이동 카메라(25)의 촬영 범위는 이동 수단을 통해 변경 가능하다.
영상 데이터 처리 모듈(110)은 RTSP 클라이언트, 디코더 및 영상 전처리부를 포함할 수 있다. RTSP 클라이언트는 영상 전송 프로토콜, 예를 들어, RTSP(Real time streaming protocol)를 지원하는 통신 모뎀으로, 다중 카메라(20) 및 이동 카메라(25)로부터 영상 데이터를 수신한다. 디코더는 수신된 영상 데이터를 디코딩하여 영상을 복원한다. 영상 전처리부는 영상 분석에 적합하도록, 복원된 확장 영상 및 개별 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 추가적으로 또는 선택적으로, 영상 전처리부는 복수의 고정 카메라 영상을 스티칭된 단일 영상으로 변환할 수 있다. 디코더 및 영상 전처리부는 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다.
영상 분석 모듈(120)은 객체 검출부(121), 객체 추적부(122), 이동 제어부(123) 및 이벤트 검출부(124)를 포함할 수 있다. 객체 검출, 객체 식별 및 객체 추적은 분리할 수 없는 일련의 과정으로도 수행될 수 있음을 이해하여야 한다. 지능형 에지장치(100)에 둘 이상의 영상 분석 방식을 적용하기 위해서, 객체의 검출 및 추적은 독립적으로 수행될 수 있다. 이를 통해, 중복되거나 불필요한 연산이 감소되며, 동시에 둘 이상의 영상 분석 방식이 병행 또는 적응적으로 수행될 수 있다.
객체 검출부(121)는 전처리된 다중 카메라 영상 및 전처리된 이동 카메라 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류할 수 있다. 객체 검출부(121)는 예를 들어, 객체 이미지를 이용하여 학습된 객체 검출 모듈, 또는 객체를 표현한 템플릿을 이용하는 객체 검출 모듈일 수 있다. 특히, 객체 검출부(121)는 3차원 기하학 필터를 적용하여, 검출된 객체를 표현할 수 있는 3차원 좌표값을 결정할 수 있다. 결정된 3차원 좌표값을 이용하면, 검출된 객체는 3차원 도형으로 영상에 표출되거나 객체 추적에 이용될 수 있다. 또한, 객체 검출부(121)는 환경 필터를 적용하여, 영상에서 노이즈를 제거할 수 있다.
복수의 개별 감시 영역을 통해 확장 감시 영역을 효율적으로 감시하기 위해서는, 확장 감시 영역을 한 대의 카메라에 의해 촬영된 단일 영역으로 취급하는 방식이 적용될 수 있다. 다중 카메라 영상이 복수의 고정 카메라 영상의 집합인 경우, 확장 감시 영역을 단일 영역처럼 처리하기 위해서, 동일 객체를 복수의 고정 카메라 영상에서 식별하며 추적할 수 있어야 한다. 객체가 개별 감시 영역 내에서 움직이는 동안에는 공지의 객체 추적 방식, 예를 들어, 객체의 움직임 예측을 통한 추적 방식, 객체의 속성 비교를 통한 추적 방식 등이 적용될 수 있다. 한편, 객체가 연속한 개별 감시 영역 중 하나로부터 이탈하기 시작하면, 하나의 확장 감시 영역을 구성하는 복수의 개별 감시 영역들 사이의 공간적 관계를 이용하여 객체를 식별 및 추적할 수 있다. 이를 통해, 연속된 두 카메라 영상에 표출된 객체의 동일 여부가 신속하게 결정될 수 있도록 한다.
객체 추적부(122)는 검출된 객체의 움직임을 추적한다. 객체 추적부(122)는 객체의 움직임 예측을 통해 객체를 추적하거나, 객체의 속성을 비교하여 객체를 추적할 수 있다. 객체 추적 방식은 제1 영상(또는 프레임)에서 검출된 객체의 움직임을 예측하거나 속성을 검출하고, 이를 제2 영상(또는 프레임)에서 검출된 객체와 비교하여 두 객체가 동일 객체인지를 판단한다. 영상을 구성하는 매크로 블록 단위로 비교하여 객체의 움직임을 추적하거나 영상에서 배경을 제거하여 객체만 영상에 남도록 하여 객체 검출 및 움직임을 추적하는 방식 등과 같이, 다양한 객체 추적 방식이 적용될 수 있다.
객체 추적부(122)는 다중 카메라 영상 및 이동 카메라 영상에서 동일 객체를 검출할 수 있다. 하나 이상의 다중 카메라(20) 및 하나 이상의 이동 카메라(25)에 의해 감시되는 공간에서, 동일 객체는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상 중 일부에, 또는 다중 카메라 영상과 이동 카메라 영상에 동시에 표출될 수 있다. 일 실시예로, 객체 검출부(122)는 개별 감시 영역간 공간적 관계를 참고하여 둘 이상의 고정 카메라 영상에 표출된 동일 객체를 검출할 수 있다. 다른 실시예로, 객체 검출부(122)는, 딥러닝 분석을 통해, 검출된 객체의 속성을 추출하며, 추출한 객체의 속성을 비교하여, 두 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 예를 들어, 두 객체가 서로 일치할 확률(이하 유사도)이 표출되거나, 제1 영상의 분석 결과로 부여되었던 객체 식별자가 제2 영상에서 검출된 객체에 다시 부여될 수 있다.
객체 추적부(122)는 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 이용할 수 있다. 사람 객체의 경우, 객체 추적부(122)는 예를 들어, 시각적 특징, 얼굴 특징, 걸음 걸이 특징 등을 이용하여 사람 객체를 재인식할 수 있다. 시각적 특징으로는, 사람 객체의 키, 착용한 옷의 종류나 색깔 등이 이용될 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.
이동 제어부(123)는 이동 카메라(25)가 이동하는 경로를 결정한다. 이동 카메라(25)는 미리 설정된 경로를 따라 이동하거나 장애물을 피해서 이동할 수 있다. 이동 카메라(25)의 경로는 다중 카메라 영상에서 연속 추적할 객체 검출시 변경될 수 있다. 연속 추적할 객체는 영상 분석을 위한 속성을 획득하지 못한 객체, 이상 행위를 하는 객체, 사각 영역에 진입하여 더 이상 추적할 수 없는 객체 또는 다중 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다. 이동 제어부(123)는 연속 추적할 객체의 위치 및 이동 카메라(25)의 위치를 산출하여 연속 추적할 객체를 향하도록 이동 카메라(25)의 경로를 변경할 수 있다.
영상 분석 모듈(120)은 이벤트 조건에 부합하는 이벤트를 검출하는 이벤트 검출부(124)를 포함할 수 있다. 이벤트 검출부(124)는 검출된 객체, 객체의 움직임, 및 객체의 주변 환경 중 어느 하나 또는 이들의 조합에 기초하여, 이벤트 조건에 부합하는 이벤트를 검출한다. 이벤트 검출부(124)는 둘 이상의 상이한 영상 분석 방식으로 구동할 수 있다. 예를 들어, 딥러닝 기반 이벤트 검출부는 검출된 객체의 속성을 추출하고, 속성에 기초하여 설정된 이벤트 조건에 부합하는지를 판단하며, 룰 기반 이벤트 검출부는 관심 영역에서 객체의 움직임에 기초하여 이벤트 조건에 부합하는 이벤트를 검출한다. 한편, 딥러닝 분석에 의해 제1 이벤트 조건에 부합하는 객체는 룰 기반 분석에 전달되어, 제2 이벤트 조건에 부합하는지 판단될 수 있다. 딥러닝 방식으로 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 딥러닝 기반 이벤트 검출부도 복수일 수 있다. 동일하게, 룰 기반 방식을 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 룰 기반 이벤트 검출부도 복수개일 수 있다.
메타 데이터 전송 모듈(130)은 영상분석모듈(120)이 생성한 메타 데이터를 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송한다. 추가적으로, 메타 데이터 전송 모듈(130)은 환경 센서(도 8의 50 참조)가 생성한 측정 데이터 또는 측정 데이터에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송할 수 있다.
통신망(40)은 메타 데이터의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC, LTE, 와이브로 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.
에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 지능형 에지 장치(100)의 이벤트 검출 모듈을 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(100)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다.
도 6은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
S10에서, 하나 이상의 다중 카메라(20)가 감시 공간을 촬영하여 다중 카메라 영상을 생성하며, 다중 카메라 영상은 영상 분석 모듈(120)에 의해 분석된다. 영상 분석 모듈(120)의 객체 검출부(121)는 다중 카메라 영상에 표출된 하나 이상의 객체를 검출하며, 객체 추적부(122)는 검출된 객체의 움직임을 추적한다.
S11에서, 연속 추적할 객체를 검출하며 그 객체의 위치를 산출한다. 연속 추적할 객체는 객체 검출부(121), 객체 추적부(122), 이벤트 검출부(124) 중 어느 하나에 의해 결정될 수 있다. 연속 추적할 객체의 일 예는 영상 분석을 위한 속성을 획득하지 못한 객체일 수 있으며, 예를 들어, 사람 객체의 식별에 필요한 얼굴 정면을 다중 카메라 영상 또는 다중 카메라 영상을 구성하는 복수의 고정 카메라 영상을 통해 획득하지 못하면, 연속 추적할 객체로 분류한다. 연속 추적할 객체의 다른 예는 다중 카메라 영상을 분석하여 추적이 필요한 객체 관련 이벤트, 즉, 이상 행위가 검출된 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 사각 영역에 진입하여 더 이상 추적할 수 없는 객체이며, 다중 카메라 영상에서 더 이상 검출되지 않는 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 다중 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다.
이벤트 분류 설명
이기종 객체 분류 카메라에서 검출되는 객체(object)의 종류가 다른 속성값을 분류 및 통합이벤트 검출
불법주정차 차가 주차되지 말아야 할 곳에 정지 되어있는 경우 일정 시간이 지체되었을 때 검출
속도 및 위치 카메라가 설치되어있는 지점 기준 차가 주행될 때 차량의 속도 및 위치값 표출
통행량 및 혼잡도 도로 내 차의 밀집도 및 카운팅 검출
불법 유턴 및 역주행 도로 내 차의 방향성을 검지하여 불법 유턴 및 역주행 검출
좌회전감응 좌회전 신호를 기다리는 차가 일정 시간이상 대기하고 있을시 신호와 연계하여 좌회전 신호 표출
피플카운팅 및 혼잡도 특정 구역을 출입하는 인원에 대한 카운팅 및 일정 인원 이상 출입에 의한 혼잡도 검출
침입 무단침입, 불법 침입 또는 출입 금지 구역에 비인가자가 출입하는 순간 검출
체류 검출된 객체가 일정 시간 같은 자리에서 계속 검출될 때 체류 상황으로 판단
배회 사람 객체 검출 후 특정 이벤트 없이 일정 시간 이상 배회, 서성거림 등 의심스러운 행동 검출
유기 검출된 사람 객체로부터 분리된 새로운 객체 검출
쓰러짐 걷다가 또는 서 있다가 바닥으로 쓰러지는 행동으로 머리가 바닥에 닿았을 때 쓰러짐으로 검출
얼굴인식 및 검출 카메라 영상에서 사람의 얼굴을 인식하고 얼굴 특징점(FFV)을 추출하는 기능
유사도 분석 카메라 영상에서 검출된 얼굴의 특징점과 DB에 저장된 얼굴DB와 유사도를 비교하여 인가/비인가자를 검출
연속 추적할 객체의 지리적 위치는 다중 카메라(20)의 위치, 높이, 틸트(tilt) 각도 등을 이용하여 다양한 방식으로 산출될 수 있다. 이동 카메라(25)의 이동 목적지는 연속 추적 유형에 따라 결정될 수 있다. 사각 영역에 진입한 객체의 경우, 해당 객체가 사라지기 직전까지 검출된 지점을 이동 카메라(25)의 이동 목적지로 결정하여 위치를 산출할 수 있다. 객체가 사각 영역에 진입한 경우를 제외하면, 연속 추적할 객체는 다중 카메라 영상에서 검출되고 있으며, 따라서 이동 카메라(25)의 이동 목적지는 객체의 현재 위치이다.S12에서, 이동 카메라(25)의 위치를 산출하고 연속 추적할 객체까지의 경로를 설정한다. 이동 카메라(25)의 위치는 다양한 측위 방식을 통해 산출될 수 있다. 실외의 경우, GPS(Global positioning system) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC(Visible light communication) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 둘 이상의 이동 카메라(25)가 활용 가능한 경우, 연속 추적할 객체까지의 이동 시간이 짧은 위치에 있는 이동 카메라(25)가 선택될 수 있다.
이동 카메라(25)의 위치가 산출되면, 연속 추적할 객체까지의 경로가 설정될 수 있다. 경로는 이동 카메라(25)가 탑재된 이동 수단의 유형 또는 이동 속도뿐 아니라 주변의 방해물의 위치를 고려하여 결정될 수 있다. 예를 들어, 비행 드론의 경로는 이동 카메라(25)의 현재 위치로부터 연속 추적할 객체의 위치까지 대부분 직선이며, 경로 중간에 위치한 방해물 주변으로 우회하도록 결정될 수 있다.
S13에서, 이동 카메라(25)는 경로를 따라 이동하여 목적지에 도착하며 이동 카메라 영상을 생성한다. 영상 분석 모듈(200)은 다중 카메라 영상에서 검출된 연속 추적할 객체와 동일한 객체를 이동 카메라 영상에서 식별한다. 객체의 속성을 획득하기 위한 연속 추적의 경우, 사람 객체의 얼굴 정면을 촬영한 후 연속 추적은 종료된다. 반면 이상 행위를 한 객체에 대한 연속 추적은 이동 카메라 영상에서 객체가 식별된 이후에도 계속될 수 있다.
S14에서, 다중 카메라 영상 및 이동 카메라 영상에서 검출 및 추적한 객체에 대한 메타 데이터가 생성되며, 생성된 메타 데이터는 영상 분석에 이용될 수 있다.
도 7은 다중 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이며, 도 8은 다층 건물의 내부에서 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다. 각 층은 하나의 감시 영역이며, 각 층마다 설치된 다중 카메라(20) 및 이동 카메라(25)는 유선 또는 무선으로 지능형 에지장치(100)와 통신할 수 있다. 지능형 에지장치(100)는 각 층마다 설치된 환경 센서(50)가 환경 변수를 측정하여 생성한 측정 데이터를 수신할 수 있다. 환경 변수는, 예를 들어, 온도, 습도, 조도, 가스 농도, 미세먼지 농도 등 일 수 있으며, 환경 센서(50)는 예를 들어 온도 센서, 습도 센서, 조도 센서, 가스 센서, 먼지 센서, 화재 감지 센서 등일 수 있다. 화재 감시 센서는 열, 연기, 불꽃 등을 검출할 수 있다.
도 7 내지 도 8을 함께 참조하면, S20에서 감시 공간마다 다중 카메라(20)의 확장 감시 영역(21)을 잠정적으로 결정한다. 위치, 높이, 틸트 각도, 카메라 사이각 등 확장 감시 영역(21)에 영향을 미치는 요소들은 각 층에 설치된 다중 카메라(20)마다 상이할 수 있다. 감시 공간 맵은 확장 감시 영역(21) 및 다중 카메라(20) 자체에 의해 생성된 사각 영역(31a)을 표현할 수 있다. 예를 들어, 1층 전체가 확장 감시 영역(21)에 포함된다고 가정한다.
S21에서, 다중 카메라(20)의 시야를 가리는 시야 방해물(36)이 확장 감시 영역(21)에 존재하는지 판단한다. 시야 방해물(36)은 일시적으로 존재하거나 항상 존재할 수 있다. 시야 방해물(36)의 위치와 형태는 로봇이나 비행 드론에 탑재된 이동 카메라(25)에 의해 획득될 수 있다. 도 8에서, 벽이 1층 계단 좌측에 설치되어 있는 반면, 2층과 3층에는 시야 방해물이 존재하지 않는다.
S22에서, 시야 방해물(36)이 존재하면, 시야 방해물(36)로 인해 발생하는 새로운 사각 영역(31b)을 결정한다. 도 8에서, 1층 계단 좌측에 위치한 벽(36) 너머의 공간은 사각 영역(31b)이다. 반면, 시야 방해물(36)로 인한 사각 영역은 2층과 3층에서 발생하지 않는다.
S23에서, 새로운 사각 영역을 감시 공간 맵에 추가하여 감시 공간 맵을 완성한다.
S24에서, 이동 카메라의 경로를 감시 공간 맵에 포함된 하나 이상의 사각 영역을 촬영할 수 있도록 설정한다. 이동 카메라(25)의 경로(37)는 이동 수단의 유형, 이동 속도, 방해물의 위치와 형태, 및 이동 카메라(25)의 회전 가능 여부 중 어느 하나 또는 이들의 조합을 고려하여, 하나 이상의 사각 영역을 촬영할 수 있도록 설정된다. 예를 들어, 회전할 수 없는 이동 카메라의 경로와 회전할 수 있는 이동 카메라의 경로는 상이할 수 있다. 설정된 경로(37)는 감시 공간 맵에 반영된다. 이동 제어부(130)는 감시 공간 맵을 참조하여 이동 카메라(25)를 경로(37)를 따라 이동시킬 수 있으며, 연속 추적이 필요한 경우 이동 카메라(25)의 경로를 일시적으로 변경할 수 있다.
경로(37)가 설정된 감시 공간 맵을 생성하는 과정이 반드시 영상 분석 모듈(120)에 의해서만 수행되어야 하는 것은 아니며, 경로가 설정되지 않은 맵 또는 경로가 설정된 맵은 외부에서 생성된 후 영상 분석 모듈(120)에 전달될 수도 있다.
S25에서, 이동 카메라(25)는 경로(37)를 따라 이동하면서 이동 카메라 영상을 생성한다. 확장 추적시, 이동 카메라(25)는 이동 카메라 영상이 촬영된 위치를 나타내는 메타 데이터를 이동 카메라 영상에 기록하거나 이동 카메라 영상에 연관된 파일에 기록할 수 있다. 한편, 이동 카메라(25)는 이동 카메라 영상 촬영시 카메라 방향을 나타내는 메타 데이터를 이동 카메라 영상에 더 기록할 수 있다. 또한, 이동 수단이 비행 드론인 경우, 이동 카메라(25)는 비행 드론의 지상으로부터의 높이를 나타내는 메타 데이터를 이동 카메라 영상에 더 기록할 수 있다. 촬영 위치, 카메라 방향 및 촬영 높이는 변경될 때마다 이동 카메라 영상에 기록되며, 이를 통해 사각 영역에서 검출된 객체의 위치를 확정할 수 있게 된다.
S26에서, 확장 감시 영역(21)을 촬영한 다중 카메라 영상 및 확장 감시 영역(21)의 일부를 촬영한 이동 카메라 영상을 분석하여 객체 관련 이벤트를 검출한다. 다중 카메라 영상은 확장 감시 영역(21) 내에 위치한 객체들을 표출하며, 이동 카메라 영상은 사각 영역에 위치한 객체들을 표출한다.
도 9는 다중 카메라 및 이동 카메라로 화재 발생을 감지하며, 이에 대응하는 과정을 예시적으로 도시한 도면이며, 도 10은 다층 건물의 내부에서 화재 발생시 이동 카메라를 이용한 화재 대응을 예시적으로 도시한 도면이다.
화재 감지 센서(50)가 화재 신호를 발생한다. 화재 신호는 열, 연기, 및 불꽃 중 적어도 어느 하나로 검출되는 실제 화재로 인해 발생할 수 있지만(이하 실제 화재 신호), 단순한 온도 상승, 음식 조리시 생긴 연기, 또는 먼지와 같이 화재가 아님에도 발생할 수 있다(이하 오작동 화재 신호). 한편, 화재 신호는 화재 감지 센서(50) 고장시에도 발생할 수 있다. 따라서 화재 신호가 발생한 시점에서, 해당 화재 신호가 실제 화재 신호인지 아니면 오작동 화재 신호인지는 판단하기 어렵다. 또한, 복수의 화재 감지 센서(50)가 동일한 소방 중계기 또는 공통선을 통해 화재 신호를 소방 수신기에 전달하기 때문에, 화재가 발생한 구역을 파악할 수는 있지만, 해당 구역 내 어느 위치에서 화재가 발생하였는지는 파악할 수 없다.
도 9와 도 10을 함께 참조하면, S30에서, 관제 서버(300)가 화재 신호를 수신한다. 화재 신호를 수신하면, 관제 서버(300)는 화재 신호 수신 및 확인중임을 관제 단말에 표출할 수 있다.
지능형 에지장치(100)도 화재 신호를 수신할 수 있다. 지능형 에지장치(100)는 다중 카메라(20) 및 이동 카메라(25)뿐 아니라 건물에 설치된 환경 센서(50)로부터 측정 데이터를 직접 또는 간접적으로 수신할 수 있다. 화재 감지 센서도 일종의 환경 센서(50)이므로, 화재 신호도 지능형 에지장치(100)에 전달되도록 할 수 있다. 이하에서는 환경 센서를 화재 감지 센서라 지칭한다.
한편, 지능형 에지장치(100)는 영상 분석에 의해서도 화재를 감지할 수 있다. 지능형 에지장치(100)는 영상 내 특정 영역의 색 변화 등을 통해 화염, 연기 등을 감지할 수 있으며, 다양한 감지 기법이 소개되어 있다. 따라서 지능형 에지장치(100)가 화재를 감지하는 경로는 화재 신호에 한정되지 않는다.
S31에서, 지능형 에지장치(100)가 화재를 감지하면 화재가 발생한 구역에 배치된 다중 카메라(20) 및/또는 이동 카메라(25)를 파악하며, S32에서 다중 카메라 영상 및/또는 이동 카메라 영상을 수신한다. 화재가 발생한 구역을 화재 신호로부터 파악할 수 있으면, 지능형 에지장치(100)는 해당 층에 설치된 다중 카메라(20)가 생성한 다중 카메라 영상에서 화재 이벤트를 검출할 수 있다. 반면 화재가 발생한 구역을 파악할 수 없으면, 지능형 에지장치(100)는 화재 신호가 발생한 건물에 설치된 모든 카메라로부터 수신된 영상을 분석하여 화재 이벤트를 검출할 수 있다.
화재가 발생한 구역이 파악되면, 지능형 에지장치(100)는 이동 카메라(25)를 화재가 발생한 구역으로 이동시킨다. 다중 카메라(25)가 화재 발생 구역을 촬영할 수도 있다. 하지만, 다중 카메라(25)로부터 멀리 떨어지거나 사각 영역에서 발생한 화재의 진행 상황은 다중 카메라(20)만으로 감시하기 어려울 수 있다. 특히, 다중 카메라 영상만으로 화재가 다른 층으로 번지는 상황을 파악하기는 더욱 어려울 수 있다. 도 10에서, 1층에 화재가 발생하면, 1층 이동 카메라(25)는 화재 발생 구역으로 이동하여 화재를 촬영하기 시작한다. 한편, 화염이나 연기는 계단, 엘리베이터홀, 에어 덕트 등을 통해 다른 층으로 확산할 수 있다. 따라서 지능형 에지장치(100)는 2층 및 3층 이동 카메라들(25)을 화재가 영향을 미칠 수 있는 위치로 이동시켜 화재 진행 상황을 감시할 수 있다. 화재가 영향을 미칠 수 있는 위치가 복수이면, 지능형 에지장치(100)는 복수의 위치를 촬영할 수 있는 경로를 설정하며, 그 경로를 따라 이동하는 이동 카메라(25)가 생성한 이동 카메라 영상을 통해 화재 진행 상황을 감시할 수 있다.
한편, 화재가 발생한 위치가 일시적으로 이동 카메라(25)의 시야 밖에 있을 수 있다. 따라서 화재 발생을 감지하면, 지능형 에지장치(100)는 이동 카메라(25)가 시야 밖 영역을 스캔하도록 제어한다. 여기서 스캔은 카메라의 회전 및 틸팅 중 어느 하나 또는 모두를 수행하여 이동 카메라(25)가 촬영할 수 있는 공간의 적어도 일부 또는 전체를 촬영하는 동작이다.
S33에서, 지능형 에지장치(100)는 수신한 화재 신호가 실제 화재 신호인지 아니면 오작동 화재 신호인지를 1차 분석한다. 이를 위해서, 지능형 에지장치(100)는 다중 카메라 영상 및/또는 이동 카메라 영상에 고도화된 화재 오검지 조건을 적용한다. 지능형 에지장치(100)는 영상을 분석하여 메타 데이터를 생성하며, 이를 저장한다. 따라서, 지능형 에지장치(100)는 화재 신호를 수신한 시각을 기준으로 일정 시간 이전에 수신한 영상을 분석하여 획득한 메타 데이터에 고도화된 화재 오검지 조건을 적용하여 연기 또는 불꽃을 검출할 수 있다. 1차 분석 결과에 따라 이후 절차가 달라질 수 있다. 고도화된 화재 오검지 조건을 영상에 적용하여 분석하는 과정은 도 11을 참조하여 상세히 설명한다.
불꽃 및 연기 중 어느 하나가 검출되어 실제 화재 신호인 것으로 분석되면, 지능형 에지장치(100)는 화재가 발생한 위치를 특정할 수 있다. 영상에 표출된 객체의 지리적 위치는 다중 카메라(25)의 위치, 높이, 틸트 각도 등을 이용하여 다양한 방식을 이용하여 특정될 수 있다. 특정된 화재 발생 위치는 화재 검출을 나타내는 메타 데이터와 함께 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송될 수 있다. 한편, 지능형 에지장치(100)는 이동 카메라(25)가 화재를 지속적으로 촬영하도록 제어하여 화재의 확산속도, 확산방향, 불꽃의 크기를 검출하며, 이를 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송할 수 있다.
불꽃 및 연기 중 어느 하나도 검출되지 않아 오작동 화재 신호인 것으로 분석되면, 지능형 에지장치(100)는 오작동 화재 신호임을 나타내는 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(300)로 전송할 수 있다.
1차 분석 결과 화재 여부를 판단할 수 없으면, 지능형 에지장치(100)는 화재 신호가 발생한 구역에서 촬영된 영상 또는 스냅샷을 에지기반 영상분석장치(200)로 전송한다. 예를 들어, 불꽃이나 연기를 검출했지만 주변에 위치한 사람들의 움직임이 없으면, 화재가 발생했지만 진화했거나 진화 가능한 상황인지 아니면 음식 조리와 같이 화재가 발생하지 않은 상황인지를 판단하기 어렵다. 이 경우, 지능형 에지장치(100)는 영상 분석의 결과를 도출하지 못하는 영상 구간 또는 스냅샷을 에지기반 영상분석장치(200)로 전송할 수 있다.
S34에서, 에지기반 영상분석장치(200)는 지능형 에지장치(100)의 1차 분석 결과를 검증하거나 2차 분석하여 화재 신호의 유형을 확정한다. 실제 화재 신호임을 나타내는 메타 데이터 및 오작동 화재 신호임을 나타내는 메타 데이터를 수신하면, 에지기반 영상분석장치(200)는 메타 데이터를 2차 분석하여 지능형 에지장치(100)에 의한 분석 결과를 검증할 수 있다. 에지기반 영상분석장치(200)는 지능형 에지장치(100)에 비해 상대적으로 많은 컴퓨팅 파워 및 리소스를 활용할 수 있으므로, 지능형 에지장치(100)에서 적용된 이벤트 조건보다 더욱 상세한 이벤트 조건을 적용한 분석이 가능하다. 또한 에지기반 영상분석장치(200)는 학습된 이벤트 검출기로 검출할 수 없는 이벤트도 빅데이터를 활용하여 분석할 수 있다.
2차 분석 결과 오작동 화재 신호로 확정되면, 에지기반 영상분석장치(200)는 관제 서버(300)로 오작동 화재 신호를 통지한다. 오작동 화재 신호를 수신하면, 관제 서버(300)는 관제 단말에 표출한 화재 신호를 화재 감지기 오작동으로 변경한다.
반면 2차 분석 결과 실제 화재 신호로 확정되면, 에지기반 영상분석장치(200)는 관제 서버(300)로 실제 화재 신호를 통지한다. 실제 화재 신호를 수신하면, 관제 서버(300)는 관제 단말에 표출한 화재 신호를 화재 발생으로 변경하며 화재가 발생한 위치를 관제 단말에 표출한다.
도 11은 고도화된 화재 오검지 조건을 적용한 화재 검출 방식을 예시적으로 설명하기 위한 도면이다.
도 9에 예시된 방식은 화재 신호 발생 후 카메라 스캔을 통해 화재를 검출하는 방식이며, 도 11에 예시된 방식은 도 9의 화재 감지기 오작동 감지뿐 아니라 화재 신호가 발생하지 않는 상황에서도 화재를 감지할 수 있다. 따라서 도 11에 예시된 방식만 실행될 수 있다.
S40은 화재가 일어나지 않은 정상 상황에서 촬영한 영상이다. 고도화된 화재 오검지 조건은 그리드 기반 빅데이터 자가학습을 통해 화재 발생 판단의 정확도를 고도화할 수 있다. 영상은 m x n 그리드로 분할되며, 각 그리드별로 정상 프로파일이 생성될 수 있다. 정상 프로파일은 정상 상태에서만 식별되는 특징, 규칙 또는 주기적인 변화이며, 그리드별로 빅데이터 자가학습을 통해 결정될 수 있다. 예를 들어, 정상 프로파일은 시간에 따라 변하는 색상일 수 있다.
그리드 기반은 화면 전체에 대한 정상 프로파일보다 더 정확한 화재 검출을 가능하게 한다. 예시된 화면은 부엌을 촬영한 영상으로, 우측에 있는 가스 레인지는 음식 조리를 위해 불꽃이 자주 검출되는 반면, 그 외의 영역은 창문을 통해 들어오는 햇빛 및 반사된 조명에 의해 규칙적으로 밝기가 변화한다. 따라서 화면 전체에 대해 정상 프로파일을 생성하면, 화면의 일부에서만 검출되는 특징들이 평균화되어서 어느 한 특징의 변화가 화면 전체의 정상 프로파일에 미치는 영향이 미미해진다. 그에 반해, 그리드별로 정상 프로파일을 생성하면, 그리드간에 구분이 가능하여 어느 한 그리드에 생긴 변화를 정확하게 검출할 수 있게 된다. 예를 들어, 빅데이터 자가학습을 통해 가스 레인지가 포함된 그리드는 위험 영역으로 분류되며, 일정 범위 이하로 검출되는 불꽃은 정상 상태, 즉, 음식 조리에 의해 발생한 것으로 식별될 수 있다.
S41에서, 복수의 그리드 중에서 화재 후보영역이 검출된다. 화재 후보영역은 다양한 공지의 방식을 적용하여 검출될 수 있다. 예를 들어, 화재 후보영역은 색상정보를 이용하여 검출될 수 있다. 불꽃 또는 연기는 객체 유형을 특정할 수 없는 비정형이기 때문에 색상정보가 화재 검출에 주로 사용된다. 영상에서, 불꽃은 가장 밝으며, 불꽃 주변에는 적색 및 황색의 화염이 존재하는 특성을 가지며, 연기는 백색, 회색 또는 흑색을 띄며, 상당한 넓은 영역에 걸쳐 검출되는 특성을 가진다. 예시된 화면에서, 2개의 화재 후보영역이 검출되었다. 좌측 후보영역은 화재로 인한 불꽃이며, 우측 후보영역은 가스 레인지 불꽃이다.
상술한 특징들은 화재가 아닌 경우에도 검출될 수 있어서, 유사한 특징을 갖는 화재 후보영역을 제거하는 오검지 필터링을 적용하면 오검지율을 더욱 감소시킬 수 있다. 예를 들어, 석양, 빨간색 객체, 네온사인, 붉은 조명, 가로등(이하 오검지 화재)은 불꽃으로 검출될 수 있다.
S42에서, 오검지 필터링을 통해 화재 후보영역 중에서 화재가 아닌 영역이 제거된다. 오검지 필터는 영상에서 분석하지 않을 영역이나 객체를 제거하는 환경 필터이다. 오검지 필터링은 실제 화재와 다른 특징을 가진 영역을 제외하는 방식으로 수행될 수 있다. 일 예로, 오검지 필터링은 화재 후보영역별로 히스토그램을 생성하며, 생성된 히스토그램을 실제 화재에 대한 히스토그램 또는 오검지 화재에 대한 히스토그램과 비교 및 분류하여 오검지 화재를 제거할 수 있다. 다른 예로, 화재 후보영역이 미리 설정된 분석이 필요 없는 영역에 해당하면 오검지 필터는 해당 화재 후보영역을 제거할 수 있다.
S43에서, 오검지 필터링을 통과한 화재 후보영역을 정상 프로파일과 비교하여 비정상 상태의 발생을 확정할 수 있다. 정상 프로파일은 정상 상태가 유지되는 동안에 생성되므로, 정상 상태의 특징을 나타낸다. 예를 들면, 그리드별로 생성된 정상 프로파일과 실시간으로 수집된 영상의 색상정보를 비교하여 해당 그리드에서 비정상 상태를 검출할 수 있다. 예시된 그리드 G24와 G34의 색상정보는 정상 프로파일을 가진다. 한편 실시간 영상에서 그리드 G24와 G34에 대응하는 영역에서 발생한 화재는 그리드 G24와 G34가 정상 프로파일과는 다른 색상정보를 가지게 한다. 따라서 비정상 상태, 즉, 화재가 발생한 경우이다.
화재가 검출되면, 화재의 확산속도, 확산방향, 불꽃의 크기와 같은 화재 특성을 지속적으로 추적할 수 있다. 그리드로 분할된 영상은 그리드별로 비정상 상태를 검출할 수 있으므로, 그리드별 상태 변화를 통해 화재를 신속하게 추적할 수 있다.
상술한 과정은 화재 후보영역을 검출한 후 정상 프로파일을 이용하는 경우이다. 화재 후보영역 검출 과정은 생략가능하며, 실시간 영상을 정상 프로파일과 그리드별 비교를 통해 비정상 상태 발생을 검출할 수도 있다.
도 12는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다. 도 5와 중복되는 설명을 생략하며 차이점을 설명한다.
도 12를 참조하면, 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템은, 다중 카메라로부터 획득한 영상을 분석하는 제1 지능형 에지장치(100) 및 이동 중 또는 이동 후 영상을 획득하며 획득한 영상을 분석하는 제2 지능형 에지장치(400)를 포함할 수 있다. 여기서 제2 지능형 에지장치(400)는 영상 분석을 수행할 수 있는 이동 카메라(25)이다.
제1 지능형 에지장치(100)는 영상 데이터 처리 모듈(110), 영상 분석 모듈(120) 및 메타 데이터 전송 모듈(130)을 포함할 수 있다. 제1 지능형 에지장치(100)는 감시 공간 내에 설치된 하나 이상의 다중 카메라가 생성한 하나 이상의 다중 카메라 영상을 분석할 수 있다. 영상 분석 모듈(120)을 구성하는 객체 검출부(121), 객체 추적부(122) 및 이벤트 검출부(124) 중 어느 하나는 이벤트 발생을 검출할 수 있다. 추가적으로 또는 선택적으로, 제1 지능형 에지장치(100)는 감시 공간 내에 설치된 복수의 환경 센서(50)로부터 측정 데이터를 수신할 수 있다. 따라서, 제1 지능형 에지장치(100)는 환경 센서(50)로부터 수신된 측정 데이터를 처리하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈(105)을 더 포함할 수 있다. 영상 데이터 처리 모듈(110)에 의해 검출되는 이벤트 발생과 측정 데이터 처리 모듈(105)에 의해 검출되는 이벤트 발생은 동일 원인에 의해 발생하거나 상이한 원인에 의해 발생할 수 있다. 메타 데이터 전송 모듈(130)은 다중 카메라 영상, 다중 카메라 영상을 분석하여 생성된 메타 데이터, 측정 데이터 및 측정 데이터를 분석하여 생성된 메타 데이터 중 어느 하나 또는 이들의 조합을 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송할 수 있다.
제2 지능형 에지장치(400)는 제1 지능형 에지장치(100)의 제어에 의해 감시 공간 내에서 이동하여 이동 카메라 영상을 생성하며, 생성된 이동 카메라 영상을 분석한다. 영상 분석 결과로 생성된 메타 데이터는 통신망을 통해 에지기반 영상분석장치(200)로 전송될 수 있다. 제2 지능형 에지장치(400)는 제1 지능형 에지장치(100)가 지시한 특정 위치까지 이동 중에 또는 이동 후에 이동 카메라 영상을 생성하는 카메라(405), 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈(410), 전처리된 이동 카메라 영상을 분석하는 영상 분석 모듈(420), 및 영상 분석 결과로 생성된 메타 데이터를 전송하는 데이터 전송 모듈(430)를 포함할 수 있다. 영상 데이터 처리 모듈(410)과 영상 데이터 처리 모듈(110)은 실질적으로 동일할 수 있으며, 영상 분석 모듈(420)은 이동 제어부를 제외하면 영상 분석 모듈(120)과 실질적으로 동일할 수 있다. 한편, 도시되진 않았으나, 제2 지능형 에지장치(400)는 환경 센서(50)를 더 포함할 수 있다. 제2 지능형 에지장치(400)에 장착된 환경 센서(50)는 특정 위치에서 측정 데이터를 생성할 수 있다.
제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 감시 공간에서 생성된 다중 카메라 영상 및 이동 카메라 영상을 각각 분석하여 미리 설정된 유형의 이벤트에 대한 메타 데이터를 생성(이하 1차 분석)하며, 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 분석(이하, 2차 분석)될 수 있다. 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 설치된 지역 및 현장 상황에 적합하게 학습하고, 수행된 학습에 기초하여 영상 분석을 수행할 수 있다. 특히, 영상은 에지기반 영상분석장치(200)가 요청하는 경우에 한하여 전송될 수 있으므로, 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능하다.
제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 1차 분석을 수행하여, 객체에 관련하여 미리 설정된 제1 이벤트 조건을 충족하는 이벤트를 검출하며, 검출된 이벤트에 대한 제1 메타 데이터를 생성한다. 제1 메타 데이터는 에지기반 영상분석장치(200)가 사용자에 의해 설정된 제2 이벤트 조건에 부합하는 이벤트를 검출하는데 이용되거나, 학습 데이터로 이용될 수 있다. 에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)의 이벤트 검출부를 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)는 1차 분석이 어려울 경우, 영상 및/또는 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다.
도 13은 도 12에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다. 도 6과 중복되는 설명을 생략하고 차이점을 설명한다.
S50에서, 하나 이상의 다중 카메라(20)가 감시 공간의 적어도 일부를 촬영하여 하나 이상의 다중 카메라 영상을 생성하며, 다중 카메라 영상은 제1 지능형 에지장치(100)에 의해 분석된다. 동시에 하나 이상의 환경 센서(50)가 감시 공간 내에 환경 변수를 측정하여 측정 데이터를 생성하며, 측정 데이터는 측정 데이터 처리 모듈(105)에 의해 분석될 수 있다.
S51에서, 제1 지능형 에지장치(100)의 영상 분석 모듈(120) 또는 측정 데이터 처리 모듈(105)이 이벤트를 검출하면, 이벤트 발생 위치가 산출된다. 연속 추적 또는 확장 추적이 필요하거나 측정 데이터가 정상 범위를 벗어나면, 이벤트가 발생하였다고 판단된다. 연속 추적시 이벤트 발생 위치는 다중 카메라(20)의 위치, 높이, 틸트 각도 등을 이용하여 산출될 수 있다. 확장 추적시 이벤트 발생 위치는 미리 결정된 경로의 시작 위치일 수 있다. 한편, 임의의 측정 데이터가 과거에 수신된 측정 데이터로부터 산출된 정상 범위를 벗어나거나, 측정 데이터가 미리 설정된 시간격으로 수신되지 않으면, 환경 센서(50)의 설치 위치가 이벤트 발생 위치일 수 있다.
S52에서, 영상 분석 모듈(120)은 제2 지능형 에지장치(400)의 현재 위치를 산출하고 이벤트 발생 위치까지의 경로를 설정한다. 제2 지능형 에지장치(400)의 현재 위치는 실외의 경우, GPS 등을 이용하며, 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC 등을 이용하여 산출될 수 있다. 설정된 경로는 제2 지능형 에지장치(400)에 전송된다. 한편, 연속 추적의 경우, 연속 추적할 객체를 식별하기 위한 정보(이하 객체 식별 정보)도 제2 지능형 에지장치(400)에 전송될 수 있다.
S53에서, 메타 데이터 전송 모듈(130)은 다중 카메라 영상의 분석 결과로 생성된 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(미도시)로 전송할 수 있다.
S54에서, 제2 지능형 에지장치(400)는 경로를 따라 이동하여 목적지에 도착한다. 제2 지능형 에지장치(400)는 이벤트 발생 위치로 이동하기 시작할 때부터 또는 이벤트 발생 위치에 도착한 후부터 이동 카메라 영상을 생성하며, 생성된 이동 카메라 영상을 분석한다. 영상 분석 모듈(420)은 객체 식별 정보를 이용하여 연속 추적할 객체와 동일한 객체를 이동 카메라 영상에서 식별한다. 한편, 측정 데이터로 인해 이벤트가 발생했으며, 제2 지능형 에지장치(400)에 환경 센서(50)가 장착된 경우, 이벤트 발생 위치에서 환경 변수가 측정될 수 있다.
S55에서, 메타 데이터 전송 모듈(430)은 이동 카메라 영상의 분석 결과로 생성된 메타 데이터를 에지기반 영상분석장치(200) 또는 관제 서버(미도시)로 전송할 수 있다.
S56에서, 에지기반 영상분석장치(200)는 제1 지능형 에지장치(100) 및 제2 지능형 에지장치(400)로부터 수신한 메타 데이터를 분석한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 이동 카메라가 객체를 촬영하여 생성한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈; 및
    상기 다중 카메라 영상에 표출된 객체 중 분석 가능한 제1 객체를 검출 및 추적하고,
    상기 다중 카메라 영상에 표출된 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 이동 카메라 영상을 생성하도록 상기 이동 카메라를 제어하고,
    상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 이동 카메라 영상에서 검출 및 추적하며,
    이벤트 조건에 부합하는 이벤트를 상기 다중 카메라 영상 및 상기 이동 카메라 영상 중 어느 하나 또는 모두에서 검출하는 영상 분석 모듈을 포함하되,
    상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
    상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는, 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  2. 청구항 1에 있어서, 상기 영상 분석 모듈은
    상기 다중 카메라 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 이동 카메라 영상에서 상기 제3 객체를 식별하는 객체 검출부;
    상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부;
    상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부; 및
    상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  3. 청구항 2에 있어서, 상기 이벤트 검출부는
    상기 다중 카메라 영상 및 상기 이동 카메라 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부; 및
    상기 다중 카메라 영상 및 상기 이동 카메라 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  4. 청구항 2에 있어서, 상기 이동 카메라는 비행 드론 및 로봇 중 어느 하나에 장착되며, 상기 이동 제어부는 상기 이동 카메라가 상기 제3 객체를 향해 이동하는 경로를 설정하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  5. 청구항 2에 있어서, 상기 이동 제어부는 상기 다중 카메라 및 시야 방해물 중 어느 하나 또는 모두에 의해 정의된 사각 영역을 촬영하도록 상기 이동 카메라의 경로를 설정하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  6. 청구항 2에 있어서, 상기 영상 데이터 처리 모듈은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상을 이미지 스티칭에 의해 결합하여 상기 다중 카메라 영상으로 변환하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
  7. 청구항 2에 있어서, 상기 다중 카메라 영상은 상기 복수의 고정 카메라가 생성한 복수의 고정 카메라 영상이며, 상기 복수의 고정 카메라 영상은 상기 복수의 개별 감시 영역 사이의 공간적 관계를 학습한 상기 객체 식별부 및 상기 객체 추적부에 의해 단일 영상으로 취급되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  8. 다중 카메라가 확장 감시 영역을 촬영하여 생성한 다중 카메라 영상 및 상기 확장 감시 영역에 포함되지 않은 사각 영역을 촬영하도록 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 이동 카메라 영상을 전처리하는 영상 데이터 처리 모듈; 및
    상기 다중 카메라 영상에서, 분석 가능한 제1 객체를 검출 및 추적하고,
    상기 이동 카메라 영상에서 분석 가능한 제2 객체를 검출 및 추적하고,
    상기 제1 객체의 움직임 및 상기 제2 객체의 움직임 중 어느 하나 또는 모두를 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함하되,
    상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
    상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  9. 청구항 8에 있어서, 상기 영상 분석 모듈은
    상기 다중 카메라 영상에서 상기 제1 객체 및 상기 이동 카메라 영상에서 상기 제2 객체를 검출하는 객체 검출부;
    상기 다중 카메라 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 이동 카메라 영상에서 상기 제2 객체의 움직임을 추적하는 객체 추적부;
    상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부; 및
    상기 제1 객체의 움직임 및 상기 제2 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  10. 청구항 8에 있어서, 상기 제1 객체가 상기 사각 영역에 진입하면, 상기 객체 검출부는 상기 이동 카메라 영상에서 상기 제1 객체에 대응하는 제3 객체를 검출하며, 상기 객체 추적부는 상기 이동 카메라 영상에서 상기 제3 객체를 추적하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치.
  11. 감시 공간 내에 설치된 다중 카메라로부터 수신한 다중 카메라 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 제1 지능형 에지장치; 및
    이동 수단에 탑재되어 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며, 이동 카메라 영상을 분석하여 제2 메타 데이터를 생성하는 제2 지능형 에지장치를 포함하되,
    상기 다중 카메라는 카메라 사이각만큼 회전하여 배치된 복수의 고정 카메라로 구성되고,
    상기 확장 감시 영역은 상기 복수의 고정 카메라 각각에 대응하는 복수의 개별 감시 영역들로 구성되는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템.
  12. 청구항 11에 있어서,
    상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상분석장치를 더 포함하는 다중 카메라 및 이동 카메라를 이용한 영상 분석 시스템.
KR1020220052137A 2022-04-27 2022-04-27 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치 KR20230152410A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220052137A KR20230152410A (ko) 2022-04-27 2022-04-27 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
PCT/KR2022/006096 WO2023210839A1 (ko) 2022-04-27 2022-04-28 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220052137A KR20230152410A (ko) 2022-04-27 2022-04-27 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치

Publications (1)

Publication Number Publication Date
KR20230152410A true KR20230152410A (ko) 2023-11-03

Family

ID=88518955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220052137A KR20230152410A (ko) 2022-04-27 2022-04-27 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치

Country Status (2)

Country Link
KR (1) KR20230152410A (ko)
WO (1) WO2023210839A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102674825B1 (ko) * 2023-12-13 2024-06-13 주식회사 인텔리빅스 고정형 카메라와 ptz 카메라를 활용한 인파관리장치 및 그 장치의 구동방법, 그리고 인파관리 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065647A (ko) 2019-11-27 2021-06-04 한국전력공사 다중 카메라 고정 장치 및 이를 이용한 영상 모니터링 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119084B1 (ko) * 2011-07-13 2012-03-15 (주)블루비스 메타데이터를 이용한 영상관리 시스템 및 그 방법
KR101679318B1 (ko) * 2014-12-30 2016-11-24 주식회사 펀진 객체 추적 시스템
KR101977635B1 (ko) * 2017-11-20 2019-05-13 한국항공대학교산학협력단 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
KR102298063B1 (ko) * 2021-02-17 2021-09-02 임정석 Cctv와 연계된 스마트 방범 드론 시스템
KR102347026B1 (ko) * 2021-09-30 2022-01-04 주식회사 넥스트케이 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065647A (ko) 2019-11-27 2021-06-04 한국전력공사 다중 카메라 고정 장치 및 이를 이용한 영상 모니터링 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102674825B1 (ko) * 2023-12-13 2024-06-13 주식회사 인텔리빅스 고정형 카메라와 ptz 카메라를 활용한 인파관리장치 및 그 장치의 구동방법, 그리고 인파관리 시스템

Also Published As

Publication number Publication date
WO2023210839A1 (ko) 2023-11-02

Similar Documents

Publication Publication Date Title
WO2021253961A1 (zh) 一种智能视觉感知***
US9928707B2 (en) Surveillance system
KR101835552B1 (ko) 스마트 팩토리 작업환경 관제시스템
KR101248054B1 (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
JP2006523043A (ja) 監視を行なう方法及びシステム
KR101496390B1 (ko) 차량번호인식 시스템
KR101743689B1 (ko) 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템
KR101136366B1 (ko) 객체 자동 추적 시스템
KR102060045B1 (ko) 열분포 측정이 가능한 화재감지장비 및 그 시스템
KR20140127574A (ko) 화재 오보 감소를 위한 무인 비행체를 이용한 화재 감시 시스템
KR101852058B1 (ko) 듀얼 카메라를 이용한 돌발 상황 감지방법
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
CN111914592B (zh) 多相机联合取证方法、装置及***
CN113096337B (zh) 用于复杂背景的移动目标识别处理方法及智能安防***
KR102347026B1 (ko) 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치
KR20230152410A (ko) 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR101695127B1 (ko) 영상을 이용한 집단 행동 분석 방법
KR101795798B1 (ko) 지능형 영상감시 시스템
JP7314973B2 (ja) 映像監視装置、映像監視方法及びプログラム
KR101033237B1 (ko) 360도 초광역 영상에 의한 영역감시, 방범 및 주정차단속 다기능 시스템 및 단속방법
KR20190136515A (ko) 차량 인식 장치
KR20230020184A (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR20180099098A (ko) 촬영 대상의 움직임 추적 기능을 가진 융합형 영상 감시 시스템
KR102630275B1 (ko) 다중카메라 화재감지기

Legal Events

Date Code Title Description
E902 Notification of reason for refusal