KR20230020184A - 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치 - Google Patents

고정 카메라 및 이동 카메라를 이용한 영상 분석 장치 Download PDF

Info

Publication number
KR20230020184A
KR20230020184A KR1020210101937A KR20210101937A KR20230020184A KR 20230020184 A KR20230020184 A KR 20230020184A KR 1020210101937 A KR1020210101937 A KR 1020210101937A KR 20210101937 A KR20210101937 A KR 20210101937A KR 20230020184 A KR20230020184 A KR 20230020184A
Authority
KR
South Korea
Prior art keywords
image
camera
event
moving
image analysis
Prior art date
Application number
KR1020210101937A
Other languages
English (en)
Inventor
고현준
Original Assignee
고현준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고현준 filed Critical 고현준
Priority to KR1020210101937A priority Critical patent/KR20230020184A/ko
Publication of KR20230020184A publication Critical patent/KR20230020184A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 고정 카메라 및 이동 카메라를 이용한 영상 분석에 관한 것이다. 영상 분석 장치는 고정 카메라로부터 수신한 제1 영상 및 이동 카메라로부터 수신한 제2 영상을 전처리하는 영상 데이터 처리 모듈, 및 상기 제1 영상의 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 제1 영상의 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 제2 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 제2 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 제1 영상 및 상기 제2 영상에서 검출하는 영상 분석 모듈을 포함할 수 있다.

Description

고정 카메라 및 이동 카메라를 이용한 영상 분석 장치{Video analysis device using fixed camera and moving camera}
본 발명은 고정 카메라 및 이동 카메라를 이용한 영상 분석에 관한 것이다.
빌딩, 공원 등과 같은 공공장소에 설치된 많은 수의 고정 카메라는 사고 또는 범죄 행위를 검출할 수 있다. 고정 카메라는 주변 환경에 영향을 덜 받으면서 넓은 시야를 확보하기 위해 높은 위치에 주로 설치된다. 특정 위치에 일단 설치되면 이동할 수 없기 때문에, 공공장소에 고정 카메라를 설치할 때에는 사각 영역이 최소화될 수 있도록 위치를 결정하여야 한다. 그러나 고정 카메라를 설치할 수 있는 위치는 도로 구조물(예를 들어, 가로등이나 전주) 또는 건물의 벽에 한정된다. 따라서 도로 구조물이 없는 위치에 고정 카메라를 설치하기 위해서, 폴을 먼저 설치한 후 고정 카메라를 폴에 설치한다. PTZ(Pan-tilt-zoom) 카메라를 포함한 고정 카메라는 설치 위치가 높아질수록 원거리로 촬영할 수는 있지만, 카메라의 수직 하부에 형성되는 사각 영역은 더욱 증가하며, 원거리에 위치한 객체를 촬영할 수 있어도 영상 분석시 식별 불가할 수 있다.
한국 등록특허공보 제10-2154610호
본 발명의 실시예는 고정 카메라와 이동 카메라를 이용하여 넓은 영역을 감시할 수 있는 영상 분석 장치를 제공하고자 한다.
한편, 본 발명의 실시예는 고정 카메라에 의해 발생한 사각 영역을 이동 카메라를 이용하여 촬영할 수 있는 영상 분석 장치를 제공하고자 한다.
또한 본 발명의 실시예는 고정 카메라에 의해 검출된 이벤트의 발생 위치로 이동 카메라를 이동시킬 수 있는 영상 분석 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는 고정 카메라로부터 수신한 제1 영상 및 이동 카메라로부터 수신한 제2 영상을 전처리하는 영상 데이터 처리 모듈, 및 상기 제1 영상의 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 제1 영상의 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 제2 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 제2 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 제1 영상 및 상기 제2 영상에서 검출하는 영상 분석 모듈을 포함할 수 있다.
일 실시예로, 상기 영상 분석 모듈은 상기 제1 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 제2 영상에서 상기 제3 객체를 식별하는 객체 검출부, 상기 제1 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 제2 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부, 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부 및 상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함할 수 있다.
일 실시예로, 상기 이벤트 검출부는 상기 제1 영상 및 상기 제2 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부 및 상기 제1 영상 및 상기 제2 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함할 수 있다.
일 실시예로, 상기 이동 카메라는 비행 드론에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 비행 드론을 이동시킬 수 있다.
일 실시예로, 상기 이동 카메라는 로봇에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 로봇을 이동시킬 수 있다.
일 실시예로, 상기 이동 제어부는 상기 고정 카메라의 촬영 범위에 의해 정의된 전체 사각 영역의 적어도 일부 내에 상기 이동 카메라의 경로를 설정할 수 있다.
본 발명의 다른 측면에 따르면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는 고정 카메라로부터 수신한 제1 영상을 전처리하며, 상기 고정 카메라의 촬영 범위에 의해 정의된 전체 사각 영역의 적어도 일부 내에 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 제2 영상을 전처리하는 영상 데이터 처리 모듈, 및 분석 가능한 제1 객체를 상기 제1 영상에서 검출 및 추적하고, 연속 추적할 제2 객체를 검출하면 상기 제2 객체에 대응하는 제3 객체를 상기 제2 영상에서 검출 및 추적하며, 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함할 수 있다.
일 실시예로, 상기 영상 분석 모듈은 상기 제1 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 제2 영상에서 상기 제3 객체를 식별하는 객체 검출부, 상기 제1 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 제2 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부, 상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부 및 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함할 수 있다.
일 실시예로, 상기 이동 제어부는, 상기 제2 객체의 위치를 산출하고, 상기 경로에서 이탈하여 상기 제3 객체를 촬영한 후 상기 경로로 복귀하도록 상기 이동 카메라를 제어할 수 있다.
일 실시예로, 상기 이동 카메라는 비행 드론에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 비행 드론을 이동시킬 수 있다.
본 발명의 또 다른 측면에 따르면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 시스템이 제공된다. 영상 분석 시스템은 감시 공간 내에 설치된 고정 카메라로부터 수신한 제1 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 지역 영상 분석 장치 및 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며 상기 이벤트 발생 위치에서 생성한 제2 영상을 분석하여 제2 메타 데이터를 생성하는 이동 카메라를 포함할 수 있다.
일 실시예로, 영상 분석 시스템은 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상 분석 장치를 더 포함할 수 있다.
일 실시예로, 상기 지역 영상 분석 장치는 상기 감시 공간에 설치된 환경 센서로부터 수신한 측정 데이터를 분석하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈을 포함할 수 있다.
본 발명의 실시예에 따르면, 넓은 감시 공간을 감시하기 위해 많은 고정 카메라를 설치하는 대신, 고정 카메라와 이동 카메라를 함께 이용함으로써, 넓은 감시 공간을 효율적으로 효율적으로 감시할 수 있다. 특히, 고정 카메라의 사각 영역은 이동 카메라로 촬영할 수 있어서, 감시 공간 전체를 완벽하게 감시할 수 있게 된다.
한편, 본 발명에 따른 실시예는 고정 카메라가 촬영한 영상으로부터 검출된 이벤트의 발생 위치로 이동 카메라를 이동시킬 수 있어서, 검출된 이벤트에 관한 더욱 상세한 정보 획득 및 분석을 가능하게 한다.
이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 고정 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
도 2는 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 3은 고정 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 4는 복수의 고정 카메라가 설치된 공간에서 사각 영역이 발생하는 이유를 예시적으로 설명하기 위한 도면이다.
도 5는 고정 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 6은 도 5에 예시된 공간에서 전체 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다.
도 7은 고정 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 8은 도 7에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 9는 고정 카메라 및 이동 카메라를 이용한 영상 분석의 적용 분야를 예시적으로 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다. 한편, 첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다.
도 1은 고정 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
고정 카메라 및 이동 카메라를 이용한 영상 분석은 고정 카메라가 촬영한 영상에서 검출된 객체를 이동 카메라도 촬영하여 객체 관련 이벤트를 검출(이하에서, 연속 추적이라 함)하거나, 고정 카메라가 촬영할 수 없는 사각 영역에 위치한 객체를 검출(이하에서, 확장 추적이라 함)하는 방식이다. 연속 추적은 고정 카메라로 촬영한 영상에서 검출된 동일 객체를 촬영하도록 이동 카메라를 탑재한 비행 드론 또는 로봇을 객체를 향해 이동시켜 촬영하는 방식이다. 확장 추적은 고정 카메라의 사각 영역을 이동 카메라가 경로를 따라 이동하면서 촬영하여 감시 공간에서 사각 영역을 실질적으로 제거하는 방식이다. 연속 추적과 확장 추적은 독립적으로 수행될 수 있지만, 필요한 경우 확장 추적중인 이동 카메라가 연속 추적을 수행할 수도 있다. 이하에서, 이동 카메라는 비행 드론, 로봇 이외에도 다양한 이동 수단에 탑재될 수 있으며 비행 드론 또는 로봇은 이동 카메라를 지정된 위치로 이동시키기 위한 이동 수단이므로, 이하에서는 필요한 경우가 아니면 이동 카메라의 이동 수단을 언급하지 않는다.
연속 추적은 도 1에 예시되어 있다. (a)는 이동 카메라가 사람 객체로 접근하여 촬영하는 예를 나타내며, (b)는 이동 카메라가 사람 객체를 추적하면서 촬영하는 예를 각각 나타낸다. 두 예에서, 감시 공간(10)은 1대의 고정 카메라 F1 및 2대의 이동 카메라 M1, M2에 의해 촬영되며, 이동 카메라 M1, M2는 경로(15, 16)를 따라 이동한다.
(a)에서, 제1 영상(12)은 고정 카메라 F1의 촬영 범위(11) 내에 위치한 사람 객체를 나타낸다. 사람 객체(13)는 촬영 범위(11)에 새로 진입했으며, 고정 카메라 F1은 사람 객체(13)의 얼굴을 촬영하지 못했다. 감시 공간(10)을 이동중인 2대의 M1, M2 중에서 사람 객체(13)의 예상 이동 방향과 교차하는 경로로 이동중인 이동 카메라 M1이 선택될 수 있다. 이동 카메라 M1은 사람 객체(13)를 향해 이동하여 제2 영상(14)을 생성할 수 있다. 사람 객체(13)의 얼굴을 촬영하면, 이동 카메라 M1은 경로(15)로 되돌아갈 수 있다.
(b)에서, 사람 객체(13)는 고정 카메라 F1의 촬영 범위(11)를 완전히 벗어났다. 카메라의 촬영 범위는 카메라의 시야각 또는 초점 거리에 의해 결정될 수 있다. 본 명세서에서 촬영 범위는 카메라로부터 촬영한 객체가 식별 가능한 위치까지 연장된 부채꼴 모양 영역을 의미한다. 촬영 범위(11)의 좌우측은 사각 영역이다. 이동 카메라 M1은 경로를 변경하여 사람 객체(13)를 계속해서 추적할 수 있다.
도 2는 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 2를 참조하면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치는 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(200)을 포함할 수 있다. 영상 데이터 처리 모듈(100)은 하나 이상의 고정 카메라(20) 및 하나 이상의 이동 카메라(25)로부터 통신망(30)을 통해 영상을 수신하며, 수신한 영상을 영상 분석에 적합하게 전처리한다. 영상 분석 모듈(200)은 전처리된 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다. 영상 데이터 처리 모듈(100)과 영상 분석 모듈(200)은 물리적으로 하나의 서버에서 독립적으로 실행되거나, 통신망을 통해 연결된 지능형 에지 장치와 서버에서 실행되는 모듈 형태의 소프트웨어일 수 있다. 영상 데이터 처리 모듈(100)과 영상 분석 모듈(200), 및 각 모듈에 포함된 서브 모듈들은 지능형 에지 장치와 서버에 분산되어 실행될 수도 있다. 즉, 서버 또는 지능형 에지 장치는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함하며, 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(200)은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다.
고정 카메라(20)는 2차원 영상 또는 3차원 영상을 생성하는 CCTV, IP 카메라 등일 수 있다. 고정 카메라(20)는 넓은 시야를 확보하기 위해 일정 높이로 설치될 수 있다.
이동 카메라(25)는 2차원 영상 또는 3차원 영상을 생성하는 IP 카메라 등일 수 있다. 이동 카메라(25)는 비행 드론, 로봇 등과 같은 이동 수단에 장착되어 이동한다. 따라서 이동 카메라(25)의 촬영 범위는 이동 수단을 통해 변경 가능하다.
통신망(30)은 영상의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.
영상 데이터 처리 모듈(100)은 RTSP 클라이언트(110), 디코더(120) 및 영상 전처리부(130)를 포함할 수 있다. RTSP 클라이언트(110)는 영상 전송 프로토콜, 예를 들어, RTSP(Real time streaming protocol)를 지원하는 통신 모뎀으로, 통신망(30)을 통해 고정 카메라(20) 및 이동 카메라(25)로부터 영상 데이터를 수신한다. 디코더(120)는 수신된 영상 데이터를 디코딩하여 영상을 복원한다. 영상 전처리부(130)는 영상 분석에 적합하도록, 복원된 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 추가적으로, 영상 전처리부(130)는 3차원 영상 분석을 위해, 복원된 영상을 처리할 수 있다. 디코더(120) 및 영상 전처리부(130)는 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다.
영상 분석 모듈(200)은 객체 검출부(210), 객체 추적부(220), 이동 제어부(230) 및 이벤트 검출부(240)를 포함할 수 있다. 객체 검출, 객체 식별 및 객체 추적은 분리할 수 없는 일련의 과정으로도 수행될 수 있음을 이해하여야 한다. 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치는 둘 이상의 영상 분석 방식에 적용하기 위해 필요한, 객체의 검출 및 추적을 독립적으로 수행함으로써, 중복되거나 불필요한 연산이 감소되며, 동시에 둘 이상의 영상 분석 방식이 병행 또는 적응적으로 수행될 수 있도록 한다.
객체 검출부(210)는 전처리 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류할 수 있다. 객체 검출부(210)는 예를 들어, 객체 이미지를 이용하여 학습된 객체 검출 모듈, 또는 객체를 표현한 템플릿을 이용하는 객체 검출 모듈일 수 있다. 특히, 객체 검출부(210)는 3차원 기하학 필터를 적용하여, 검출된 객체를 표현할 수 있는 3차원 좌표값을 결정할 수 있다. 결정된 3차원 좌표값을 이용하면, 검출된 객체는 3차원 도형으로 영상에 표출되거나 객체 추적에 이용될 수 있다. 또한, 객체 검출부(210)는 환경 필터를 적용하여, 영상에서 노이즈를 제거할 수 있다.
객체 검출부(210)는 고정 카메라(20) 및 이동 카메라(25)에 의해 촬영된 영상에서 동일 객체를 식별할 수 있다. 하나 이상의 고정 카메라(20) 및 하나 이상의 이동 카메라(25)로 구성된 다중 카메라 환경에서, 동일 객체는 고정 카메라(20)가 촬영한 제1 영상 및 이동 카메라(25)가 촬영한 제2 영상에 표출된다. 객체 검출부(210)는 예를 들어, 딥러닝 분석을 통해, 검출된 객체의 속성을 추출하며, 기존에 등록된 객체의 속성과 비교하여, 두 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 예를 들어, 기존에 등록된 객체와 일치할 확률(이하 유사도)이 표출되거나, 제1 영상의 분석 결과로 부여되었던 객체 식별자가 제2 영상에서 검출된 객체에 다시 부여될 수 있다.
객체 검출부(210)는 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 이용할 수 있다. 사람 객체의 경우, 객체 검출부(210)는 예를 들어, 시각적 특징, 얼굴 특징, 걸음 걸이 특징 등을 이용하여 사람 객체를 재인식할 수 있다. 시각적 특징으로는, 사람 객체의 키, 착용한 옷의 종류나 색깔 등이 이용될 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.
객체 추적부(220)는 검출된 객체의 움직임을 추적한다. 객체 추적부(220)는 객체의 움직임 예측을 통해 객체를 추적하거나, 객체의 속성을 비교하여 객체를 추적할 수 있다. 객체 추적 방식은 제1 영상(또는 프레임)에서 검출된 객체의 움직임을 예측하거나 속성을 검출하고, 이를 제2 영상(또는 프레임)에서 검출된 객체와 비교하여 두 객체가 동일 객체인지를 판단한다. 영상을 구성하는 매크로 블록 단위로 비교하여 객체의 움직임을 추적하거나 영상에서 배경을 제거하여 객체만 영상에 남도록 하여 객체 검출 및 움직임을 추적하는 방식 등과 같이, 다양한 객체 추적 방식이 적용될 수 있다.
이동 제어부(230)는 이동 카메라(25)가 이동하는 경로를 결정한다. 이동 카메라(25)는 미리 설정된 경로를 따라 이동하거나 장애물을 피해 랜덤한 경로로 이동할 수 있다. 이동 카메라(25)의 경로는 제1 영상에서 연속 추적할 객체 검출시 변경될 수 있다. 연속 추적할 객체는 영상 분석을 위한 속성을 획득하지 못한 객체, 이상 행위를 하는 객체, 사각 영역에 진입하여 더 이상 추적할 수 없는 객체 또는 고정 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다. 이동 제어부(230)는 연속 추적할 객체의 위치 및 이동 카메라(25)의 위치를 산출하여 연속 추적할 객체를 향하도록 이동 카메라(25)의 경로를 변경할 수 있다.
영상 분석 모듈(200)은 이벤트 조건에 부합하는 이벤트를 검출하는 이벤트 검출부(240)를 포함할 수 있다. 이벤트 검출부(240)는 검출된 객체, 객체의 움직임, 및 객체의 주변 환경 중 어느 하나 또는 이들의 조합에 기초하여, 이벤트 조건에 부합하는 이벤트를 검출한다. 이벤트 검출부(240)는 둘 이상의 상이한 영상 분석 방식으로 구동할 수 있다. 예를 들어, 딥러닝 이벤트 검출부는 검출된 객체의 속성을 추출하고, 속성에 기초하여 설정된 이벤트 조건에 부합하는지를 판단하며, 룰 기반 이벤트 검출부는 관심 영역에서 객체의 움직임에 기초하여 이벤트 조건에 부합하는 이벤트를 검출한다. 한편, 딥러닝 분석에 의해 제1 이벤트 조건에 부합하는 객체는 룰 기반 분석에 전달되어, 제2 이벤트 조건에 부합하는지 판단될 수 있다.
도 3은 고정 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
S10에서, 하나 이상의 고정 카메라(20)가 감시 공간의 적어도 일부를 촬영하여 하나 이상의 제1 영상을 생성하며, 제1 영상은 영상 분석 모듈(200)에 의해 분석된다. 영상 분석 모듈(200)의 객체 검출부(210)는 제1 영상에 표출된 하나 이상의 객체를 검출하며, 객체 추적부(220)는 각 객체의 움직임을 추적한다.
S11에서, 연속 추적할 객체를 검출하며 그 객체의 위치를 산출한다. 연속 추적할 객체는 객체 검출부(210), 객체 추적부(220), 이벤트 검출부(240) 중 어느 하나에 의해 검출될 수 있다. 연속 추적할 객체의 일 예는 영상 분석을 위한 속성을 획득하지 못한 객체일 수 있으며, 예를 들어, 사람 객체의 식별에 필요한 얼굴 정면을 하나 이상의 제1 영상을 통해 획득하지 못하면, 연속 추적할 객체로 분류한다. 연속 추적할 객체의 다른 예는 하나 이상의 제1 영상을 분석하여 추적이 필요한 객체 관련 이벤트, 즉, 이상 행위가 검출된 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 사각 영역에 진입하여 더 이상 추적할 수 없는 객체이며, 하나 이상의 제1 영상에서 더 이상 검출되지 않는 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 고정 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다.
이벤트 분류 설명
이기종 객체 분류 카메라에서 검출되는 객체(object)의 종류가 다른 속성값을 분류 및 통합이벤트 검출
불법주정차 차가 주차되지 말아야 할 곳에 정지 되어있는 경우 일정 시간이 지체되었을 때 검출
속도 및 위치 카메라가 설치되어있는 지점 기준 차가 주행될 때 차량의 속도 및 위치값 표출
통행량 및 혼잡도 도로 내 차의 밀집도 및 카운팅 검출
불법 유턴 및 역주행 도로 내 차의 방향성을 검지하여 불법 유턴 및 역주행 검출
좌회전감응 좌회전 신호를 기다리는 차가 일정 시간이상 대기하고 있을시 신호와 연계하여 좌회전 신호 표출
피플카운팅 및 혼잡도 특정 구역을 출입하는 인원에 대한 카운팅 및 일정 인원 이상 출입에 의한 혼잡도 검출
침입 무단침입, 불법 침입 또는 출입 금지 구역에 비인가자가 출입하는 순간 검출
체류 검출된 객체가 일정 시간 같은 자리에서 계속 검출될 때 체류 상황으로 판단
배회 사람 객체 검출 후 특정 이벤트 없이 일정 시간 이상 배회, 서성거림 등 의심스러운 행동 검출
유기 검출된 사람 객체로부터 분리된 새로운 객체 검출
쓰러짐 걷다가 또는 서 있다가 바닥으로 쓰러지는 행동으로 머리가 바닥에 닿았을 때 쓰러짐으로 검출
얼굴인식 및 검출 카메라 영상에서 사람의 얼굴을 인식하고 얼굴 특징점(FFV)을 추출하는 기능
유사도 분석 카메라 영상에서 검출된 얼굴의 특징점과 DB에 저장된 얼굴DB와 유사도를 비교하여 인가/비인가자를 검출
연속 추적할 객체의 지리적 위치는 고정 카메라(20)의 위치, 회전(pan) 각도, 틸트(tilt) 각도 등을 이용하여 다양한 방식으로 산출될 수 있다. 이동 카메라(25)의 이동 목적지는 연속 추적 유형에 따라 결정될 수 있다. 사각 영역에 진입한 객체의 경우, 해당 객체가 사라지기 직전까지 검출된 지점을 이동 카메라(25)의 이동 목적지로 결정하여 위치를 산출할 수 있다. 객체가 사각 영역에 진입한 경우를 제외하면, 연속 추적할 객체는 하나 이상의 제1 영상에서 검출되고 있으며, 따라서 이동 카메라(25)의 이동 목적지는 객체의 현재 위치이다.S12에서, 이동 카메라(25)의 위치를 산출하고 연속 추적할 객체까지의 경로를 설정한다. 이동 카메라(25)의 위치는 다양한 측위 방식을 통해 산출될 수 있다. 실외의 경우, GPS(Global positioning system) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC(Visible light communication) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 둘 이상의 이동 카메라(25)가 활용 가능한 경우, 연속 추적할 객체까지의 이동 시간이 짧은 위치에 있는 이동 카메라(25)가 선택될 수 있다.
이동 카메라(25)의 위치가 산출되면, 연속 추적할 객체까지의 경로가 설정될 수 있다. 경로는 이동 카메라(25)가 탑재된 이동 수단의 유형 또는 이동 속도뿐 아니라 주변의 방해물의 위치를 고려하여 결정될 수 있다. 예를 들어, 비행 드론의 경로는 이동 카메라(25)의 현재 위치로부터 연속 추적할 객체의 위치까지 대부분 직선이며, 경로 중간에 위치한 방해물 주변으로 우회하도록 결정될 수 있다.
S13에서, 이동 카메라(25)는 경로를 따라 이동하여 목적지에 도착하며 제2 영상을 생성한다. 영상 분석 모듈(200)은 제1 영상에서 검출된 연속 추적할 객체와 동일한 객체를 제2 영상에서 식별한다. 객체의 속성을 획득하기 위한 연속 추적의 경우, 사람 객체의 얼굴 정면을 촬영한 후 연속 추적은 종료된다. 반면 이상 행위를 한 객체에 대한 연속 추적은 제2 영상에서 객체가 식별된 이후에도 계속될 수 있다.
S14에서, 제1 영상 및 제2 영상에서 검출 및 추적한 객체에 대한 메타 데이터가 생성되며, 생성된 메타 데이터는 영상 분석에 이용될 수 있다.
도 4는 복수의 고정 카메라가 설치된 공간에서 사각 영역이 발생하는 이유를 예시적으로 설명하기 위한 도면이다.
도 4의 (a)를 참조하면, 복수의 고정 카메라(20a, 20b)를 일정 이상의 높이로 배치할 수 있다면, 아무리 넓은 감시 공간(10)도 충분히 촬영할 수 있다. 그러나 복수의 고정 카메라(20a, 20b)를 설치하더라도, 사각 영역은 완전히 제거될 수 없다. 사각 영역은 고정 카메라(20a, 20b)의 하부 공간, 시야 방해물의 반대편 공간, 촬영 범위(11a, 11b) 밖 공간으로 고정 카메라(20a, 20b)가 객체를 촬영할 수 없는 영역이다. 공항의 여객 터미널이 감시 공간이라고 가정하면, 복수의 PTZ 카메라는 여객 터미널의 대부분을 촬영할 수 있다. 하지만 체크인 카운터와 같은 시야 방해물은 사각 영역을 발생시키며, 이렇게 발생된 사각 영역을 제거하기 위해 PTZ 카메라를 추가적으로 설치하여야 한다.
고정 카메라(20a, 20b)는 객체 식별에 필요한 정보 획득에 적합하지 않을 수 있다. 예를 들어, 사람 객체는 얼굴의 랜드마크 분석을 통해 식별될 수 있다. 시야 확보를 위해 높은 위치에 설치된 고정 카메라(20a, 20b)는 사람 객체의 얼굴 정면을 촬영할 수 없다. 한편, 원거리에서 촬영된 영상에 포함된 사람 객체의 얼굴은 해상도가 낮아서 식별이 불가할 수 있다. 특히, 다른 고정 카메라(20a, 20b)에 비해 넓은 촬영 범위를 가진 PTZ 카메라도 카메라의 수직 하부 및 상부 공간을 촬영할 수 없다.
비행 드론에 의해 이동하는 이동 카메라(25)는 감시 공간(10) 내 사각 영역을 다양한 방식으로 촬영할 수 있다. 도 4의 (a)와 (b)는 이동 카메라(25)가 사각 영역을 촬영하는 두 경우를 각각 나타낸다.
도 4의 (a)에서 이동 카메라(25)는 감시 공간(10)의 적어도 일부 또는 전체가 촬영 범위(11c) 내에 들어오는 높이까지 상승하여 감시 공간(10)을 촬영할 수 있다. 따라서 이동 카메라(25)가 생성한 제2 영상은 사각 영역이 없는 감시 공간(10)을 표출할 수 있다. 제2 영상은 감시 공간(10) 내 혼잡도/피플 카운팅, 사람 객체의 이동 추적 등과 같은 객체 관련 이벤트 검출에 이용될 수 있다. 또한 제2 영상은 감시 공간(10)내 시야 방해물의 위치와 형태를 검출하여 감시 공간에 대한 맵에 반영할 수 있다. 감시 공간(10)이 실외에 위치한 경우, 시야 방해물의 위치와 형태를 자주 변경될 수 있다.
한편, 도 4의 (b)에서, 이동 카메라(25)는 감시 공간(10)내 사각 영역에 설정된 경로를 따라 이동하면서 촬영할 수 있다. 비행 드론뿐 아니라 로봇에 탑재된 이동 카메라(25)는 경로를 따라 사각 영역을 이동하면서 객체를 검출할 수 있다. 사람 객체의 얼굴 정면을 촬영하거나, 차량 객체의 번호판 촬영 등과 같이 객체의 속성을 획득해야 하는 경우에 수행될 수 있다. 도 5 내지 도 6은 이동 카메라(25)가 사각 영역에 설정된 경로를 이동하면서 제2 영상을 생성하는 확장 추적에 관한 것이다.
도 5는 고정 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이며, 도 6은 도 5에 예시된 공간에서 전체 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다.
도 5 내지 도 6을 함께 참조하면, S20에서 감시 공간에 설치된 고정 카메라의 촬영 범위를 결정한다. 회전 각도, 틸트 각도, 줌, 시야각, 해상도, 설치 높이 등 촬영 범위에 영향을 미치는 요소들은 고정 카메라마다 상이할 수 있다. 도 6의 (a)에 예시된 바와 같이, 감시 공간에 대한 맵(50)에 고정 카메라별 촬영 범위(51a, 51b)를 표시하면, 나머지 공간은 사각 영역(52)이 된다.
S21에서, 고정 카메라의 시야를 가리는 시야 방해물이 감시 공간에 존재하는지 판단한다. 시야 방해물은 일시적으로 존재하거나 항상 존재할 수 있다. 시야 방해물의 위치와 형태는 비행 드론에 탑재된 이동 카메라에 의해 획득될 수 있다.
S22에서, 시야 방해물이 존재하면, 시야 방해물로 인해 발생하는 새로운 사각 영역을 검출한다. 도 6의 (b)에 예시된 바와 같이, 위에서 볼 때 사각형의 시야 방해물(53)이 고정 카메라의 촬영 범위(51a, 51b)가 중첩된 영역에 위치한다. 이로 인해, 시야 방해물(53)은 새로운 사각 영역(52a)을 중첩된 영역에 생성한다.
S23에서, 감시 공간 전체에 대한 사각 영역을 정의한다. 전체 사각 영역은 새로운 사각 영역(52a)을 맵에 추가함으로써 최종적으로 확정될 수 있다.
S24에서, 이동 카메라의 경로를 전체 사각 영역에 설정한다. 도 6의 (c)에 예시된 바와 같이, 이동 카메라의 경로(54)는 전체 사각 영역 내에 설정될 수 있다. 경로(54)는, 이동 수단의 유형, 이동 속도, 방해물의 위치와 형태, 및 이동 카메라의 회전 가능 여부 중 어느 하나 또는 이들의 조합을 고려하여, 전체 사각 영역을 촬영할 수 있도록 설정된다. 예를 들어, 회전할 수 없는 이동 카메라의 경로와 회전할 수 있는 이동 카메라의 경로는 상이할 수 있다. 설정된 경로는 맵에 반영된다. 이동 제어부(230)는 맵을 참조하여 이동 카메라를 경로를 따라 이동시킬 수 있으며, 연속 추적이 필요한 경우 이동 카메라의 경로를 일시적으로 변경할 수 있다.
경로가 설정된 맵을 생성하는 과정이 반드시 영상 분석 모듈(200)에 의해서만 수행되어야 하는 것은 아니며, 경로가 설정되지 않은 맵 또는 경로가 설정된 맵은 외부에서 생성된 후 영상 분석 모듈(200)에 전달될 수도 있다.
S25에서, 이동 카메라는 경로를 따라 이동하면서 제2 영상을 생성한다. 확장 추적시, 이동 카메라는 제2 영상이 촬영된 위치를 나타내는 메타 데이터를 제2 영상에 추가하거나 제2 영상에 연관된 파일에 기록(이하 추가로 총칭함)할 수 있다. 한편, 이동 카메라는 제2 영상 촬영시 카메라 방향을 나타내는 메타 데이터를 제2 영상에 더 추가할 수 있다. 또한, 이동 수단이 비행 드론인 경우, 이동 카메라는 비행 드론의 지상으로부터의 높이를 나타내는 메타 데이터를 제2 영상에 더 추가할 수 있다. 촬영 위치, 카메라 방향 및 촬영 높이는 변경될 때마다 제2 영상에 추가되며, 이를 통해 사각 영역에서 검출된 객체의 위치를 확정할 수 있게 된다.
S26에서, 감시 공간 전체를 촬영한 제1 영상 및 제2 영상을 분석하여 객체 관련 이벤트를 검출한다. 고정 카메라가 촬영한 제1 영상은 촬영 범위 내에 위치한 객체들을 표출하며, 이동 카메라가 촬영한 제2 영상은 사각 영역에 위치한 객체들을 표출한다.
도 7은 고정 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다. 도 2와 중복되는 설명을 생략하며 차이점을 설명한다.
도 7을 참조하면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 시스템은, 고정 카메라로부터 획득한 영상을 분석하는 지역 영상 분석 장치(300), 및 이동 중 또는 이동 후 영상을 획득하며 획득한 영상을 분석하는 이동 카메라(400)를 포함할 수 있다.
지역 영상 분석 장치(300)는 영상 데이터 처리 모듈(320), 영상 분석 모듈(330) 및 데이터 전송 모듈(340)을 포함할 수 있다. 영상 데이터 처리 모듈(320) 및 영상 분석 모듈(330)은 도 2의 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(330)과 실질적으로 동일하며, 감시 공간 내에 설치된 복수의 고정 카메라가 생성한 복수의 제1 영상을 분석할 수 있다. 영상 데이터 처리 모듈(100)을 구성하는 객체 검출부, 객체 추적부 및 이벤트 검출부 중 어느 하나는 이벤트 발생을 검출할 수 있다. 추가적으로 또는 선택적으로, 지역 영상 분석 장치(300)는 감시 공간 내에 설치된 복수의 환경 센서로부터 측정 데이터를 수신할 수 있다. 환경 센서는 예를 들어 온도, 습도, 조도, 가스 농도, 미세먼지 농도 등을 측정할 수 있다. 따라서, 지역 영상 분석 장치(300)는 환경 센서로부터 수신된 측정 데이터를 처리하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈(310)을 더 포함할 수 있다. 영상 데이터 처리 모듈(100)에 의해 검출되는 이벤트 발생과 측정 데이터 처리 모듈(310)에 의해 검출되는 이벤트 발생은 동일 원인에 의해 발생하거나 상이한 원인에 의해 발생할 수 있다. 데이터 전송 모듈(340)은 제1 영상, 제1 영상을 분석하여 생성된 메타 데이터, 측정 데이터 및 측정 데이터를 분석하여 생성된 메타 데이터 중 어느 하나 또는 이들의 조합을 통신망을 통해 에지 기반 영상 분석 장치(500)로 전송할 수 있다.
이동 카메라(400)는 지역 영상 분석 장치(300)의 제어에 의해 감시 공간 내에서 이동하여 제2 영상을 생성하며, 생성된 제2 영상을 분석한다. 영상 분석 결과로 생성된 메타 데이터는 통신망을 통해 에지 기반 영상 분석 장치(500)로 전송될 수 있다. 이동 카메라(400)는 지역 영상 분석 장치(300)가 지시한 특정 위치까지 이동 중에 또는 이동 후에 제2 영상을 생성하는 카메라(410), 제2 영상을 전처리하는 영상 데이터 처리 모듈(420), 전처리된 제2 영상을 분석하는 영상 분석 모듈(430), 및 영상 분석 결과로 생성된 메타 데이터를 전송하는 데이터 전송 모듈(440)를 포함할 수 있다. 영상 데이터 처리 모듈(420)과 영상 데이터 처리 모듈(320)은 실질적으로 동일할 수 있으며, 영상 분석 모듈(430)은 이동 제어부를 제외하면 영상 분석 모듈(330)과 실질적으로 동일할 수 있다. 한편, 도시되진 않았으나, 이동 카메라(400)는 환경 센서를 더 포함할 수 있다. 이동 카메라(400)에 장착된 환경 센서는 특정 위치에서 측정 데이터를 생성할 수 있다.
지역 영상 분석 장치(300) 및 이동 카메라(400)는 감시 공간에서 생성된 제1 영상 및 제2 영상을 각각 분석하여 미리 설정된 유형의 이벤트에 대한 메타 데이터를 생성(이하 1차 분석)하며, 생성된 메타 데이터는 에지 기반 영상 분석 장치(500)에 의해 분석(이하, 2차 분석)될 수 있다. 다시 말해 지역 영상 분석 장치(300) 및 이동 카메라(400)는 지능형 에지 장치일 수 있다. 지능형 에지 장치는 설치된 지역 및 현장 상황에 적합하게 학습하고, 수행된 학습에 기초한 영상 분석을 가능하게 한다. 특히, 영상은 에지 기반 영상 분석 장치(500)가 요청하는 경우에 한하여 전송될 수 있으므로, 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능하다.
지능형 에지 장치(300, 400)는 1차 분석을 수행하여, 객체에 관련하여 미리 설정된 제1 이벤트 조건을 충족하는 이벤트를 검출하며, 검출된 이벤트에 대한 제1 메타 데이터를 생성한다. 제1 메타 데이터는 에지 기반 영상 분석 장치(500)가 사용자에 의해 설정된 제2 이벤트 조건에 부합하는 이벤트를 검출하는데 이용되거나, 학습 데이터로 이용될 수 있다. 에지 기반 영상 분석 장치(500)는 2차 분석 결과에 기초하여, 지능형 에지 장치(300, 400)의 이벤트 검출부(240)를 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(300, 400)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지 기반 영상 분석 장치(500)로 전송하여 분석을 요청할 수도 있다.
도 8은 도 7에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다. 도 3과 중복되는 설명을 생략하고 차이점을 설명한다.
S30에서, 하나 이상의 고정 카메라(20)가 감시 공간의 적어도 일부를 촬영하여 하나 이상의 제1 영상을 생성하며, 제1 영상은 지역 영상 분석 장치(300)에 의해 분석된다. 동시에 하나 이상의 환경 센서가 감시 공간 내에 환경 변수를 측정하여 측정 데이터를 생성하며, 측정 데이터는 측정 데이터 처리 모듈(310)에 의해 분석된다.
S31에서, 지역 영상 분석 장치(300)의 영상 분석 모듈(330) 또는 측정 데이터 처리 모듈(310)이 이벤트를 검출하면, 이벤트 발생 위치가 산출된다. 연속 추적 또는 확장 추적이 필요하거나 측정 데이터가 정상 범위를 벗어나면, 이벤트가 발생하였다고 판단된다. 연속 추적시 이벤트 발생 위치는 고정 카메라의 위치, 회전 각도, 틸트 각도 등을 이용하여 산출될 수 있다. 확장 추적시 이벤트 발생 위치는 미리 결정된 경로의 시작 위치일 수 있다. 한편, 임의의 측정 데이터가 과거에 수신된 측정 데이터로부터 산출된 정상 범위를 벗어나거나, 측정 데이터가 미리 설정된 시간격으로 수신되지 않으면, 환경 센서의 설치 위치가 이벤트 발생 위치일 수 있다.
S32에서, 영상 분석 모듈(330)은 이동 카메라(400)의 현재 위치를 산출하고 이벤트 발생 위치까지의 경로를 설정한다. 설정된 경로는 이동 카메라(400)에 전송된다. 한편, 연속 추적의 경우, 연속 추적할 객체를 식별하기 위한 정보(이하 객체 식별 정보)도 이동 카메라(400)에 전송될 수 있다.
S33에서, 데이터 전송 모듈(340)은 제1 영상의 분석 결과로 생성된 메타 데이터를 에지 기반 영상 분석 장치(500) 또는 관제 서버(미도시)로 전송할 수 있다.
S34에서, 이동 카메라(400)는 경로를 따라 이동하여 목적지에 도착한다. 이동 카메라(400)는 이벤트 발생 위치로 이동하기 시작할 때부터 또는 이벤트 발생 위치에 도착한 후부터 제2 영상을 생성하며, 생성된 제2 영상을 분석한다. 영상 분석 모듈(430)은 객체 식별 정보를 이용하여 연속 추적할 객체와 동일한 객체를 제2 영상에서 식별한다. 한편, 측정 데이터로 인해 이벤트가 발생했으며, 이동 카메라(400)에 환경 센서가 장착된 경우, 이벤트 발생 위치에서 환경 변수가 측정될 수 있다.
S35에서, 데이터 전송 모듈(440)은 제2 영상의 분석 결과로 생성된 메타 데이터를 에지 기반 영상 분석 장치(500) 또는 관제 서버(미도시)로 전송할 수 있다.
S36에서, 에지 기반 영상 분석 장치(500)는 지역 영상 분석 장치(300) 및 이동 카메라(400)로부터 수신한 메타 데이터를 분석한다.
도 9는 고정 카메라 및 이동 카메라를 이용한 영상 분석의 적용 분야를 예시적으로 설명하기 위한 도면이다.
고정 카메라 및 이동 카메라를 이용한 영상 분석은 지능형 교통 시스템을 포함한 다양한 분야에 적용될 수 있다. 비행 드론을 이동 수단으로 활용하는 경우, 이동 카메라는 높은 고도에서 지상을 촬영할 수 있어서 국도 또는 고속도로의 통행량 및 혼잡도를 검출할 수 있다. 또한 비행 드론 또는 로봇은 불법 주차된 차량의 번호판을 촬영할 수 있다.
도 9의 (a)는 3차선 도로를 촬영한 제1 영상으로, 정상적인 교통 흐름을 예시적으로 나타낸다. 제1 관심 영역 ROI_W1 내지 제3 관심 영역 ROI_W3은 차선별로 설정되어 있다. 룰 기반 이벤트 검출부는 관심 영역별로 설정된 이벤트 조건, 예를 들어, 통과 차량의 수, 차선별 평균 속도 등을 수행할 수 있다. 한편, 딥러닝 이벤트 검출부는 통과한 차량의 차종을 분류하고, 차종별 수를 계산할 수 있다. 추가적으로, 딥러닝 이벤트 검출부 및 룰 기반 이벤트 검출부는 각각에 적합한 이벤트 조건으로, 도로에서 발생한 이상 행위, 예를 들어, 과속 차량, 불법 주정차 차량, 사고/고장차를 검출할 수 있다.
도 9의 (b)는 제1 영상 분석을 통해 불법 주정차 차량을 검출하며, 차량의 번호판을 촬영하여 제2 영상 분석을 실행하는 경우를 예시하고 있다. 고정 카메라(20)는 불법 주정차 차량을 검출할 수는 있지만, 차량까지의 거리로 인해 차량의 번호판을 촬영할 수 없다. 불법 주정차 차량에 범칙금을 부과하기 위해 차량 번호가 필요하므로, 제1 영상 분석을 통해 차량 번호판 위치가 이벤트 발생 위치로 산출된다. 복수의 차량이 불법 주정차된 경우, 복수의 이벤트 발생 위치가 산출될 수 있다. 이 경우, 이동 카메라(25, 400)의 경로는 복수의 이벤트 발생 위치를 경유하도록 설정될 수 있다. 이동 카메라(25, 400)는 불법 주정차 영역에 설정된 경로를 따라 이동하면서 차량의 번호판을 촬영할 수 있다. 이동 카메라(400)는 제2 영상을 분석하여 차량 번호를 추출하며, 추출된 차량 번호만 외부로 전송할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 고정 카메라로부터 수신한 제1 영상 및 이동 카메라로부터 수신한 제2 영상을 전처리하는 영상 데이터 처리 모듈; 및
    상기 제1 영상의 객체 중 분석 가능한 제1 객체를 검출 및 추적하고,
    상기 제1 영상의 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 제2 영상을 생성하도록 상기 이동 카메라를 제어하고,
    상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 제2 영상에서 검출 및 추적하며,
    이벤트 조건에 부합하는 이벤트를 상기 제1 영상 및 상기 제2 영상에서 검출하는 영상 분석 모듈을 포함하는 영상 분석 장치.
  2. 청구항 1에 있어서, 상기 영상 분석 모듈은
    상기 제1 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 제2 영상에서 상기 제3 객체를 식별하는 객체 검출부;
    상기 제1 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 제2 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부;
    상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부; 및
    상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함하는 영상 분석 장치.
  3. 청구항 2에 있어서, 상기 이벤트 검출부는
    상기 제1 영상 및 상기 제2 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부; 및
    상기 제1 영상 및 상기 제2 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함하는 영상 분석 장치.
  4. 청구항 2에 있어서, 상기 이동 카메라는 비행 드론에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 비행 드론을 이동시키는 영상 분석 장치.
  5. 청구항 2에 있어서, 상기 이동 카메라는 로봇에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 로봇을 이동시키는 영상 분석 장치.
  6. 청구항 2에 있어서, 상기 이동 제어부는
    상기 고정 카메라의 촬영 범위에 의해 정의된 전체 사각 영역의 적어도 일부 내에 상기 이동 카메라의 경로를 설정하는 영상 분석 장치.
  7. 고정 카메라로부터 수신한 제1 영상을 전처리하며,
    상기 고정 카메라의 촬영 범위에 의해 정의된 전체 사각 영역의 적어도 일부 내에 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 제2 영상을 전처리하는 영상 데이터 처리 모듈; 및
    분석 가능한 제1 객체를 상기 제1 영상에서 검출 및 추적하고, 연속 추적할 제2 객체를 검출하면 상기 제2 객체에 대응하는 제3 객체를 상기 제2 영상에서 검출 및 추적하며,
    상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함하는 영상 분석 장치.
  8. 청구항 7에 있어서, 상기 영상 분석 모듈은
    상기 제1 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 제2 영상에서 상기 제3 객체를 식별하는 객체 검출부;
    상기 제1 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 제2 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부;
    상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부; 및
    상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함하는 영상 분석 장치.
  9. 청구항 8에 있어서, 상기 이동 제어부는,
    상기 제2 객체의 위치를 산출하고, 상기 경로에서 이탈하여 상기 제3 객체를 촬영한 후 상기 경로로 복귀하도록 상기 이동 카메라를 제어하는 영상 분석 장치.
  10. 청구항 8 또는 청구항 9에 있어서, 상기 이동 카메라는 비행 드론에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 비행 드론을 이동시키는 영상 분석 장치.
  11. 감시 공간 내에 설치된 고정 카메라로부터 수신한 제1 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 지역 영상 분석 장치; 및
    현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며 상기 이벤트 발생 위치에서 생성한 제2 영상을 분석하여 제2 메타 데이터를 생성하는 이동 카메라를 포함하는 영상 분석 시스템.
  12. 청구항 11에 있어서,
    상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상 분석 장치를 더 포함하는 영상 분석 시스템.
  13. 청구항 11에 있어서, 상기 지역 영상 분석 장치는
    상기 감시 공간에 설치된 환경 센서로부터 수신한 측정 데이터를 분석하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈을 포함하는 영상 분석 시스템.
KR1020210101937A 2021-08-03 2021-08-03 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치 KR20230020184A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210101937A KR20230020184A (ko) 2021-08-03 2021-08-03 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210101937A KR20230020184A (ko) 2021-08-03 2021-08-03 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치

Publications (1)

Publication Number Publication Date
KR20230020184A true KR20230020184A (ko) 2023-02-10

Family

ID=85223444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210101937A KR20230020184A (ko) 2021-08-03 2021-08-03 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치

Country Status (1)

Country Link
KR (1) KR20230020184A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614756B1 (ko) * 2023-07-10 2023-12-15 주식회사 바론시스템 폐쇄 공간에서 다양한 보급형 영상 기기를 통한 딥러닝얼굴 인식 시스템 및 이의 실행 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154610B1 (ko) 2020-04-10 2020-09-10 주식회사 넥스트케이 이벤트 발생 위치 계산이 가능한 영상장치 및 그 장치의 구동방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154610B1 (ko) 2020-04-10 2020-09-10 주식회사 넥스트케이 이벤트 발생 위치 계산이 가능한 영상장치 및 그 장치의 구동방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614756B1 (ko) * 2023-07-10 2023-12-15 주식회사 바론시스템 폐쇄 공간에서 다양한 보급형 영상 기기를 통한 딥러닝얼굴 인식 시스템 및 이의 실행 방법

Similar Documents

Publication Publication Date Title
CN110675592B (zh) 一种基于目标识别的高空抛物预警防护***和控制方法
US9154741B2 (en) Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects
KR101496390B1 (ko) 차량번호인식 시스템
US20100013917A1 (en) Method and system for performing surveillance
US8098290B2 (en) Multiple camera system for obtaining high resolution images of objects
KR101743689B1 (ko) 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템
KR101248054B1 (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
CA2451660A1 (en) Method for monitoring a moving object and system regarding same
JP2006523043A (ja) 監視を行なう方法及びシステム
EP1405504A1 (en) Surveillance system and methods regarding same
KR101136366B1 (ko) 객체 자동 추적 시스템
US11025865B1 (en) Contextual visual dataspaces
KR20200025247A (ko) 이동차량 추적에 의한 주차 관리장치
CN111914592B (zh) 多相机联合取证方法、装置及***
KR102162130B1 (ko) 단일카메라를 이용한 불법주정차 단속시스템
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
KR102347026B1 (ko) 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치
KR101468117B1 (ko) 지능형 영상 감시 방법 및 그 장치
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
KR20230020184A (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR102499340B1 (ko) 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법
KR101033237B1 (ko) 360도 초광역 영상에 의한 영역감시, 방범 및 주정차단속 다기능 시스템 및 단속방법
KR20200086015A (ko) 상황 연계형 영상분석장치
JP2020166409A (ja) 車載装置、車載システムおよび周辺監視方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal