KR20210077178A - 깊이 추정을 이용한 영상 관리 장치 및 방법 - Google Patents

Abstract

본 발명은 영상을 감시할 때 딥 러닝(deep learning) 기반의 깊이 추정(depth estimation)을 이용하여 영상 감시에서의 정확도와 몰입도를 증가시키고 실시간으로 영상 분석(video analytics)을 제공할 수 있는 영상 관리 장치에 관한 것이다.
상기 영상 관리 장치는, 감시 카메라로부터 촬영된 영상을 수신하는 통신부; 상기 촬영된 영상에 대한 사전학습 모델(pre-trained model)을 서버로부터 제공받고, 상기 학습된 모델을 이용하여 상기 촬영된 영상에 대해 깊이 정보를 추정하는 깊이 추정부; 상기 추정된 깊이 정보가 제공된 상기 감시 카메라로부터, 수신되는 메타데이터를 저장하는 저장부; 및 상기 저장된 메타데이터를 기초로 상기 촬영된 영상을 검색하는 영상 검색부로 이루어진다.

Description

깊이 추정을 이용한 영상 관리 장치 및 방법{Video management apparatus and method using depth estimation}

본 발명은 네트워크 감시 카메라를 구비하는 영상 관리 시스템에 관한 것으로, 영상을 감시할 때 딥 러닝(deep learning) 기반의 깊이 추정(depth estimation)을 이용하여 영상 감시에서의 정확도와 몰입도를 증가시키고 실시간으로 영상 분석(video analytics)을 제공할 수 있는 영상 관리 시스템에 관한 것이다.

현재 카메라 성능의 발전과 카메라를 통해 제공되는 영상에서 원하는 대상을 용이하게 검출할 수 있도록 지원하는 다양한 영상 분석 알고리즘이 제공되고 있다. 그리고, 이와 같은 자원을 이용하여 감시 지역에서 특정 이벤트가 발생한 대상 객체를 용이하게 식별하여 관리자에게 통지하는 영상 감시 시스템(VMS, video management system)의 발전이 두드러지고 있다.

이러한, 영상 감시 시스템은 카메라를 통해 제공되는 영상에서 사용자가 지정한 다양한 이벤트를 설정받아 영상 분석을 수행한다. 이러한 영상 분석의 일례로, 특정 패턴을 가진 객체를 선택하거나, 영상에서 가상의 라인 또는 영역을 지정하고 해당라인 또는 영역을 침범하는 객체를 추적하거나, 영상에서 기존에 없던 물체가 등장하는 등과 같은 다양한 이벤트 조건을 설정받아 이벤트가 발생한 객체에 대한 정보를 제공할 수 있다.

그런데, 기존의 영상 감시 시스템에서는 3차원 실제 세상(real world)을 대상으로 함에도 불구하고, 촬영된 2차원 영상만을 가지고 영상 분석을 하기 때문에 정확도나 가용성 면에서 한계를 가질 수 밖에 없다.

일 예로, 영상 내의 물체(object)가 특정 경계를 넘어 들어오거나(enter) 나가는가(exit)을 분석할 때, 통상의 감시 카메라의 기울어진 뷰(tilted view) 감시하면 더 넓은 감시 범위(surveillance coverage)를 가질 수 있다. 그러나 이 경우에도 영상 자체는 2차원 데이터이기 때문에 3차원 공간 상에서 물체의 위치를 정확이 판단하기는 어렵다. 그래서 통상은 천정 뷰(top view)로 카메라를 설치하여 물체의 위치를 판단할 수 있는데 이 경우에는 감시 범위가 좁아진다는 한계가 있다.

따라서, 원천적으로 3차원 영상을 촬영할 수 있는 3차원 감시 카메라를 고려해 볼 수 있다. 이러한 3차원 감시 카메라의 대표적인 예로 스테레오 카메라는 소정의 이격 거리만큼 떨어진 거리에 배치된 한쌍의 카메라를 이용하여, 촬영된 영상의 깊이를 측정하는 장치이다. 스테레오 카메라는 사람의 양안과 유사하게, 좌측 영상 및 우측 영상에서의 편차가 클수록 먼 거리에 위치하는 물체로 인식한다.

3차원 감시 카메라의 다른 방식으로는 통상의 감시 카메라에 근접 센서를 구비하는 시스템이다. 즉, 감시 카메라로부터 얻어지는 2차원 영상에, 근접 센서(라이다, 초음파 센서 등)를 이용하여 얻어지는 깊이 정보를 이용하여 3차원 영상을 획득할 수 있다.

그러나, 이상에서 설명한 3차원 감시 카메라는, 다수의 카메라가 다수의 위치에 배치되어야 하는 영상 감시 시스템의 환경에는 적합하지 않다. 감시 환경에 따라 그 설치가 적합하지 않을 수도 있을 뿐만 아니라 비용도 매우 비싸게 소요된다는 분명한 한계가 존재한다.

한국특허공보 1612483호 (2016.4.7. 등록)

본 발명이 이루고자 하는 기술적 과제는, 영상 감시 장치와 별도로 구비된 머신러닝 서버에서 사전학습 모델을 제공받아, 카메라에 의해 촬영된 영상으로부터 깊이 정보를 추정하여 3차원 영상을 생성하는 영상 감시 장치를 제공하고자 하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 상기 생성된 3차원 영상에 대한 이벤트로부터 얻어지는 3차원 메타데이터를 추출하고, 이를 기초로 상기 촬영된 영상을 검색할 수 있는 영상 감시 장치를 제공하고자 하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 관리 장치는, 감시 카메라로부터 촬영된 영상을 수신하는 통신부; 상기 촬영된 영상에 대한 사전학습 모델(pre-trained model)을 서버로부터 제공받고, 상기 학습된 모델을 이용하여 상기 촬영된 영상에 대해 깊이 정보를 추정하는 깊이 추정부; 상기 추정된 깊이 정보가 제공된 상기 감시 카메라로부터, 수신되는 메타데이터를 저장하는 저장부; 및 상기 저장된 메타데이터를 기초로 상기 촬영된 영상을 검색하는 영상 검색부를 포함한다.

일 실시예에서, 상기 메타데이터는 상기 촬영된 영상에 상기 깊이 정보가 적용된 3차원 영상에서 얻어지는 3차원 이벤트에 관한 3차원 메타데이터이다.

일 실시예에서, 상기 깊이 추정부는 상기 촬영된 영상을 모노큘러 영상으로 변환하고, 상기 모노큘러 영상에 대해 상기 깊이 정보를 추정한다.

일 실시예에서, 상기 영상 관리 장치는 상기 검색된 영상을 시각적으로 디스플레이하는 영상 표시부를 더 포함한다.

일 실시예에서, 상기 서버는 머신러닝(machine learning) 서버이고, 상기 서버는 머신러닝 알고리즘에 의해 상기 촬영된 영상에 대해 상기 사전학습 모델을 생성하고, 상기 생성된 사전학습 모델을 상기, 영상 관리 장치의 플랫폼에 맞게 변환한다.

일 실시예에서, 상기 깊이 추정부는, 상기 촬영된 영상에 모션이 존재하는지를 검출하고, 상기 촬영된 영상 중에서 상기 모션이 검출되지 않거나, 상기 모션이 기준치 이하인 영상에 대해 상기 깊이 정보를 추정한다.

또한, 상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 감시 카메라는, 피사 영역으로부터 영상을 촬영하는 이미지 센서; 상기 촬영된 영상을 영상 관리 장치에 전송하고, 상기 영상 관리 장치로부터 상기 깊이 정보를 수신하는 통신부; 상기 촬영된 영상 및 상기 수신된 깊이 정보가 적용된 3차원 영상으로부터 3차원 이벤트를 검출하는 이벤트 검출부; 및 상기 검출된 3차원 이벤트에 대응되는 메타데이터를 상기 촬영된 영상에 대응하여 생성하는 메타데이터 생성부를 포함한다.

일 실시예에서, 상기 이벤트 검출부는 상기 촬영된 영상으로부터 2차원 이벤트를 검출하고, 상기 메타데이터 생성부는 상기 2차원 이벤트에 대응되는 메타데이터를 상기 촬영된 영상에 대응하여 생성한다.

일 실시예에서, 상기 통신부는 상기 생성된 2차원 메타데이터와 상기 생성된 3차원 메타데이터를 상기 영상 관리 장치에 전송한다.

또한, 상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 영상 관리 방법은, 이미지 센서에 의해 피사 영역으로부터 영상을 촬영하는 단계; 상기 촬영된 영상에 대해 사전학습 모델을 서버로부터 제공받고, 상기 사전학습 모델을 이용하여 상기 촬영된 영상에 대해 깊이 정보를 추정하는 단계; 상기 촬영된 영상 및 상기 수신된 깊이 정보가 적용된 3차원 영상으로부터 3차원 이벤트를 검출하는 단계; 상기 검출된 3차원 이벤트에 대응되는 메타데이터를 상기 촬영된 영상에 대응하여 생성하는 단계; 및 상기 생성된 메타데이터를 기초로 상기 촬영된 영상을 검색하는 단계를 포함한다.

본 발명에 따른 영상 관리 장치에 의하면, 3차원 카메라를 사용하지 않고도 촬영된 영상으로부터 깊이 정보를 추정하여 3차원 영상을 획득함으로써 감시 정확도나 가용성을 향상시킬 수 있다.

본 발명에 따른 영상 관리 장치에 의하면, 영상 관리 장치와 별도로 외부에 구비된 머신러닝 서버를 통해 촬영된 영상에 대한 사전학습 모델을 제공받음으로써 컴퓨팅 파워 및 리소스를 절감할 수 있다.

본 발명에 따른 영상 관리 장치에 의하면, 통상의 2차원 이벤트에서 향상된 3차원 이벤트를 제공하며 이에 대응되는 3차원 메타데이터를 통해 영상 검색을 효율적으로 수행할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 영상 관리 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 머신러닝 서버의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 관리 장치의 구성을 도시한 블록도이다.
도 4a는 움직이는 물체가 없는 영상을 예시한 도면이다.
도 4b는 도 4a의 영상에 대해 깊이 추정을 수행하여 깊이 정보를 표시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 감시 카메라의 구성을 도시한 블록도이다.
도 6은 감시 카메라에 의해 촬영된 영상에서 침입자가 출현한 예를 보여주는 영상의 예시이다.
도 7은 본 발명의 일 실시예에 따른 영상 관리 방법을 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 관리 시스템(10)을 도시한 도면이다. 영상 관리 시스템(10)은 머신러닝 서버(100), 영상 관리 장치(200) 및 감시 카메라(300)를 포함하여 이루어질 수 있다.

먼저, 머신러닝 서버(100)는 영상 관리 장치(200)에서 제공된 2차원 촬영 영상에 대해 머신러닝을 수행하고 그 결과를 영상 관리 장치에 제공한다. 상기 머신러닝 중에서 널리 알려진 딥 러닝(deep learning) 방식은 일반적으로 다양한 환경에서 촬영된 영상을 학습하는 학습 과정(training phase)과, 특정 영상을 상기 학습 과정으로부터 얻어진 결과에 적용하는 간섭 단계(inferencing phase)로 이루어진다. 특히, 상기 학습 과정에서는 매우 큰 계산 파워(computation power)가 소모되기 때문에 머신러닝 서버(100)는 매우 높은 사양의 프로세서와 메모리 등의 자원을 필요로 한다.

영상 관리 장치(200)는 기본적으로 감시 카메라로부터 제공된 영상 및 메타데이터를 검색/표시하는 모니터링 기능과, 상기 감시 카메라의 초기 설정을 수행하는 기능을 갖는다. 영상 관리 장치(200)는 이동성을 제공하기 위해 감시 카메라의 펌웨어에 같이 패키징되어 감시 카메라와 일체로 형성될 수도 있고, 상기 감시 카메라와 분리된 별도의 장치로서 제공될 수도 있다. 본 발명에서는 영상 관리 장치(200)가 감시 카메라(300)와 별도로 구비되어 상호간에 통신하는 것으로 예시한다.

상기 영상 관리 장치(200)는 감시 카메라에서 촬영된 영상에 대해 깊이 추정을 수행하여 깊이 정보를 얻는다. 본 발명에서는 이러한 깊이 추정을 위해 사용되는 사전학습 모델(pre-trained model)의 크기도 매우 크고, 이를 확보하기 위한 연산량도 많기 때문에 상기와 같이 영상 관리 장치(200)와 네트워크로 연결되는 머신러닝 서버 내지 CDN(content delivery network)(100)을 별도로 구비한다. 따라서, 머신러닝 서버(100)는 영상 관리 장치(200)에서 제공된 촬영 영상에 대해 가장 적합한 사전학습 모델을 제공한다. 영상 관리 장치(200)는 상기 사전학습 모델을 제공받아 초기 설정에서 영상의 깊이 정보를 추출한다.

감시 카메라(300)는 기본적으로 영상을 촬영하여 영상 관리 장치(200)에 제공하는 역할을 한다. 여기에 추가적으로 영상 분석(video analytic)을 수행하여 이벤트 정보를 추출하여 메타데이터의 형태로 영상 관리 장치(200)에 전송한다. 이 때, 감시 카메라(300)는 통상적으로 촬영된 2차원 영상의 2차원 메타데이터를 생성하지만, 영상 관리 장치(200)로부터 상기 촬영된 2차원 영상의 깊이 정보를 제공받아 3차원 메타데이터를 생성하여 영상 관리 장치(200)에 제공할 수 있다. 결국, 영상 관리 장치(200)는 상기 3차원 메타데이터를 이용함으로써 촬영된 2차원 영상의 검색을 보다 정확하고 광범위하게 수행할 수 있게 된다.

도 2는 본 발명의 일 실시예에 따른 머신러닝 서버(100)의 구성을 도시한 블록도이다. 머신러닝 서버(100)는 통신 버스(105)와 연결된 프로세서(110) 및 메모리(120)를 포함한다. 프로세서(110)는 RAM과 같은 휘발성 메모리 소자 또는 ROM과 같은 비휘발성 메모리 소자 형성된 메모리(120)에 다양한 처리 명령, 쓰레드 등을 로딩(loading)하고 이들을 처리하는 기능을 갖는다. 또한 프로세서(110)는 통신 버스(105)에 연결된 다양한 다른 구성요소들(130, 140, 150)의 동작을 제어한다.

이 중에서, 학습 모델 생성부(140)는 다양한 환경에서 촬영된 영상을 학습하여 깊이 정보를 추출하기 위한 기준 학습 모델들을 생성한다. 이러한 기준 학습 모델들은 다양한 영상들을 대상으로 하고 그것이 갖는 실제 결과의 정확성 스코어를 피드백 받아 지속적으로 업데이트된다. 또한, 학습 모델 영상 관리 장치(200)로부터 특정 영상이 제공되면, 생성부(140)는 상기 기준 학습 모델들을 기초로 상기 특정 영상에 대한 사전학습 모델(pre-trained model)을 제공한다.

이러한 학습은 CNN(Convolutional Neural Network)과 같은 딥 러닝(deep learning) 알고리즘을 이용하여 이루어진다. 상기 CNN은, 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델로서, 최근 영상 인식이나 음성 인식 분야에 많이 활용되고 있는 알고리즘이다. 상기 CNN에서는 기본적으로 컨볼루션 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수 등이 함께 사용된다.

이와 같이, 학습 모델 생성부(140)가 상기 촬영된 영상에 대한 사전학습 모델을 생성하면, 생성된 사전학습 모델은 포맷 변환부(150)에 의해 영상 관리 장치(200)의 플랫폼에 적합하도록 변환될 수 있다. 예를 들어, 영상 관리 장치(200)가 모바일 환경이면 filename.lite와 같은 파일 형식으로 변환되고, PC용 브라우저 환경이라면 filename.js와 같은 자바 플랫폼 형태로 변환될 수 있다.

이와 같이 변환된 사전학습 모델에 관한 데이터는 통신부(130)를 통하여 영상 관리 장치(200)로 전송된다. 상기 통신부(130)는 LTE(Long-Term Evolution), 802.11a/b/n (WLAN), 802.15.3(WPAN) 등과 같은 무선 매체와, 802.3(이더넷)와 같은 무선 매체로 구현될 수 있다.

다음으로, 도 3은 본 발명의 일 실시예에 따른 영상 관리 장치(200)의 구성을 도시한 블록도이다.

영상 관리 장치(200)는 통신 버스(205)와 연결된 프로세서(210) 및 메모리(220)를 포함한다. 프로세서(210)는 RAM과 같은 휘발성 메모리 소자 또는 ROM과 같은 비휘발성 메모리 소자 형성된 메모리(220)에 다양한 처리 명령, 쓰레드 등을 로딩하고 이들을 처리하는 기능을 갖는다. 또한 프로세서(210)는 통신 버스(205)에 연결된 다양한 다른 구성요소들(230 내지 280)의 동작을 제어한다.

기본적으로, 영상 관리 장치(200)는 통신부(230), 영상 디코더(240), 깊이 추정부(250) 및 저장부(260)를 포함하며, 영상 검색부(270) 및 영상 표시부(280)를 더 포함할 수 있다.

통신부(230)는 감시 카메라(300)로부터 촬영된 영상을 수신한다. 이와 같이 수신된 영상은 영상 디코더(240)를 거쳐 깊이 추정부(250)에 제공된다. 한편, 통신부(230)는 머신러닝 서버(100)에 상기 촬영된 영상을 전송하고, 머신러닝 서버(100)에서 학습을 통해 얻어진 사전학습 모델을 수신하여 깊이 추정부(250)에 제공한다.

감시 카메라(300)와 영상 관리 장치(200) 간의 안정적인 영상 전송을 위해, 통신부(230)는 RTP/RTSP(Real Time Transport Protocol / Real Time Streaming Protocol) 패킷을 웹소켓(websocket) 상으로 전송하는 방식을 사용한다. 이러한 웹소켓 연결 자체는 HTML5 표준인 웹소켓 프로토콜에 따라 이루어진다.

특히, 상기 웹소켓 연결은 양방향 통신을 지속적으로 지원하기 때문에, 감시 카메라(300)와 영상 관리 장치(200) 간에 연결이 끊기지 않고 계속적으로 데이터를 송수신할 수 있도록 할 수 있다. 먼저, 영상 관리 장치(200)의 통신부(230)는 감시 카메라(300)의 통신부(330)에 TCP/IP 연결 요청 메시지(TCP/IP connection request)을 전송하고, 통신부(330)가 이를 수락하여 TCP 응답 메시지(SYN-ACK)를 통신부(230)에 전송하면 TCP/IP 연결이 수립된다.

TCP 전송 연결은 로컬 TCP 소켓 및 원격 TCP 소켓의 페어(pair)에 의해 형성될 수 있는데, 각각의 TCP 소켓은 적어도 포트 번호와 IP 주소와 같은 식별자에 의하여 정의된다. 물론, 이러한 TCP/IP 기반의 연결 대신에 양자 간에 UDP/IP 기반의 연결을 수립할 수도 있다.

이후, 통신부(230)와 통신부(330) 간에 핸드쉐이크 과정을 통해 양자 간에 웹소켓 연결이 수립되면, 그 이후에는 양자 간의 지속적인 데이터의 송수신이 가능해진다. 즉, 통신부(230)는 통신부(330)에 영상 스트리밍 요청을 전송 웹소켓 패킷(socket.send)의 형태로 전송하고, 통신부(330)는 통신부(230)에 영상 스트림을 응답 웹소켓 패킷(socket.onMessage)의 형태로 전송한다. 이러한 과정은 영상 스트림 전송이 중지되거나 완료될 때까지 지속적으로 양자 간에 이루어 질 수 있다.

다시 도 3을 참조하면, 영상 디코더(240)는, MJPEG, MPEG-4, H.264, H.265 등의 영상 코딩 규격에 따라 부호화된 영상 스트림(감시 카메라(300)로부터 촬영된 영상)을 복호화한다. 또한 일반적으로 영상 디코더(240)는, MP3 (MPEG layer-3), G.711, G.726, AC3(Audio Codec code 3), DTS(Digital Theatre System), FLAC(free lossless audio codec), AAC(Advanced Audio Coding) 등 음성 코딩 규격에 따라 부호화된 음성 데이터를 복호화하는 기능도 아울러 갖는다.

깊이 추정부(250)는 영상 디코더(240)에서 디코딩된 시각적으로 확인 가능한 영상과, 상기 영상에 대해 머신러닝 서버(100)로부터 제공된 사전학습 모델(pre-trained model)을 이용하여 상기 촬영된 영상에 대해 깊이 정보를 추정한다.

깊이 추정부(250)는 예를 들어, 사전학습 모델에 깊이 구배(depth gradient)를 적용하여 입력되는 2차원 영상에 대한 깊이 정보를 추정할 수 있다. 이러한 깊이 구배는 깊이 정보에서 각 화소 별로 부여된 깊이 값의 차이를 나타내는 값으로, 예를 들어, 인접 화소와 깊이 값이 동일한 경우 깊이 구배 값은 0이 될 수 있다. 깊이 추정부(250)는 이러한 깊이 추정의 알고리즘을 단순화하고 깊이 추정의 정확성을 제고하기 위해 사전에 상기 2차원 영상을 모노큘러(monocular) 영상으로 변환해 둘 수도 있다.

이러한 깊이 추정의 과정은, 각각의 컨텍스트에 존재하는 다중 깊이 신호간의 상호 의존성을 고려함에 의해 컨텍스트의 폭의 크기를 이용하여 거리 화상 시퀀스를 생성하는 방식으로 이루어진다. 상기 거리 화상 시퀀스는 복수의 2차원 비디오 시퀀스의 프레임을 위한 모노큘러 깊이 신호를 결정하여 만들어지고, 깊이 추정부(250)는 상기 사전학습 모델에 상기 모노큘러 깊이 신호를 인가시킨다.

한편, 이러한 깊이 추정 과정의 정확도를 제고하기 위해 깊이 추정부(250)는, 상기 촬영된 영상에 모션이 존재하는지를 검출하고, 상기 촬영된 영상 중에서 모션이 검출되지 않거나, 모션이 적은(모션벡터의 합이 기준치 이하인) 영상에 대해 상기 깊이 정보를 추정한다. 깊이 정보는 움직이는 물체 같이 시간적으로 변화하는 영상의 보다는 고정된 배경 영상에 대해 보다 강인(robust)한 속성을 가지므로, 움직임이 없는 영상을 대상으로 할 경우에 깊이 추정의 효율성 및 정확도가 향상된다. 또는 추가적인 알고리즘을 적용하여 움직이는 물체를 포함하는 영상에서 움직이는 물체를 제외하고 움직임이 없는 물체(벽, 가구 등과 같은 설치물)들에 대해서만 깊이 정보를 추출할 수도 있을 것이다.

도 4a는 움직이는 물체가 없는 영상을 예시한 도면이다. 도 4a와 같이 물체가 없는 즉 모션이 없는 영상을 이용하여 깊이 추정을 수행하면 고정된 배경에 대한 정확한 깊이 추정이 이루어질 수 있다. 만약, 움직이는 물체가 포함된 영상에서 깊이 추정을 수행하면 물체의 모션의 크기만큼 노이즈가 생성되기 때문에 깊이 추정의 정확성이 그만큼 줄어들게 된다.

도 4a와 같은 영상에 깊이 추정을 적용한 예는 도 4b와 같이 도시된다. 도 4b를 참조하면, 감시 카메라(300)에서 촬영된 영상의 2차원 픽셀 사이즈는 대략 350x250으로 표시되고 여기에 각각의 픽셀에 대해 명암으로 깊이 정보가 표시되어 있다. 이러한 깊이 정보는 관찰자로부터의 깊이의 크기를 나타내는 상대적인(scaled) 깊이 값으로서, 대략 -0.18부터 -0.30의 범위로 나타난다. 이와 같이, 촬영된 2차원 영상에 속하는 각각의 픽셀에 대해 깊이 값이 정의됨으로써 카메라가 바라보는 시각을 기준으로 3차원 영상이 생성될 수 있는 것이다. 이와 같이 모노큘러 영상으로부터 깊이 추정을 수행하기 위해 현재까지 알려진 다양한 알고리즘을 이용할 수 있는데, 예를 들어, 2019년 1월 27일에 Cornell University에 제출된 "Monocular Depth Estimation: A Survey"(저자: Amlaan Bhoi)를 참조할 수 있다.

이러한 과정을 통하여 얻어진 깊이 정보는 통신부(230)에 의해 다시 감시 카메라(300)에 제공되고, 감시 카메라(300)로부터는 상기 깊이 정보가 반영된 촬영 영상에 대한 메타데이터(즉, 3차원 메타데이터)를 통신부(230)를 통해 수신한다.

다시 도 3을 참조하면, 저장부(260)는 감시 카메라(300)에서 제공되는 촬영 영상 및 메타데이터를 통신부(230)로부터 제공받아 저장한다. 그리고 추후 사용자가 영상을 검색할 때, 상기 영상과 더불어 메타데이터를 로딩하여 영상 검색부(270)에 전달한다. 이를 위해, 저장부(260)는 영상 관리 장치(200)에 탑재된 하드 디스크, 플래시 메모리, SSD, CD-ROM 등과 같은 다양한 하드웨어적인 스토리지 매체를 포함할 수 있다. 다만, 이에 제한되지 않고 NVR(Network Video Recorder) 등과 같이 별도의 장치로 제공되거나 클라우드(Cloud)와 같이 서버가 저장 장치로서 사용되는 등 다양한 개선된 형태로 제공될 수 있다.

영상 검색부(270)는 사용자의 요청에 따라 저장부(260)에 저장된 메타데이터를 기초로 상기 촬영된 영상을 검색하고, 영상 표시부(280)는 상기 검색된 영상을 시각적으로 디스플레이한다.

영상 검색부(270)는 감시 카메라(300)로부터 제공된 메타데이터를 그대로 이용할 수도 있고 상기 메타데이터에 사용자가 설정한 논리적 연산을 수행하여 보다 복잡한 형태의 메타데이터를 이용할 수도 있다. 예를 들어, 소정 시간동안 촬영된 영상 내에서 특정한 이벤트(예: 특정 패턴을 가진 객체의 출현, 가상의 라인 또는 영역을 침범하는 객체를 탐지, 영상에서 기존에 없던 물체의 등장 등)를 갖는 영상만을 신속히 검색하여 시각적으로 확인할 수 있다.

이와 같이 감시 카메라(300)로부터 영상 검색부(270)에 제공되는 메타데이터는, 감시 카메라(300)에 깊이 정보와 촬영된 영상으로부터 얻어진 것이므로 3차원 이벤트에 관한 3차원 메타데이터이다. 물론, 상기 메타데이터는 이와 더불어 기존의 2차원 메타데이터도 더 포함할 수 있다.

도 5는 본 발명의 일 실시예에 따른 감시 카메라(300)의 구성을 도시한 블록도이다.

감시 카메라(300)는 통신 버스(305)와 연결된 프로세서(310) 및 메모리(320)를 포함한다. 프로세서(310)는 RAM과 같은 휘발성 메모리 소자 또는 ROM과 같은 비휘발성 메모리 소자 형성된 메모리(320)에 다양한 처리 명령, 쓰레드 등을 로딩하고 이들을 처리하는 기능을 갖는다. 또한 프로세서(310)는 통신 버스(305)에 연결된 다양한 다른 구성요소들(330 내지 350)의 동작을 제어한다.

이 중에서, 이미지 센서(360)는 피사 영역으로부터 영상을 촬영한다. 이러한 영상 촬영은 피사 영역으로부터 온 광이 CCD(Charge Coupled Device)나 CMOS(Complimentary Meta Oxide Semiconductor)와 같은 소자에 의해 감광되어 각 픽셀 단위로 전기신호를 발생하는 형태로 이루어진다.

통신부(330)는 전술한 바와 같이, 영상 관리 장치(200)의 통신부(230)와 RTP/RTSP 패킷을 웹소켓 상에서 전송하는 방식으로, 이미지 센서(360)에서 촬영된 영상을 영상 관리 장치(200)에 전송한다.

한편, 이벤트 검출부(340)는 상기 촬영된 영상 및 상기 수신된 깊이 정보가 적용된 3차원 영상으로부터 3차원 이벤트를 검출한다. 이러한 3차원 이벤트란 2차원 영상에 의해 얻어지는 2차원 이벤트에 비해 깊이 차원이 더 부가된 이벤트이다. 예를 들어, 도 6과 같은 촬영 영상이 있다고 할 때, 침입자(55)가 화면에 표시되거나 영상에서 발견되는 경계선(54)을 넘어가는지를 판단하는 것은 기존의 2차원 이벤트로도 정의할 수 있다. 예를 들어, 침입자(55)의 발이 경계선(54)과 겹쳐지는 상태일 때, 침입자(55)가 경계선(54)에 위치한 이벤트라고 판단할 수 있고, 그 경계선(54)으로부터 이탈될 때 칩입자(55)가 경계선(54)을 넘어 들어가거나 경계선(54)으로부터 빠져나오는 이벤트라고 판단할 수 있을 것이다.

그러나, 전술한 바와 같은 깊이 정보가 부가되지 않으면, 즉 2차원 영상 자체로는 칩입자(55)가 복수의 출입문(51, 72, 73) 중에서 어느 문에 접근해 있는지는 판단할 수 없다. 예를 들어, 도 6에서 칩입자(55)는 출입문(52)에 근접해 있음에도 2차원 영상의 관점에서는 출입문(51)에 보다 근접한 것으로 보이기 때문에, 침입자(55)가 출입문(52)에 근접하는 이벤트가 감지되면 알람을 발생하는 시스템에서 아예 감지가 불가능하거나 오경보(false alarm)를 일으키게 되는 것이다. 본 발명에서는 이와 같이 깊이 정보가 부가되어야만 정의될 수 있는 이벤트를 3차원 이벤트라고 명명한다.

메타데이터 생성부(350)는 상기 검출된 3차원 이벤트에 대응되는 메타데이터(3차원 메타데이터)를 상기 촬영된 영상에 대응하여 생성한다. 촬영된 영상은 2차원 영상이지만 그 시간 정보와 대응되도록 3차원 메타데이터를 매칭되도록 저장함으로써 어느 시점에 어떠한 이벤트가 발생하였는지를 손쉽게 확인할 수 있게 된다.

이와 같이, 이벤트 검출부(340)는 3차원 이벤트를 검출하고, 메타데이터 생성부(350)는 이에 대응되는 3차원 메타데이터를 상기 촬영된 2차원 영상에 대응하여 생성/저장할 수 있으나, 기존의 2차원 이벤트 및 2차원 메타데이터의 사용을 배제하는 것은 아니다. 따라서, 이벤트 검출부(340)는 상기 촬영된 영상으로부터 단순히 2차원 이벤트를 검출하고, 메타데이터 생성부(350)는 상기 2차원 이벤트에 대응되는 2차원 메타데이터를 상기 촬영된 영상에 대응하여 생성하는 것도 가능하다.

이상의 과정을 통하여, 메타데이터 생성부(350)에서 생성된 2차원 또는 3차원 메타데이터는 통신부(330)를 통하여 영상 관리 장치(200)에 전송된다.

도 7은 본 발명의 일 실시예에 따른 영상 관리 방법을 도시한 흐름도이다. 상기 영상 관리 방법은 영상 관리 시스템(10) 중에서 감시 카메라(300) 및 이와 별도의 영상 관리 장치(200)를 포괄한 범위 내에서 수행되는 것으로 설명하지만, 이에 한하지 않고 감시 카메라(300)가 영상 관리 장치(200)에 통합되는 경우도 배제하지 않는다.

먼저, 이미지 센서(360)에 의해 피사 영역으로부터 영상이 촬영된다(S71). 그 후, 상기 촬영된 영상에 대응되는 사전학습 모델(pre-trained model)을 머신러닝 서버(100)로부터 제공받는다(S72).

상기 제공된 사전학습 모델을 이용하여 상기 촬영된 영상에 대해 깊이 정보가 추정된다(S73). 이러한 깊이 추정을 수행하는 깊이 추정부(250)는 깊이 추정의 알고리즘을 단순화하고 깊이 추정의 정확성을 제고하기 위해 사전에 상기 2차원 영상을 모노큘러 영상으로 변환해 둘 수 있다. 또한, 이러한 깊이 추정 과정의 정확도를 보다 제고하기 위해 깊이 추정부(250)는, 상기 촬영된 영상에 모션이 존재하는지를 검출하고, 상기 촬영된 영상 중에서 모션이 검출되지 않거나, 모션이 적은(모션벡터의 합이 기준치 이하인) 영상에 대해 상기 깊이 정보를 추정한다. 또는 깊이 추정부(250)는 추가적인 알고리즘을 적용하여 움직이는 물체를 포함하는 영상에서 움직이는 물체를 제외하고 움직임이 없는 물체들에 대해서만 깊이 정보를 추출할 수도 있다.

이와 같이 추정된 깊이 정보는 통신부(230)를 통하여 감시 카메라(300)에 전송되고(S74), 이벤트 검출부(340)에 의해 상기 촬영된 영상 및 상기 수신된 깊이 정보가 적용된 3차원 영상으로부터 3차원 이벤트가 검출된다(S75).

이후, 메타데이터 생성부(350)에 의해, 상기 검출된 3차원 이벤트에 대응되는 3차원 메타데이터가 상기 촬영된 영상에 대응하여 생성되고(S76), 상기 생성된 3차원 메타데이터는 통신부(330)를 통하여 영상 검색 장치(200)로 전송된다(S77).

따라서, 영상 검색 장치(200)의 사용자는, 감시 카메라(300)에서 제공된 3차원 메타데이터를 그대로 이용하거나, 다양한 사용자 검색 조건(예: 복수의 이벤트 간의 논리 연산)을 추가로 적용하여, 3차원 메타데이터에 대응되는 2차원 촬영 영상을 검색한다(S78). 이렇게 검색된 결과는 디스플레이를 통해 표시되거나 음성 기타 다른 방식으로 사용자에게 전달될 수 있다(S79).

지금까지 도 2, 3 및 5에 도시된 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

10: 영상 관리 시스템 100: 머신러닝 서버
110, 210, 310: 프로세서 120, 220, 320: 메모리
130, 230, 330: 통신부 140: 학습 모델 생성부
150: 포맷 변환부 200: 영상 관리 장치
240: 영상 디코더 250: 깊이 추정부
260: 저장부 270: 영상 검색부
280: 영상 표시부 300: 감시 카메라
340: 이벤트 검출부 350: 메타데이터 생성부
360: 이미지 센서

Claims (10)

1. 감시 카메라로부터 촬영된 영상을 수신하는 통신부;
   상기 촬영된 영상에 대한 사전학습 모델(pre-trained model)을 서버로부터 제공받고, 상기 학습된 모델을 이용하여 상기 촬영된 영상에 대해 깊이 정보를 추정하는 깊이 추정부;
   상기 추정된 깊이 정보가 제공된 상기 감시 카메라로부터, 수신되는 메타데이터를 저장하는 저장부; 및
   상기 저장된 메타데이터를 기초로 상기 촬영된 영상을 검색하는 영상 검색부를 포함하는, 영상 관리 장치.
2. 제1항에 있어서, 상기 메타데이터는
   상기 촬영된 영상에 상기 깊이 정보가 적용된 3차원 영상에서 얻어지는 3차원 이벤트에 관한 3차원 메타데이터인, 영상 관리 장치.
3. 제1항에 있어서, 상기 깊이 추정부는
   상기 촬영된 영상을 모노큘러 영상으로 변환하고, 상기 모노큘러 영상에 대해 상기 깊이 정보를 추정하는, 영상 관리 장치.
4. 제1항에 있어서,
   상기 검색된 영상을 시각적으로 디스플레이하는 영상 표시부를 더 포함하는, 영상 관리 장치.
5. 제1항에 있어서, 상기 서버는
   머신러닝 알고리즘에 의해 상기 촬영된 영상에 대해 상기 사전학습 모델을 생성하고,
   상기 생성된 사전학습 모델을 상기, 영상 관리 장치의 플랫폼에 맞게 변환하는, 영상 관리 장치.
6. 제1항에 있어서,
   상기 깊이 추정부는, 상기 촬영된 영상에 모션이 존재하는지를 검출하고, 상기 촬영된 영상 중에서 상기 모션이 검출되지 않거나, 상기 모션이 기준치 이하인 영상에 대해 상기 깊이 정보를 추정하는, 영상 관리 장치.
7. 피사 영역으로부터 영상을 촬영하는 이미지 센서;
   상기 촬영된 영상을 영상 관리 장치에 전송하고, 상기 영상 관리 장치로부터 상기 깊이 정보를 수신하는 통신부;
   상기 촬영된 영상 및 상기 수신된 깊이 정보가 적용된 3차원 영상으로부터 3차원 이벤트를 검출하는 이벤트 검출부; 및
   상기 검출된 3차원 이벤트에 대응되는 메타데이터를 상기 촬영된 영상에 대응하여 생성하는 메타데이터 생성부를 포함하는, 감시 카메라.
8. 제7항에 있어서,
   상기 이벤트 검출부는 상기 촬영된 영상으로부터 2차원 이벤트를 검출하고,
   상기 메타데이터 생성부는 상기 2차원 이벤트에 대응되는 메타데이터를 상기 촬영된 영상에 대응하여 생성하는, 감시 카메라.
9. 제8항에 있어서,
   상기 통신부는 상기 생성된 2차원 메타데이터와 상기 생성된 3차원 메타데이터를 상기 영상 관리 장치에 전송하는, 감시 카메라.
10. 적어도 하나의 프로세서에 의해 수행되는 영상 처리 방법으로서,
    이미지 센서에 의해 피사 영역으로부터 영상을 촬영하는 단계;
    상기 촬영된 영상에 대해 사전학습 모델을 서버로부터 제공받고, 상기 사전학습 모델을 이용하여 상기 촬영된 영상에 대해 깊이 정보를 추정하는 단계;
    상기 촬영된 영상 및 상기 수신된 깊이 정보가 적용된 3차원 영상으로부터 3차원 이벤트를 검출하는 단계;
    상기 검출된 3차원 이벤트에 대응되는 메타데이터를 상기 촬영된 영상에 대응하여 생성하는 단계; 및
    상기 생성된 메타데이터를 기초로 상기 촬영된 영상을 검색하는 단계를 포함하는, 영상 처리 방법.
    

Images