KR102249380B1 - 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템 - Google Patents

Abstract

기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템은기준 위치 데이터와, 기준 영상을 생성하는데 설정된 시야 방향을 정의하는 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터가 포함된 기준 기하 정보와 연계하여 기준 영상 데이터를 저장하는 기준 영상 데이터베이스부와, CCTV 장치로부터 취득한 영상 데이터와 관련되어 적어도 2차원 위치 데이터를 갖는 제 2 외부 기하 데이터가 포함된 CCTV 기하 정보를 획득하고, 적어도 상기 기준 위치 데이터 및 상기 2차원 위치 데이터를 참조하여 상기 기준 영상 데이터와 정합 가능한 상기 영상 데이터를 검색하여 선정하는 검색 선정부와, 상기 기준 영상 데이터와 상기 선정된 영상 데이터 간에 상호 정합하는 정합부와, 상기 기준 영상 데이터를 참조하는 기하 변환 모델링에 의해 상기 선정 영상 데이터의 상기 CCTV 기하 정보를 기하 변환하여 상기 2차원 위치 데이터보다 정확도가 높은 보정용 위치 데이터가 포함되는 보정 CCTV 기하 정보를 생성하는 기하 변환부, 및 상기 보정용 CCTV 기하 정보 및 정합 정보에 기초하여, 상기 CCTV 장치의 영상 데이터로부터 CCTV 영상 정보를 생성하는 영상 정보 생성부를 포함한다.

Description

기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템{System for generating spatial information of CCTV device using reference image information}

본 발명은 기준 데이터로서 기 저장된 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템 및 방법에 관한 것이다.

통신기술, 인프라 기술 및 카메라 기술의 발전으로 CCTV는 많은 장소에 설치되어 사용되고 있으며, 국가 정부, 지자체에서도 CCTV를 교통관리용, 재난재해 대비용, 방범용 등 다양한 목적으로 설치하여 활용하고 있다.

이에 다량의 CCTV가 많은 지역에 설치되어 사용되고 있으며, CCTV의 주소 정보 또는 경위도 정보들을 함께 관리하여 해당 위치에서의 상황을 모니터링할 수 있다.

일반적으로 해당 CCTV에 접근하기 위해서는 테이블 형태로 정리되어 있는 데이터베이스에서 주소값 또는 위치값 등 테이블 내 필드값을 통해 해당 CCTV URL에 접근하여 실시간 분석한다.

종래 대부분 분석 기술은 영상 정보 기반의 딥러닝, 머신러닝 기술들을 적용하여 CCTV 내 존재하는 사물과 상황을 인식하고 분석하는 기술들에 대한 많은 연구결과들이 있다.

이와 같은 딥러닝, 머신러닝 기술들과 결합된 CCTV 인프라는 스마트도시 프로젝트의 일부로 다양한 시도가 이루어지고 있다.

그러나, CCTV에 관련된 정보들이 데이터 관리 미흡으로 잘못된 정보가 입력되어 있거나 데이터가 유실되어 있는 경우가 있다.

통상적인 CCTV 표준 데이터는 위치정보의 경우 수 미터에서 수십 미터의 위치 오차를 수반한 경우가 많으며, 또한 일부 CCTV 데이터들은 위치정보가 누락되어 있거나, 위치가 모호하게 기재되어 있는 경우가 많다.

또한 정밀한 공간정보 분석을 위해서는 CCTV의 방향 정보가 필요하나, 방향 정보가 없다는 문제점이 있으므로, 공간정보와 연계되어 지도 형태로 서비스되는데 한계가 있다.

이와 같은 한계는 지역적 또는 광역적으로 대상 지역을 유기적으로 분석하는 경우에 있어서 한계가 있으므로, 이에 대한 분석을 위해서는 CCTV 관제센터 등에 실시간으로 화면 영상들을 모니터링하는 요원들이 요구되고, 영상을 분석하기 위한 인프라 비용이 필요하다. 이로 인해, 스마트도시 구현에 장애물로 작용하고 있다.

한편, CCTV 영상을 통해서 공간정보 서비스를 하기 위해서는 CCTV의 위치 및 자세 정보들이 중요하다. 위치 및 자세 정보는 영상 내에 표출되어 있는 사물들에 대한 지도 상의 위치를 파악하는데 중요한 데이터이다.

이러한 한계점을 극복하기 위해서는 기준 데이터를 구축하여 CCTV의 위치 및 자세에 대한 보정하고, 보정된 정보를 통해 영상 내에서 검출한 사물들의 공간정보를 추출할 수 있어야 한다. 그러나, CCTV들이 산발적으로 분포되어 있어 기준 데이터를 수집하는 것 역시 많은 인력과 비용이 필요하다. 또한 수집된 기준 데이터를 CCTV 영상 정보와 연결시키기 위해서는 CCTV 영상 내에 기준 데이터의 영상 좌표 위치가 등록되어야 한다. 그러나, 이 작업 역시 인력, 비용이 많이 소모되며, CCTV에 줌,팬,틸트 기능이 활성화되어 있을 경우 정확한 위치 자세 값을 파악하기 어렵다는 단점이 있다.

본 발명이 이루고자 하는 기술적 과제는 부정확하거나 일부 지역에서 누락된 위치와 자세 관련 기하 데이터를 갖는 CCTV 장치의 영상 데이터를 관측 센서와 위치 센서 구성된 멀티센서 플랫폼으로부터 생성된 기준 영상 데이터의 기준 영상 정보와 정합하여 기하 변환 등을 수행함으로써, CCTV 장치로 취득한 영상 데이터를 편의성과 높은 정밀도의 공간 정보를 생성하는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템 및 방법을 제공하는데 있다.

본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템은기준 위치 데이터와, 기준 영상을 생성하는데 설정된 시야 방향을 정의하는 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터가 포함된 기준 기하 정보와 연계하여 기준 영상 데이터를 저장하는 기준 영상 데이터베이스부와, CCTV 장치로부터 취득한 영상 데이터와 관련되어 적어도 2차원 위치 데이터를 갖는 제 2 외부 기하 데이터가 포함된 CCTV 기하 정보를 획득하고, 적어도 상기 기준 위치 데이터 및 상기 2차원 위치 데이터를 참조하여 상기 기준 영상 데이터와 정합 가능한 상기 영상 데이터를 검색하여 선정하는 검색 선정부와, 상기 기준 영상 데이터와 상기 선정된 영상 데이터 간에 상호 정합하는 정합부와, 상기 기준 영상 데이터를 참조하는 기하 변환 모델링에 의해 상기 선정 영상 데이터의 상기 CCTV 기하 정보를 기하 변환하여 상기 2차원 위치 데이터보다 정확도가 높은 보정용 위치 데이터가 포함되는 보정 CCTV 기하 정보를 생성하는 기하 변환부, 및 상기 보정용 CCTV 기하 정보 및 정합 정보에 기초하여, 상기 CCTV 장치의 영상 데이터로부터 CCTV 영상 정보를 생성하는 영상 정보 생성부를 포함한다.

다른 실시예에서, 상기 2차원 위치 데이터는 상기 CCTV 장치의 2차원 좌표 또는 상기 CCTV 장치가 설치된 공간의 명칭을 포함하며, 상기 기준 위치 데이터는 상기 제 1 외부 기하 데이터의 2차원 위치 데이터보다 정확도가 높은 2차원 위치 데이터 또는 3차원 위치 데이터로 구성되고, 상기 기준 위치 데이터가 2차원 위치 데이터인 경우에, 상기 CCTV 영상 정보는 2차원 위치 좌표를 포함하고, 상기 기준 위치 데이터가 3차원 위치 데이터인 경우에, 상기 CCTV 영상 정보는 3차원 위치 좌표를 포함할 수 있다.

또 다른 실시예에서, 상기 제 2 외부 기하 데이터는 상기 영상을 생성하는데 설정된 시야 방향을 정의하는 제 2 자세 데이터를 더 포함하고, 상기 검색 선정부는 상기 기준 위치 데이터 및 상기 2차원 위치 데이터에 기초하여 상기 기준 영상 데이터와 대비가능한 상기 영상 데이터의 후보군을 검색하고, 상기 제 1 및 제 2 자세 데이터를 참조하여 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정할 수 있다.

여기서, 상기 기준 기하 정보는 상기 기준 영상을 생성하는데 설정된 센서에 정의된 기하 파라미터에 근거한 제 1 내부 기하 데이터를 더 포함하며, 상기 CCTV 기하 정보는 상기 영상을 생성하는데 설정된 영상 센서에 정의된 기하 파라미터에 근거한 제 2 내부 기하 데이터를 더 포함하고, 상기 검색 선정부에서의 상기 최고의 정합도를 갖는 상기 영상 데이터의 선정 및 상기 기하 변환부에서의 상기 CCTV 기하 정보로의 보정은 상기 제 1 및 제 2 내부 기하 데이터를 더 포함하여 참조할 수 있다.

또 다른 실시예에서, 상기 기준 영상 데이터는 영상 촬영 센서 및 레이저 스캔닝 센서 중 적어도 어느 하나와 측위 센서를 구비하는 외부 이동형 플랫폼으로부터 획득된 영상 정보 및 포인트 클라우드 정보를 상기 센서들 간의 기하 모델을 통해 정합하고 보정하여 융합된 외부 영상 데이터, 혹은, 상기 보정용 CCTV 기하 정보로 보정되어 CCTV 영상 정보로 이미 저장된 보정 영상 데이터일 수 있다.

또 다른 실시예에서, 상기 기준 영상 및 상기 영상 데이터 중 적어도 어느 하나가 왜곡 영상을 발생하는 광역 영상 센서로부터 획득되는 경우에, 상기 왜곡 영상이 발생된 상기 기준 영상 및 상기 영상 데이터는 상기 왜곡 영상이 평면 영상으로 변환된 평면 영상 데이터를 이용하며, 상기 기준 영상이 상기 평면 영상 데이터를 이용하는 경우에, 상기 제 1 자세 데이터는 상기 평면 영상 데이터의 시야 방향으로 정의될 수 있다.

또 다른 실시예에서, 상기 기준 영상이 레이저 스캔닝 센서로부터 기인하는 경우에, 상기 기준 영상은 상기 레이저 스캔닝 센서로부터 획득되는 포인트 클라우드가 변환된 가상의 영상 데이터를 이용하고, 상기 기준 위치 데이터는 상기 가상의 영상 데이터의 위치 데이터로 정의되며, 상기 제 1 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의될 수 있다.

또 다른 실시예에서, 상기 정합부는 상기 선정 영상 데이터와 상기 기준 영상 데이터로부터 특징 기하를 추출하여 비교하여 공통 추정되는 특징 기하들을 상호 정합하거나, 혹은 상기 기준 영상 데이터 내에 지정된 템플릿(template)과 적어도 유사한 상기 선정 영상 데이터를 검색하여, 상기 템플릿들 간의 특성 상관도 분석에 따라 정합하고, 상기 정합 정보는 상기 특징 기하 또는 상기 템플릿이며, 싱기 특징 기하 또는 상기 템플릿은 기준 영상 데이터베이스부에 저장될 수 있다.

또 다른 실시예에서, 상기 보정용 CCTV 기하 정보가 연계된 영상 데이터의 표본용 특징 기하들을 랜덤 샘플링하여, 상기 표본용 특징 기하들 및 상응하는 상기 기준 데이터의 특징 기하들과의 이격량이 최소가 되는 특징 기하를 정합 최적값으로 추정하는 최적값 추정부; 및 상기 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 보정용 CCTV 기하 정보를 최종 보정 CCTV 기하 정보로 추정하는기하 정보 추정부를 더 포함하고, 상기 CCTV 영상 정보의 생성시에 기초되는 정보 중 상기 보정용 CCTV 기하 정보는 상기 최종 보정 CCTV 기하 정보를 사용할 수 있다.

또 다른 실시예에서, 상기 CCTV 영상 정보로부터 특정 형태의 객체를 추출하는 객체 정보 추출부와, 상기 추출된 객체와 동일한 기준 영상 데이터의 객체에 기초하여, 상기 보정용 CCTV 기하 정보 및 상기 기준 영상 데이터에 저장된 상기 객체와 관련된 상기 객체 정보를 상기 CCTV 영상 정보에 포함하는 신규 공간 정보를 생성하는 공간 정보 생성부, 및 상기 신규 공간 정보가 공간 정보 데이터베이스부에 저장되며, 상기 공간 정보 데이터베이스부에 이미 저장된 기존 공간 정보가 존재하는 경우에, 동일 위치의 객체 정보에 있어서, 상기 신규 공간 정보가 상기 기존 공간 정보와 상이한지 여부를 판단하고, 판단 결과, 상이한 객체 정보에 대해 상기 기존 공간 정보를 상기 신규 공간 정보로 갱신하는 공간 정보 갱신부를 더 포함할 수 있다.

또 다른 실시예에서, 상기 기준 기하 정보는 상기 기준 위치 데이터로서의 3차원 위치 데이터와 상기 제 1 자세 데이터를 갖는 상기 제 1 외부 기하 데이터로 구성되며, 상기 기준 영상 데이터의 일부 위치와 관련되어 상기 기준 기하 정보의 정밀도가 임계치보다 낮은 경우에, 상기 영상 정보 생성부는 상기 정밀도가 낮은 상기 기준 영상 데이터와 상응하는 상기 CCTV 영상 정보의 보정 영상 데이터를 2차원 기하 모델로 변환한 후에, 2차원 변환된 영상 데이터 내에서 픽셀 데이터 분석을 통한 객체 높이를 추정하거나, 상기 CCTV 장치의 영상 센서의 높이를 특정 높이로 가정하여 객체 높이를 분석하거나, 상기 CCTV 장치의 다수 영상 센서들의 시야 방향과 관련된 자세 데이터를 특정값으로 정의하며 삼각 함수 모델을 이용하여, 객체 높이를 추정하고, 상기 추정된 객체 높이를 상기 보정 CCTV 기하 정보에 반영하여 3차원 위치 데이터를 추정함으로써, 상응하는 상기 CCTV 영상 정보를 생성할 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 부정확하거나 일부 지역에서 누락된 위치와 자세 관련 기하 데이터를 갖는 CCTV 장치의 영상 데이터를 관측 센서와 측위 센서로 구성된 멀티센서 플랫폼으로부터 생성된 기준 영상 데이터의 기준 영상 정보와 정합하여 기하 변환 보정 등을 수행함으로써, CCTV 장치로 취득한 영상 데이터를 편의성과 높은 정밀도의 공간 정보로 생성할 수 있다.

또한, 보정된 위치 및 자세 정보와 CCTV에서 취득된 영상 정보를 연계, 분석하여 영상 내 표출된 객체 정보를 공간정보화하여 지도 서비스와 연계할 수 있다.

아울러, 기준 영상 데이터의 구축시에 라이다 등 고가의 센서들을 배제한 저비용의 센서들로부터 취득한 관측 데이터를 가공함으로써, 구축 비용 절감을 달성할 수 있다.

이에 더하여, 보정된 CCTV의 위치와 자세 등의 기하 정보를 기준 영상 데이터베이스부 상에 저장하여, 유사 지역의 다른 CCTV의 영상 데이터의 3차원 공간 정보 생성시에 활용함으로써, 다양한 형태의 기준 영상 데이터를 활용할 수 있다.

이외에도 본 명세서를 통해 당업자라면 파악할 수 있는 구성을 통해 도출되는 효과를 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템, 이와 통신하는 CCTV 장치 및 CCTV 관제기에 관한 구성도이다.
도 2는 본 발명의 실시예에 따른 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 시스템에서 구현되는 CCTV 장치의 영상 데이터에 대한 CCTV 영상 정보의 생성 방법에 관한 순서도이다.
도 3은 기준 데이터베이스부에 저장된 기준 영상 정보의 일례를 도시한 도면이다.
도 4는 기준 데이터베이스부에 저장된 기준 영상 정보가 영상 촬영 센서로부터 획득되는 경우에 제 1 외부 기하 데이터 및 제 1 내부 기하 데이터에 저장되는 데이터 종류를 예시한 도면이다.
도 5는 기준 데이터베이스부에 저장된 기준 영상 정보가 항공 관측 데이터로부터 획득되는 경우에 특징 기하를 검색, 추출하기 위해 기하 형태를 변환하는 과정을 예시한 도면이다.
도 6은 광역 영상 센서로부터 취득한 영상 데이터의 왜곡을 제거하여 평면 영상 데이터로 변환하는 제 1 과정에 관한 순서도이다.
도 7 및 도 8은 영상 왜곡 제거 및 평면 영상 데이터 변환의 제 1 과정을 개략적으로 도시한 도면이다.
도 9는 광역 영상 센서로부터 취득한 영상 데이터의 왜곡을 제거하여 평면 영상 데이터로 변환하는 제 2 과정에 관한 순서도이다.
도 10은 영상 왜곡 제거 및 평면 영상 데이터 변환의 제 2 과정을 개략적으로 도시한 도면이다.
도 11은 기준 영상 데이터베이스부에서 레이저 스캔닝 센서로부터 획득한 포인트 클라우드가 변환된 가상의 영상 데이터가 저장되는 형태를 도시한 도면이다.
도 12는 CCTV 장치의 영상 데이터에 대한 공간 정보의 생성 방법에 있어서, 검색 선정의 다른 실시예에 관한 순서도이다.
도 13은 정합부에서 특징 기하를 이용한 정합 과정을 예시한 도면이다.
도 14는 정합부에서 템플릿 간의 특성 상관도 분석을 이용한 정합 과정을 나타나는 순서도이다.
도 15는 영상 데이터의 2차원 위치 데이터와 대응하는 기준 영상 데이터의 3차원 위치 데이터를 산출하는 과정을 도시한 도면이다.
도 16은 영상 정보 생성부에서 CCTV 영상 데이터의 객체의 높이를 추정하는 과정을 나타내는 순서도이다.
도 17은 CCTV 영상 데이터 내에서 픽셀 데이터 분석을 통한 객체 높이를 추정하는 과정을 설명하는 도면이다.
도 18은 본 발명의 실시예에 따른 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 시스템에서 구현되는 공간 정보의 생성 및 갱신 방법에 관한 순서도이다.
도 19는 최종 보정 CCTV 기하 정보 및 객체 정보를 CCTV 영상 정보에 포함하는 신규 공간 정보를 생성하는 일례를 도시한 도면이다.
도 20은 공간 정보의 갱신 과정을 설명하기 위한 도면이다.

이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

또한, "부"내지 모듈 이란, 일반적으로 논리적으로 분리 가능한 소프트웨어(컴퓨터,프로그램), 하드웨어 등의 부품을 가리킨다. 따라서, 본 실시형태에 있어서의 모듈은 컴퓨터,프로그램에 있어서의 모듈뿐만 아니라, 하드웨어 구성에 있어서의 모듈도 가리킨다. 그 때문에, 본 실시형태는, 그것들을 모듈로서 기능시키기 위한 컴퓨터 프로그램(컴퓨터에 각각의 단계를 실행시키기 위한 프로그램, 컴퓨터를 각각의 수단으로서 기능시키기 위한 프로그램, 컴퓨터에 각각의 기능을 실현시키기 위한 프로그램), 시스템 및 방법의 설명도 겸하고 있다. 다만, 설명의 형편상, 「저장한다」, 「저장시킨다」, 이것들과 동등한 문언을 이용하지만, 이들 문언은, 실시형태가 컴퓨터 프로그램일 경우에는, 기억 장치에 기억시키는, 또는 기억 장치에 기억시키는 것과 같이 제어하는 것을 의미한다. 또한, "부" 내지 모듈은 기능에 일대일로 대응하고 있어도 되지만, 실장에 있어서는, 1 모듈을 1 프로그램으로 구성해도 되고, 복수 모듈을 1 프로그램으로 구성해도 되고, 반대로 1 모듈을 복수 프로그램으로 구성해도 된다. 또한, 복수 모듈은 1 컴퓨터에 의해 실행되어도 되고, 분산 또는 병렬 환경에 있어서의 컴퓨터에 의해 1 모듈이 복수 컴퓨터로 실행되어도 된다. 또한, 1개의 모듈에 다른 모듈이 포함되어 있어도 된다. 또한, 이하, 「접속」이란 물리적인 접속 외에, 논리적인 접속(데이터의 주고받기, 지시, 데이터간의 참조 관계 등)일 경우에도 채용한다. 「미리 정해진」이란, 대상으로 하고 있는 처리 전에 정해져 있음을 말하고, 본 실시형태에 의한 처리가 개시되기 전은 물론이고, 본 실시형태에 의한 처리가 개시된 후에도, 대상으로 하고 있는 처리 전이면, 그 때의 상황, 상태에 따라, 또는 그때까지의 상황, 상태에 따라 정해지는 것의 의미를 포함해서 이용한다.

또한, 시스템 또는 장치란, 복수의 컴퓨터, 하드웨어, 장치 등이 네트워크(일대 일 대응의 통신 접속을 포함함) 등의 통신 수단에 의해 접속되어 구성되는 것 외에, 1개의 컴퓨터, 하드웨어, 장치 등에 의해 실현될 경우도 포함된다. 「장치」와 「시스템」이란, 서로 동의(同意)의 용어로서 이용한다. 물론이지만, 「시스템」에는, 인위적인 결정인 사회적인 「기구」(사회 시스템)에 지나지 않는 것은 포함하지 않는다.

또한, 각 부 내지 각 모듈에 의한 처리마다 또는 각 부 내지 모듈 내에서 복수의 처리를 행할 경우는 그 처리마다, 대상이 되는 정보를 기억 장치로부터 판독 입력하고, 그 처리를 행한 후에, 처리 결과를 기억 장치에 기입하는 것이다. 따라서, 처리 전의 기억 장치로부터의 판독 입력, 처리 후의 기억 장치에의 기입에 관해서는, 설명을 생략할 경우가 있다. 또한, 여기에서의 기억 장치로서는, 하드디스크, RAM(Random Access Memory), 외부 기억 매체, 통신 회선을 통한 기억 장치, CPU(Central Processing Unit) 내의 레지스터 등을 포함하고 있어도 된다.

이하, 도 1을 참조하여, 본 발명의 실시예에 따른 CCTV 장치로부터 취득한 2차원 위치 정보의 영상 데이터를 기준 영상 데이터베이스부의 기준 영상 데이터와 정합하여 소정 처리를 수행함으로써 생성되는 CCTV 장치의 보정 영상 데이터에 기반한 CCTV 영상 정보를 생성하기 위한, CCTV 장치의 공간 정보 생성 시스템에 대하여 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템, 이와 통신하는 CCTV 장치 및 CCTV 관제기에 관한 구성도이다.

상기 시스템(100)은 CCTV 장치(102)에서 촬영된 지형, 지물 등의 공간 객체의 영상 데이터 및 속성 정보에 포함된 CCTV 장치(102) 및/또는 영상 데이터의 2차원 위치 데이터를 CCTV 관제기(104)로부터 수신한다. CCTV 관제기(104)는 속성 정보로서 촬영 당시의 추정된 CCTV 장치(102)의 영상 센서(106)의 시야 방향, 영상 센서(106) 고유의 기하 파라미터 등 정보를 수신한다.

먼저 CCTV 장치(102) 및 CCTV 관제기(104)를 설명하면, CCTV 장치(102)는 영상 센서(106), 통신부(108), 이들을 제어 관리하는 제어부(110)를 포함할 수 있으며, CCTV 관제기(104)는 속성 정보 관리부(111), 영상 저장부(112) 및 제어/통신부(114)를 포함할 수 있다.

CCTV 장치(102)는 영상 센서(106)를 통해 촬영된 영상 데이터를 통신부(108)에 의해 CCTV 관제기(104)에 전송한다. CCTV 관제기(104)는 수신된 영상 데이터에 속성 정보로 저장한 CCTV의 2차원 위치 데이터가 결합된 정보를 유무선 네트워크를 통해 시스템(100)으로 송신하는 장치이다. 속성 정보는 상술한 바와 같이, 영상 센서(106)의 촬영 시간, 영상 센서(106)의 시야 방향 및 고유의 기하 파라미터 등을 더 포함할 수 있으며, 시야 방향과 기하 파라미터가 더 결합된 영상 데이터가 시스템(100)에 송신된다.

영상 센서(106)는 CCTV 장치(102)에 탑재되어 그 주위의 주변 대상물, 예컨대 지형, 지물을 이미지로 촬영하여 영상 데이터 및 영상 데이터 취득 당시의 영상용 시간 정보를 취득하는 센서들을 복수 구비할 수 있다. 영상 센서(106)는 평면 영상용 센서, 평면 영상용 센서보다 넓은 화각을 갖는 광역 영상 센서, 측량용 또는 비측량용 카메라일 있으며, 이에 제한되지 않는다. 광역 영상 센서는 서로 다른 방향의 시야 방향을 갖는 영상이 조합된 스테레오 영상, 또는 소정 시야각 내에 배치된 카메라의 영상이 결합되는 파노라마 영상을 생성하며, 예컨대 어안 렌즈를 구비하여 어안 렌즈 영상을 생성하는 카메라 또는 다수개의 카메라를 이용한 다중 카메라에 의해 전방위 영상을 출력하는 다중 카메라 시스템 등일 수 있다. 영상 센서(106)가 탑재된 모듈은 줌, 팬, 틸트(tilt) 기능을 더 구비할 수 있다.

영상 데이터가 왜곡 영상을 발생하는 광역 영상 센서로부터 기인하는 경우에, 영상 데이터는 후술할 검색 선정부(118)에 의해. 왜곡 영상을 평면 영상 데이터로 변환하여 생성되는 평면 영상 데이터를 이용할 수 있으며, 상세 변환 과정은 후술하기로 한다.

CCTV 관제기(104)의 속성 정보 관리부(111)는 복수의 CCTV 장치(102)의 속성 정보를 수치 또는 텍스트로 기록된 테이블 형태로 관리하고 제어/통신부(114)에 의해 속성 정보를 영상 데이터에 결합시킨다.

속성 정보는 CCTV 장치(102)의 2차원 위치 데이터를 포함하고 있으며, 2차원 위치 데이터는 CCTV 장치(102)의 2차원 좌표, 또는 좌표가 아닌 개략적인 정보로서의 CCTV 장치가 설치된 공간의 명칭 등일 수 있다. 속성 정보는 영상 센서(106)의 촬영 시간을 추가로 가질 수 있다. 경우에 따라, 속성 정보는 영상 센서(106)의 촬영 방향, 각도 등의 시야 방향, 시야각, 영상 센서(106)에 정의된 기하 파라미터를 추가로 포함할 수도 있으나, 통상적인 속성 정보는 대체로 2차원 위치 데이터만을 가지므로, 2차원 위치 데이터만을 갖는 경우와 시야 방향, 기하 파라미터까지 포함하는 경우를 구별하여 영상 데이터를 선정하는 과정을 각각 후술하기로 한다.

시야 방향, 시야각을 갖는 자세 데이터(이하, '제 2 자세 데이터' 라 함), 2차원 위치 데이터, 촬영 시간은 외부 기하 데이터(이하, '제 2 외부 기하 데이터' 라 함)를 구성할 수 있으며, 영상 센서(106)에 정의된 기하 파라미터는 내부 기하 데이터(이하, '제 2 내부 기하 데이터' 라 함)를 구성할 수 있다.

제 2 외부 기하 데이터는 영상 센서(106)의 위치와 자세로 인해, 영상 센서(106)의 영상 정보를 취득할 때마다 가변되는 파라미터 값에 기초하여 산출되는 관측 데이터의 오차이며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다. 영상 데이터가 광역 영상 센서로부터 기인하는 경우에, 2차원 위치 데이터는 평면 영상 데이터의 2차원 위치 데이터를 활용하고, 제 2 자세 데이터는 평면 영상 데이터의 시야 방향 및 시야각 등으로 정의될 수 있다.

제 2 내부 기하 데이터는 영상 센서(106) 자체의 고유값으로서, 영상 센서(106)의 관측 데이터의 오차와 관련된 기하 파라미터이다. 영상 센서(106)의 기하 파라미터는 초점거리, 주점 위치, 렌즈왜곡 파라미터 및 센서 포맷 크기 중 어느 하나 이상을 포함할 수 있다.

제어/통신부(114)는 영상 센서(106)로부터 취득된 영상 데이터에, 적어도 2차원 위치 데이터, 촬영 시간을 갖는 외부 기하 데이터를 포함하는 CCTV 기하 정보를 생성하여 시스템(100)으로 전송하도록 제어하거나, 시스템(100)으로부터 특정 데이터들을 수신하여 필요한 처리를 수행할 수 있다.

시스템(100)은 기준 영상 데이터베이스부(116), 검색 선정부(118), 정합부(120), 기하 변환부(122), 정합 최적값 추정부(124), CCTV 기하 정보 추정부(126), 영상 정보 생성부(128), 객체 정보 추출부(130), 공간 정보 생성부(132), 공간 정보 갱신부(134) 및 공간 정보 데이터베이스부(136)를 포함할 수 있다.

기준 영상 데이터베이스부(116)는 기준 영상의 기준 위치 데이터와, 기준 영상의 획득 시간, 기준 영상을 생성하는데 설정된 시야 방향, 시야각을 정의하는 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터가 포함된 기준 기하 정보와 연계하여 기준 영상 데이터를 저장한다.

기준 위치 데이터는 제 1 외부 기하 데이터의 2차원 위치 데이터보다 정확도가 높은 2차원 위치 데이터 또는 3차원 위치 데이터로 구성될 수 있으며, CCTV 장치(102)의 2차원 위치 데이터의 개략적인 정보가 아닌, XY 좌표계의 2차원 위치 데이터이거나 XYZ 좌표계의 3차원 위치 데이터일 수 있다. 시야 방향 및 시야각은 영상 센서(106)에 설명된 점과 실질적으로 동일하다. 또한, 기준 기하 정보는 기준 영상을 생성하는데 설정된 센서에 정의된 기하 파라미터에 근거한 제 1 내부 기하 데이터를 더 포함할 수 있다.

기준 영상은 외부로부터 입수되며, 기준 위치 데이터가 적어도 포함되는 영상이며, CCTV 장치(102)로부터 획득된 영상 데이터와 대비가능한 기준 영상 데이터로 가공된다. 기준 영상을 생성하는데 최초 이용되는 센서는 CCTV 장치(102)보다 높은 측위 정확도, 영상 구현 성능을 갖는 영상 획득 기기 및 레이저 스캔닝 센서(예컨대, 라이다(Lidar)) 중 적어도 하나일 수 있다. 기준 영상과 연계된 기준 기하 정보는 각 픽셀 좌표마다, RGB 데이터와 같은 색상 정보, 제 1 외부 기하 데이터 및 제 1 내부 기하 데이터를 포함하고, 기준 기하 정보와 결합되는 기준 영상은 기준 영상 데이터로 저장될 수 있다.

기준 영상 데이터는 영상 촬영 센서(영상 획득 기기) 및 레이저 스캔닝 센서 중 적어도 어느 하나와 측위 센서를 구비하는 외부 이동형 플랫폼로부터 획득된 영상 정보 및 포인트 클라우드 정보를 센서들 간의 기하 모델을 통해 정합하고 보정하여 융합된 외부 영상 데이터, 혹은, 보정용 CCTV 기하 정보로 보정된 CCTV 영상 정보로 영상 정보 생성부(128) 및/또는 공간 정보 데이터베이스부(136)에 이미 저장된 기존의 CCTV 장치의 보정 영상 데이터일 수 있다.

기준 영상을 생성하는데 최초 이용되는 센서가 영상 촬영 센서인 경우에, 제 1 내부 기하 데이터는 제 2 내부 기하 데이터에서 설명된 영상 센서(106)와 실질적으로 동일하다. 영상 촬영 센서인 경우에, 대상물의 3차원 형상이 2차원으로 투영되는데 활용된 투영 중심과 방향은 기준 영상의 기준 위치 데이터와 시야 방향과 관련되므로, 투영 중심과 방향은 제 1 외부 기하 데이터와 함께 기준 영상 데이터로 저장될 수 있다. 영상 촬영 센서로부터 생성된 기준 영상 데이터의 기준 기하 정보는 기준 위치 데이터로서 2차원 위치 데이터 혹은 3차원 위치 데이터를 포함할 수 있다.

기준 영상이 항공 관측 데이터인 경우에, CCTV 장치(102)와 같은 지상 관측 영상 데이터와 상이한 기하를 가지므로, 항공 관측 데이터는 특정 방향의 뷰 형태로 변환될 수 있다. 예를 들어, 항공 관측 데이터의 각 픽셀이 수평 기하를 가진 정사영상 형태로 변환되어 기준 영상으로 채용될 수 있다.

기준 영상이 왜곡 영상을 발생하는 광역 영상 센서로부터 기인하는 경우에, 기준 영상은 왜곡 영상을 평면 영상 데이터로 변환하여 생성되는 평면 영상 데이터를 이용하며, 기준 위치 데이터는 평면 영상 데이터의 위치 데이터를 활용하고, 제 1 자세 데이터는 평면 영상 데이터의 시야 방향, 시야각 등으로 정의될 수 있다. 상세 변환 과정은 후술하기로 한다.

기준 영상이 레이저 스캔닝 센서로부터 기인하는 경우에, 기준 영상은 레이저 스캔닝 센서로부터 획득되는 포인트 클라우드가 변환된 가상의 영상 데이터를 이용할 수 있다, 3차원 위치 데이터는 가상의 영상 데이터의 3차원 위치 데이터로 정의되며, 제 1 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의될 수 있다. 포인트 클라우드의 변환은 포인트 클라우드의 반사 강도, 고도값 등을 감안하는 가상 카메라 모델링에 의해 수행될 수 있다. 기준 영상 생성시에 영상 센서가 추가로 관여되는 경우에, 포인트 클라우드의 변환시에 영상 센서로 획득된 색상 데이터가 가상의 영상 데이터에 포함될 수 있다.

최초 이용되는 센서가 레이저 스캔닝 센서인 경우에 제 1 내부 기하 데이터는 예로 들면, 각 레이저의 입사각, 거리 스케일, 거리 방향 오프셋 및 축방향 오프셋 중 적어도 하나일 수 있다. 레이저 스캔닝 센서로 획득한 포인트 클라우드 정보는 3차원 좌표 정보, 레이저 강도 정보, 색상 정보, 클래스 정보, 시간 정보, 센서 관측 정보 전부 또는 일부를 포함한 점의 집합으로 표현될 수 있다.

기준 영상이 영상 촬영 센서, 레이저 스캔닝 센서, 측위 센서와 같은 멀티센서를 구비하는 외부 이동형 플랫폼으로부터 획득되는 경우에, 센서들 간의 가하 모델의 정합, 보정은 영상 센서 및 레이저 스캔닝 센서(라이다)의 내부 기하 모델, 측위 센서와 데이터 결합을 위한 라이다의 외부 기하 모델, 측위 센서와 데이터 결합을 위한 영상 촬영 센서의 외부 기하 모델을 적용하여 수행될 수 있다. 각 기하 모델은 소정의 수학식으로 정의될 수 있다. 이에 의해, 영상 촬영 센서 및 레이저 스캐닝 센서로부터 획득된 각각의 영상 정보 및 포인트 클라우드 정보가 결합하여 융합될 수 있으며, 포인트 클라우드 정보는 색상 정보를 가질 수 있거나, 영상 정보는 픽셀마다 3차원 위치 좌표를 가질 수 있다. 포인트 클라우드 정보는 상술한 바와 같이, 가상의 영상 데이터로 변환되며, 이 데이터가 기준 영상 데이터로 채용될 수 있다.

이에 더하여, 기준 영상 데이터베이스부(116)는 기준 영상 데이터에 특정 형태의 객체와 관련된 정보, 즉 객체 정보를 함께 연게하여 격납한다. 예를 들어, 객체는 지도 상에 표시될 필요가 있는 건축물, 자율주행을 위해 인식이 필요한 교통 표지판, 신호등, 차선 등이 해당될 수 있다. 이 경우에, 객체 정보는 대상물의 종류, 전체 모양, 대상물의 적어도 일부를 구성하는 선, 면, 원, 구 등과 같은 특정 기하학적 형상, 색상, 질감 관련 속성을 포함할 수 있다.

한편, 검색 선정부(118)는 CCTV 장치(102)로부터 취득한 영상 데이터에 관련되어 CCTV 기하 정보를 획득하고, 적어도 기준 위치 데이터 및 2차원 위치 데이터를 참조하여 기준 영상 데이터와 정합 가능한 영상 데이터를 검색하여 선정한다. 검색 선정부(118)는 2차원 위치 데이터가 좌표를 갖는 경우에 기준 위치 데이터의 2차원 좌표를 검색하며, 2차원 위치 데이터가 좌표가 아닌 개략적인 데이터인 CCTV 장치(102)의 설치된 공간의 명칭이면, 기준 영상 데이터베이스부(116)에서 공간의 명칭과 관련된 등록된 기준 위치 데이터를 검색한다.

기준 위치 데이터는 제 1 외부 기하 데이터의 2차원 위치 데이터보다 정확도가 높은 2차원 위치 데이터 또는 3차원 위치 데이터로 구성될 수 있다. 기준 위치 데이터가 2차원 위치 데이터인 경우에, 검색 선정부(118)는 CCTV 기하 정보 및 기준 기하 정보의 제 2 차원 위치 데이터들을 검색한다. 기준 위치 데이터가 3차원 위치 데이터인 경우에, CCTV 기하 정보의 2차원 위치 데이터와 3차원 위치 데이터로부터 추출된 XY 좌표의 2차원 위치 데이터를 검색한다.

이상의 실시예와 달리, CCTV 기하 정보가 제 2 자세 데이터 및 제 2 내부 기하 데이터까지 전부 포함하는 경우에, 검색 선정부(118)는 기준 위치 데이터, 2차원 위치 데이터, 자세 데이터를 포함하는 제 1 및 제 2 외부 기하 데이터, 제 1 및 제 2 내부 기하 데이터를 참조하여 기준 영상 데이터와 정합 가능한 영상 데이터의 후보군을 검색하며, 후보군 중 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정한다.

구체적으로, 검색 선정부(118)는 기준 위치 데이터 및 2차원 위치 데이터에 기초하여 기준 영상 데이터와 대비가능한 영상 데이터의 후보군을 검색하고, 제 1 및 제 2 자세 데이터를 참조하여 후보군 중 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정할 수 있다.

검색 선정부(118)는 CCTV 장치(102)로부터 획득되는 영상 데이터가 광역 영상 센서로부터 기인하는 경우에, 광역 영상의 왜곡을 제거하고 평면 영상 데이터로 변환하는 프로세스를 상술한 최고의 정합도를 갖는 영상 데이터의 선정 과정 전에 실행할 수 있다.

정합부(120)는 선정된 영상 데이터와 기준 영상 데이터를 상호 정합한다. 정합은 특징 기하 추출에 의한 방식 또는 영상 내에 지정된 템플릿(template) 특성에 의한 방식에 의해 구현될 수 있다.

먼저, 특징 기하 추출에 의한 방식은 기준 영상 데이터와 선정된 영상 데이터 간에 공통되는 소정 형태의 특징 기하들에 기반하여 기준 영상 데이터와 선정 영상 데이터를 정합하고, 특징 기하를 참고하여 공선조건식 등의 기하 모델을 통해 복수의 선정 영상 데이터를 결합할 수 있다.

소정 형태의 특징 기하는 동일한 위치로 추정되는 선정 영상 데이터와 기준 영상 데이터에 표현된 객체의 특정 기하하적 형상에 기초하여 추출될 수 있다. 객체는 예컨대 도로 표지판, 특이 형상의 물체, 건물 경계선 등과 같이 영상 데이터 상에서 점, 선, 면, 기둥 등의 특징 기하가 용이하게 추출가능한 대상물로 랜덤으로 선정될 수 있다. 또한, 특징 기하 추출은 영상 데이터 내 색상 변화를 기반으로 수행할 수 있다. 이러한 특징 기하는 선정 영상 데이터와 기준 영상 데이터 간의 자세 데이터가 다소 상이하더라도 동일한 객체로의 추정 가능성이 높은 소정 형태를 채용하고, 예를 들어 도로 노면에 표시된 차선, 도로 표지, 건물 윤곽 등일 수 있다.

여기서, 영상 데이터는 색상 정보를 가진 행렬 형태의 데이터 뿐만 아니라 특정 객체를 대표할 수 있는 특징을 지닌 디스크립터(descriptor)로 사용될 수 있다. 특정 객체를 대표하는 특징을 지닌 디스크립터의 경우에, 영상 비교 알고리즘으로서 SIFT(Scale Invariant Feature Transform)을 활용할 수 있다.

SIFT에 따른 디스크립터를 산출하기 위해서는, 스케일-공간 익스트리마(Scale-space extrema), 키포인트 국소화 및 필터링(Key-point localization & Filtering), 방향성(Orientation) 할당 및 디스크립터 생성의 순서로 진행될 수 있다.

구체적으로, 영상 데이터에서 단순하게 경계를 검출하면, 노이즈를 포함한 에지도 많이 검출되므로, 먼저 Gaussian filter를 여러 레벨로 적용(σ 값을 조절)하여 영상 데이터를 흐림화 처리(blurring)하고, 영상 데이터와 기준 영상 데이터 간의 차를 산출하면, 노이즈에 강인한 특징이 획득된다(DoG: Difference of Gauassian). 현재 크기(scale)에 대한 작업을 마치면, 스케일 변화에 대응이 가능하도록 영상의 크기을 변경하면서 동일한 작업을 수행하여, 서로 다른 크기에서의 강인한 특징인 extrema를 구한다.

DoG를 통해 비교적 강인한 extrema를 추출했을지라도 여전히 불필요한 정보들도 많이 포함하고 있으므로, 이에 대해 키포인트 국소화 및 필터링을 통해 의미가 있는 정보들만 추출한다. 다음으로 구배(gradient)의 방향에 따른 히스토그램(histogram)을 산출한다.

N×N 구배 윈도우에서 m개의 방향으로 N×N×m 차원의 디스크립터를 생성하고, 이 디스크립터를 비교하는 방식으로 영상의 정합 여부를 판단하게 된다.

템플릿 특성에 의한 방식에 의하면, 정합부(120)는 기준 영상 데이터 내에 지정된 템플릿과 적어도 유사한 상기 선정 영상 데이터를 검색하여, 템플릿들 간의 특성 상관도 분석에 따라 정합한다. 템플릿은 예컨대 미리 지정된 표지판, 간판 등의 영상 데이터 내에서 상당 정도 영역을 차지하는 객체일 수 있다. 특성 상관도 분석은 정합 속도를 향상시키기 위해, 푸리에 변환을 통해 영상의 공간적 특성을 주파수 특성으로 변환시켜 유사 특성 영역을 정합하는 방식을 사용할 수 있다. 특징 기하 또는 템플릿은 정합 정보를 구성하며, 정합 정보는 기준 영상 데이터베이스부(116)에 저장될 수 있다.

기하 변환부(122)는 공통된 특징 기하들 또는 템플릿에 있어서, 기준 영상 데이터를 참조하는 기하 변환 모델링에 의해 상기 선정 영상 데이터의 상기 CCTV 기하 정보를 기하 변환하여 상기 2차원 위치 데이터보다 정확도가 높은 보정용 위치 데이터가 포함되는 보정 CCTV 기하 정보를 생성한다.

기하 변환 모델링은 수학식 1과 같은 공선조건식을 이용하거나, 영상 데이터의 기하를 행렬형태로 반영할 수 있는 perspective transformation, affine transformation, homography transformation 중 하나를 대체모델링을 사용할 수 있다.

[수학식 1]

영상 좌표는 동일 특징 기하 또는 템플릿과 관련된 영상 데이터의 2차원 위치 데이터이며, 대상물 좌표는 동일 특징 기하 또는 템플릿에 대한 기준 영상 데이터의 3차원 위치 데이터이다. 카메라 위치 및 자세는 기준 영상 데이터의 제 1 외부 기하 데이터이고, 주점 위치, 초점 거리, 렌즈 왜곡은 제 1 내부 기하 데이터이다. 이상에서는 기준 위치 데이터가 3차원 위치 데이터인 경우를 예로 들어 기준 영상 데이터가 3차원 위치 데이터로 표현된 실시예를 설명하고 있으나, 기준 위치 데이터가 2차원 위치 데이터인 경우에는 기준 영상 데이터가 2차원 좌표의 2차원 위치 데이터로 표현될 수 있다.

정합 최적값 추정부(124)는 보정용 CCTV 기하 정보가 연계된 표본용 영상 데이터의 특징 기하들을 랜덤 샘플링하여, 샘플링된 표본용 특징 기하들 및 상응하는 기준 데이터의 특징 기하들의 상호 이격량이 최소가 되는 표본용 특징 기하를 정합 최적값으로 추정할 수 있다.

구체적으로, 동일 추정되는 표본용 특징 기하마다 이를 공유하는 영상 데이터들을 복수로 샘플링한다. 이러한 샘플링 세트는 서로 상이한 표준용 특징 기하 별로 복수로 획득한다. 이와 동시에, 표본용 특징 기하와 동일 추정되는 특징 기하를 갖는 기준 영상 데이터를 연동하여 선별한다. 이어서, 동일 추정되는 표본용 특징 기하들을 공유하는 영상 데이터들과 기준 영상 데이터를 보정용 CCTV 기하 정보에 따라 배열하는 경우에, 영상 데이터들의 표본용 특징 기하들과 기준 영상 데이터의 특징 기하에서 상호 이격량이 최소로 판단되는 영상 데이터들의 표본용 특징 기하를 정합 최적값으로 추정한다.

CCTV 기하 정보 추정부(126)는 상술의 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 보정용 CCTV 기하 정보를 최종 보정 CCTV 기하 정보로 추정할 수 있다.

영상 정보 생성부(128)는 최종 보정 CCTV 기하 정보 및 특징 기하에 대한 정합 정보에 기초하여, CCTV 장치(102)의 영상 데이터로부터 CCTV 영상 정보를 생성한다.

CCTV 영상 정보는 기준 영상 데이터베이스부(116)의 기준 영상 데이터와 같이, 기하 변환에 의해 보정된 영상 데이터 및 이와 연계된 위치 데이터, 보정된 제 2 자세 데이터를 포함하는 보정된 제 2 외부 기하 데이터, 보정된 제 2 내부 기하 데이터를 포함하는 최종 보정 CCTV 기하 정보, 색상 데이터, 시간 데이터 등을 포함할 수 있다.

보정된 영상 데이터와 연계된 위치 데이터는 기준 위치 데이터가 2차원 위치 데이터인 경우에 2차원 위치 좌표로 구성되며, 기준 위치 데이터가 3차원 위치 데이터인 경우에 3차원 위치 좌표로 구성될 수 있다.

한편, 기준 기하 정보가 기준 위치 데이터로서의 3차원 위치 데이터와 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터로 구성되며, 영상 데이터의 일부 위치와 관련된 기준 영상 데이터의 기준 기하 정보의 정밀도가 임계치보다 낮은 경우에, 영상 정보 생성부(128)는 정밀도가 낮은 기준 영상 데이터와 상응하는 CCTV 장치(102)의 영상 데이터의 3차원 영상 정보를 2차원 기하 모델로 변환시킬 수 있다.

영상 정보 생성부(128)는 2차원 변환된 영상 데이터 내에서 픽셀 데이터 분석을 통한 객체 높이를 추정하거나, CCTV 장치(102)의 영상 센서(106)의 높이를 특정 높이로 가정하여 객체 높이를 분석하거나, CCTV 장치(102)의 다수 영상 센서들의 시야 방향과 관련된 제 2 자세 데이터를 특정값으로 정의하며 삼각 함수 모델을 이용하여 객체 높이 추정할 수 있다. 이에 의해 추정된 객체 높이를 최종 보정 CCTV 기하 정보에 반영하여 3차원 위치 데이터를 추정함으로써 상응하는 영상 데이터의 상기 3차원 영상 정보를 생성할 수도 있다. 이는 기준 영상 데이터가 항공 영상 또는 거리뷰(스트리트뷰) 등과 같이 기준 기하 정보의 낮은 정밀도를 갖는 경우에 적용될 수 있다.

객체 정보 추출부(130)는 영상 데이터로부터 기인하는 CCTV 영상 정보로부터 특정 형태의 객체를 추출할 수 있다.

구체적으로, 객체 정보 추출부(130)는 CCTV 영상 정보에 포함된 데이터들에 기초하여 추출된 대상물의 속성과 관련된 객체 정보를 추출할 수 있다.

객체 정보 추출부(130)는 CCTV 영상 정보에 포함된 영상 데이터, 최종 보정 CCTV 기하 정보, 색상 데이터, 시간 데이터 등으로부터 파악된 대상물과 관련된 후보군 데이터를 머신 러닝 기법으로 검출하고, 검출된 후보군 데이터에 순차적으로 추가 기계학습 모델을 적용하여 대상물의 정보를 인식할 수 있다.

기계학습은 대상물 객체 검출, 대상물 객체 인식 두 단계로 나누어져 수행되고, 대상물 객체 검출 단계에서는 대상물 객체의 모양, 색상, 질감 등의 벡터와 같은 속성을 기반으로 데이터 내에서 후보군을 기계학습을 통해 검출하고, 검출된 후보군에 순차적으로 추가 기계학습 모델을 적용하여 대상 사물이 나타내는 정보를 인식하여 분류한다.

공간 정보 생성부(132)는 추출된 객체와 동일한 기준 영상 데이터의 객체에 기초하여, 최종 보정 CCTV 기하 정보 및 기준 영상 데이터에 저장된 객체와 관련된 객체 정보를 CCTV 영상 정보에 포함하는 소정 좌표계, 예컨대 절대좌표계에 따른 신규 공간 정보를 생성하며, 공간 정보 데이터베이스부(136)에 전송하여 저장할 수 있다. 공간 정보는 후술한 공간 데이터로서 상세 정보에 대해서는 이후에 설명한다.

공간 정보 데이터베이스부(136)는 소정 좌표계, 예컨대 절대 좌표계에 따라, 이종 센서들로부터 기 획득된 관측 데이터와 관측 데이터에 기초하여 도화를 위해 기 생성된 데이터를 공간 데이터로 구조화하여 저장한다. 공간 데이터는 소정 좌표계의 해당 좌표 등에 생성된 데이터로서, 관측 데이터, 내부 기하, 외부 기하, 고유 데이터, 시간 정보, 취득 환경 정보, 이종 센서들 간의 센서 데이터들의 위치 오차로 인한 이격량, 정확도, 정밀도 관련한 확률 정보, 포인트 클라우드 관련 정보, 영상 데이터 관련 정보, 객체 정보 및 지도 관련 정보를 포함할 수 있다. 본 실시예에서는 공간 데이터가 상술한 데이터들 내지 정보들을 전부 포함하는 것으로 기술하고 있으나, 이에 제한되지 않으며, 설계 사양에 따라 상술한 데이터/정보들 중 일부만을 포함하도록 설정될 수 있다.

공간 정보 갱신부(134)는 공간 정보 데이터베이스부(136)에 이미 저장된 기존 공간 정보가 존재하는 경우에, 동일 위치의 객체 정보에 있어서, 신규 공간 정보가 기존 공간 정보와 상이한지 여부를 판단하고, 판단 결과 상이한 객체 정보에 대하여, 기존 공간 정보를 신규 공간 정보로 갱신할 수 있다.

본 실시예에 따르면, 부정확하거나 일부 지역에서 누락된 위치와 자세에 관련 기하 데이터를 갖는 CCTV 장치(102)의 영상 데이터를 관측 센서와 측위 센서 구성된 멀티센서 플랫폼으로부터 생성된 기준 영상 데이터의 기준 영상 정보와 정합하여 기하 변환 보정 등을 수행함으로써, CCTV 장치로부터 취득한 영상 데이터를 편의성과 높은 정밀도의 공간 정보로 생성할 수 있다. 상세하게는, CCTV 장치(102)의 영상 데이터와 연계되는 2차원 위치 데이터가 낮은 정확도를 갖거나, 애초에 누락되거나, 혹은 개략적인 공간 명칭으로 기록된 경우에, 기준 기하 정보에 의해 보정된 CCTV 영상 정보는 최초 영상 데이터보다 높은 정확도의 좌표로 구성된 위치 데이터를 가질 수 있다.

또한, 보정된 위치 및 자세 정보와 CCTV에서 취득된 영상 정보를 연계, 분석하여 영상 내 표출된 객체 정보를 공간정보화하여 지도 서비스와 연계할 수 있다.

아울러, 기준 영상 데이터의 구축시에 라이다 등 고가의 센서들을 배제한 저비용의 센서들로부터 취득한 관측 데이터를 가공함으로써, 구축 비용 절감을 달성할 수 있다.

이에 더하여, 본 실시예에서는 정합 최적값 추정부(124)를 통해 동일 추정되는 특징 기하들 간의 상호 이격량이 최소인 특징 기하들로 최종 보정 CCTV 기하 정보등을 생성하고 있으나, 제 2 외부 기하 데이터가 영상 데이터들 간의 정합을 양호하게 실현할 수 있는 데이터이면, 특징 기하들 간의 상호 이격량이 임계치 이하로 되는 조건을 만족하면, 정합 최적값 추정부(124)는 생략될 수 있다.

이하, 도 2 내지 도 16을 참조하여, 도 2는 본 발명의 실시예에 따른 3차원 영상 정보를 이용한 CCTV 장치의 공간 정보 시스템에서 구현되는 CCTV 장치의 영상 데이터에 대한 CCTV 영상 정보의 생성 방법에 대해 설명하기로 한다. 본 실시예에서는 정합 최적값 추정부(124)의 기능이 수행되는 점을 포함한다. 그러나 앞서 설명한 바와 같이, 이는 생략될 수 있다.

도 2는 본 발명의 실시예에 따른 CCTV 영상 정보를 이용한 CCTV 장치의 공간 정보 시스템에서 구현되는 CCTV 장치의 영상 데이터에 대한 3차원 영상 정보의 생성 방법에 관한 순서도이다.

먼저, 검색 선정부(118)는 CCTV 장치(102)로부터의 취득한 영상 데이터에 관련된 2차원 위치 데이터로 구성된 제 2 외부 기하 데이터를 포함하는 CCTV 기하 정보를 획득한다(S205).

다음으로, 검색 선정부(118)는 기준 위치 데이터와 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터 및 제 1 내부 기하 데이터를 포함하는 기준 영상 데이터의 기준 기하 정보 중 적어도 기준 위치 데이터와 영상 데이터의 2차원 위치 데이터에 기초하여 영상 데이터의 후보군을 검색하여 선정한다(S210).

2차원 위치 데이터는 CCTV 장치(102)의 2차원 좌표, 또는 좌표가 아닌 개략적인 정보로서의 CCTV 장치가 설치된 공간의 명칭 등일 수 있다. 2차원 위치 데이터를 좌표를 갖는 경우에 3차원 위치 데이터의 2차원 좌표를 검색하며, 2차원 위치 데이터가 좌표가 아닌 개략적인 데이터인 CCTV 장치(102)의 설치된 공간의 명칭이면, 기준 영상 데이터베이스부(116)에서 공간의 명칭과 관련된 등록된 3차원 위치 데이터를 검색한다.

기준 위치 데이터는 제 1 외부 기하 데이터의 2차원 위치 데이터보다 정확도가 높은 2차원 위치 데이터 또는 3차원 위치 데이터로 구성될 수 있다. 기준 위치 데이터가 2차원 위치 데이터인 경우에, 검색 선정부(118)는 CCTV 기하 정보 및 기준 기하 정보의 제 2 차원 위치 데이터들을 검색한다. 기준 위치 데이터가 3차원 위치 데이터인 경우에, CCTV 기하 정보의 2차원 위치 데이터와 3차원 위치 데이터로부터 추출된 XY 좌표의 2차원 위치 데이터를 검색한다.

기준 영상 데이터는 기준 영상 데이터베이스부(116)에 저장되며, 3차원 위치 데이터와 연계된 기준 영상 데이터의 경우에, 도 3과 같이, 짙은 색으로 표시된 픽셀에서 3차원 위치 데이터를 비롯한 상술의 데이터들이 저장된다. 3차원 위치 데이터는 2차원 위치 데이터, 즉 XY 좌표에서 고도값 Z을 추가한 XYZ 좌표일 수 있다.

이와 같이, 제 1 외부 기하 데이터는 상술한 제 1 자세 데이터를 기준 위치 데이터와 함께 포함하고, 제 1 내부 기하 데이터는 기준 영상을 생성하는데 설정된 센서에 정의된 기하 파라미터에 근거한다.

기준 영상은 외부로부터 입수됨과 아울러서, 기준 위치 데이터가 적어도 포함되는 영상이며, CCTV 장치(102)로부터 획득된 영상 데이터와 대비가능한 기준 영상 데이터로 가공된다. 기준 영상을 생성하는데 최초 이용되는 센서는 CCTV 장치(102)보다 높은 측위 정확도, 영상 구현 성능을 갖는 영상 획득 기기 및 레이저 스캔닝 센서(예컨대, 라이다(Lidar)) 중 적어도 하나일 수 있다. 기준 영상과 연계된 기준 기하 정보는 각 픽셀 좌표마다, RGB 데이터와 같은 색상 정보, 제 1 외부 기하 데이터 및 제 1 내부 기하 데이터를 포함하고, 기준 기하 정보와 결합되는 기준 영상은 기준 영상 데이터로 저장될 수 있다.

기준 영상 데이터는 영상 촬영 센서(영상 획득 기기) 및 레이저 스캔닝 센서 중 적어도 어느 하나와 측위 센서를 구비하는 외부 이동형 플랫폼로부터 획득된 영상 정보 및 포인트 클라우드 정보를 센서들 간의 기하 모델을 통해 정합하고 보정하여 융합된 외부 영상 데이터, 혹은, 보정 CCTV 기하 정보로 보정되어 영상 정보로 이미 영상 정보 생성부(128) 및/또는 공간 정보 데이터베이스부(136)에 저장된 기존의 CCTV 장치의 영상 데이터일 수 있다.

기준 영상을 생성하는데 최초 이용되는 센서가 영상 촬영 센서인 경우에, 제 1 내부 기하 데이터는 제 2 내부 기하 데이터에서 설명된 영상 센서(106)와 실질적으로 동일하다. 영상 촬영 센서인 경우에, 도 4와 같이, 대상물의 3차원 형상이 2차원으로 투영되는데 활용된 투영 중심과 방향은 기준 영상의 3차원 위치 데이터와 시야 방향과 관련되므로, 투영 중심과 방향은 제 1 외부 기하 데이터와 함께 기준 영상 데이터로 저장될 수 있다. 영상 촬영 센서로부터 생성된 기준 영상 데이터의 기준 기하 정보는 기준 위치 데이터로서 2차원 위치 데이터 혹은 3차원 위치 데이터를 포함할 수 있다.

기준 영상이 항공 관측 데이터인 경우에, CCTV 장치(102)와 같은 지상 관측 영상 데이터와 상이한 기하를 가지므로, 항공 관측 데이터는 도 5와 같이, 특정 방향의 뷰 형태, 예를 들면 탑 뷰 형상으로 변환될 수 있다. 예를 들어, 항공 관측 데이터의 각 픽셀이 수평 기하를 가진 정사영상 형태로 변환되어 기준 영상으로 채용될 수 있다.

기준 영상이 왜곡 영상을 발생하는 광역 영상 센서로부터 기인하는 경우에, 기준 영상은 왜곡 영상을 평면 영상 데이터로 변환하여 생성되는 평면 영상 데이터를 이용하며, 기준 위치 데이터는 평면 영상 데이터의 위치 데이터를 활용하고, 제 1 자세 데이터는 평면 영상 데이터의 시야 방향, 시야각 등으로 정의될 수 있다.

이와 관련하여 기준 영상 데이터베이스부(116)에서 이루어지는 왜곡 제거와 평면 영상 데이터 생성의 과정에 대해 형성하는 과정을 도 6 내지 도 10을 통해 설명한다.

도 6은 광역 영상 센서로부터 취득한 영상 데이터의 왜곡을 제거하여 평면 영상 데이터로 변환하는 제 1 과정에 관한 순서도이며, 도 7 및 도 8은 영상 왜곡 제거 및 평면 영상 데이터 변환의 제 1 과정을 개략적으로 도시한 도면이다.

도 9는 광역 영상 센서로부터 취득한 영상 데이터의 왜곡을 제거하여 평면 영상 데이터로 변환하는 제 2 과정에 관한 순서도이며, 도 10은 영상 왜곡 제거 및 평면 영상 데이터 변환의 제 2 과정을 개략적으로 도시한 도면이다.

제 1 과정과 관련된 도 6을 참조하면, 어안 렌즈를 구비한 광역 영상 센서로 인해 왜곡된 어안 렌즈용 영상 데이터가 입력되는 경우에(S605), 기준 영상 데이터베이스부(116)는 도 7서와 같이, 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여한다(S610).

다음으로, 기준 영상 데이터베이스부(116)는 인덱스가 부여된 왜곡 영상 데이터를 기 설정된 구간으로 분해한다(S615).

이어서, 기준 영상 데이터베이스부(116)는 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성한다(S620).

왜곡 보정 모델은 분해된 구간의 수식 또는 인덱스에 기반한 모델링일 수 있다.

만약, 전방위 영상 데이터가 입력되면, 기준 영상 데이터베이스부(116)는 도 8의 2번째 단계에서와 같이, 전방위 영상 데이터를 기 설정된 구간으로 분해한다.

다음으로, 기준 영상 데이터베이스부(116)는 도 8의 3번째 단계에서와 같이, 분해된 전방위 영상을 기 설정된 구간으로 재분해한다. 이어서, 기준 영상 데이터베이스부(116)는 재분해된 구간의 왜곡 보정 모델, 예컨대 수식 또는 인덱스 기반으로 왜곡을 제거하여, 도 8 우측 이미지와 같이, 평면 영상 데이터를 생성한다.

이는 CCTV 장치(102)로부터 수신되는 영상 데이터가 광역 영상 센서로부터 기인하여 왜곡 영상을 포함하는 경우에도 실질적으로 동일한 과정을 실행하며, 이 과정은 영상 데이터를 입력하는 검색 선정부(118)에서 진행될 수 있다.

한편, 제 2 과정과 관련된 도 9를 참조하면, 전방위 영상을 생성하는 광역 영상 센서로 인해 왜곡된 전방위 영상 데이터가 기준 영상 데이터베이스부(116)로 입력되는 경우에(S905), 기준 영상 데이터베이스부(116)는 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원한다(S910).

다음으로, 기준 영상 데이터베이스부(116)는 가상의 카메라 기하식을 정의하고 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성한다(S915).

이와는 달리, 기준 영상이 레이저 스캔닝 센서로부터 기인하는 경우에, 기준 영상은 레이저 스캔닝 센서로부터 획득되는 포인트 클라우드가 변환된 가상의 영상 데이터를 이용할 수 있다, 기준 위치 데이터는 가상의 영상 데이터의 3차원 위치 데이터로 정의되며, 제 1 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의될 수 있다.

포인트 클라우드의 변환은 도 11에서와 같이 도면의 아래에 위치된 포인트 클라우드의 반사 강도, 고도값 등을 감안하는 가상 카메라 모델링에 의해 수행될 수 있다. 그 결과, 가상의 영상 데이터는 도 11의 위의 예시와 같이 생성될 수 있다. 기준 영상 생성시에 영상 센서가 추가로 관여되는 경우에, 포인트 클라우드의 변환시에 영상 센서로 획득된 색상 데이터가 가상의 영상 데이터에 포함될 수 있다.

단계 S210에서는 검색 선정부(118)가 기준 위치 데이터와 2차원 위치 데이터만을 참조하여 영상 데이터를 선정하는 것이나, CCTV 기하 정보가 제 2 자세 데이터 및 제 2 내부 기하 데이터까지 전부 포함하는 경우, 검색 선정부(118)는 도 12의 과정으로 진행될 수 있다. 도 12는 CCTV 장치의 영상 데이터에 대한 공간 정보의 생성 방법에 있어서, 검색 선정의 다른 실시예에 관한 순서도이다.

먼저, 검색 선정부(118)는 CCTV 장치(102)로부터 취득한 영상 데이터에 관련되어 2차원 위치 데이터와 제 2 자세 데이터를 갖는 제 2 외부 기하 데이터와 제 2 내부 기하 데이터를 포함하는 CCTV 기하 정보를 획득한다(S1205)

제 2 외부 기하 데이터는 이동 중인 CCTV 장치(102)의 위치와 자세, 즉 영상 센서(106)의 위치와 자세로 인해, 영상 센서(106)의 영상 정보를 취득할 때마다 가변되는 파라미터 값에 기초하여 산출되는 관측 데이터의 오차이며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다. 제 2 내부 기하 데이터는 센서(104~108) 자체의 고유값으로서, CCTV 장치(102)의 이동 여부에 관계없이 유지되는 파라미터에 기인하는 센서(104~108)마다의 관측 데이터의 오차이다. 센서(104~108) 마다의 기하 파라미터는 상술하여 생략한다.

다음으로, 검색 선정부(118)는 기준 위치 데이터와 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터 및 제 1 내부 기하 데이터를 포함하는 기준 영상 데이터의 기준 기하 정보 중 적어도 기준 위치 데이터와 영상 데이터의 2차원 위치 데이터에 기초하여 영상 데이터의 후보군을 검색한다(S1210).

여기서, 영상 데이터는 색상 정보를 가진 행렬 형태의 데이터 뿐만 아니라 특정 객체를 대표할 수 있는 특징을 지닌 디스크립터(descriptor)로 사용될 수 있다. 특정 객체를 대표하는 특징을 지닌 디스크립터의 경우에, 영상 비교 알고리즘으로서 SIFT(Scale Invariant Feature Transform)를 활용할 수 있다. 이에 대해서는 시스템(100)의 설명에서 상세히 기재하여 생략한다.

다음으로, 검색 선정부(118)는 2차원 위치 데이터, 3차원 위치 데이터 및 제 1 및 2 자세 데이터를 참조하여 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정한다(S1215).

구체적으로, 기준 영상 데이터와 동일하거나 매우 유사한 2차원 위치 데이터를 갖는 영상 데이터의 시야 방향 및 시야각에 따라 제 1 및 제 2 외부 기하 데이터의 제 1 및 제 2 자세 데이터가 상이하면, 영상 기하로 인해 동일한 특징 기하라도 서로 상이한 기하로 인식되어 기준 영상 데이터와 영상 데이터 간의 정합이 곤란하다. 따라서, 동일한 위치에서 제 1 및 제 2 자세 데이터가 소정 범위 내로 유사한 영상 데이터만을 후보군에서 선정함으로써, 이후 정합 단계의 정확도 및 처리 신속성이 향상될 수 있다.

도 2를 다시 참조하면, 정합부(120)는 선정된 영상 데이터와 기준 영상 데이터를 상호 정합한다(S215).

정합은 도 13에 따른 특징 기하 추출에 의한 방식 또는 도 14에 따른 영상 내에 지정된 템플릿 특성에 의한 방식에 의해 구현될 수 있다.

도 13은 정합부에서 특징 기하를 이용한 정합 과정을 예시한 도면이고, 도 14는 정합부에서 템플릿 간의 특성 상관도 분석을 이용한 정합 과정을 나타나는 순서도이다.

도 13과 같은 특징 기하 추출에 의한 방식은 기준 영상 데이터와 선정된 영상 데이터 간에 공통되는 소정 형태의 특징 기하들에 기반하여 기준 영상 데이터와 선정 영상 데이터를 정합하고, 특징 기하를 참고하여 공선조건식 등의 기하 모델을 통해 복수의 선정 영상 데이터를 결합할 수 있다.

여기서, 영상 데이터는 색상 정보를 가진 행렬 형태의 데이터 뿐만 아니라 특정 객체를 대표할 수 있는 특징을 지닌 디스크립터(descriptor)로 사용될 수 있다. 특정 객체를 대표하는 특징을 지닌 디스크립터의 경우에, 영상 비교 알고리즘으로서 SIFT를 활용할 수 있다.

템플릿 특성에 의한 방식에 대해 도 14를 참고하면, 정합부(120)는 기준 영상 데이터 내에 지정된 템플릿과 적어도 유사한 상기 선정 영상 데이터를 검색한다(S1405).

다음으로, 기준 영상 데이터 및 선정 영상 데이터의 템플릿들 간의 특성 상관도 분석에 따라 정합한다(S1410). 템플릿은 예컨대 미리 지정된 표지판, 간판 등의 영상 데이터 내에서 상당 정도 영역을 차지하는 객체일 수 있다. 특성 상관도 분석은 정합 속도를 향상시키기 위해, 푸리에 변환을 통해 영상의 공간적 특성을 주파수 특성으로 변환시켜 유사 특성 영역을 정합하는 방식을 사용할 수 있다.

이어서, 특성 상관 관계가 있는 템플릿들로 기준 영상 데이터와 선정 영상 데이터를 정합한다(S1415).

도 13에서 설명한 특징 기하 또는 도 14를 통해 설명한 템플릿은 정합 정보를 구성하며, 정합 정보는 기준 영상 데이터베이스부(116)에 저장될 수 있다.

도 2를 다시 참조하면, 기하 변환부(122)는 공통된 특징 기하들 또는 템플릿들에 있어서, 기준 영상 데이터를 참조하는 기하 변환 모델링에 의해 선정 영상 데이터의 CCTV 기하 정보를 기하 변환하여 2차원 위치 데이터보다 정확도가 높은 보정용 위치 데이터가 포함되는 보정 CCTV 기하 정보를 생성한다(S220).

기하 변환 모델링은 상술의 수학식 1과 같은 공선조건식을 이용하거나, 영상 데이터의 기하를 행렬형태로 반영할 수 있는 perspective transformation, affine transformation, homography transformation 중 하나를 대체모델링을 사용할 수 있다.

도 15는 영상 데이터의 2차원 위치 데이터와 대응하는 기준 영상 데이터의 기준 위치 데이터를 산출하는 과정을 도시한 도면이다. 공선조건식을 이용한 경우로서, 동일 특징 기하에 있어서, 영상 데이터가 기준 영상 데이터의 3차원 위치 좌표로 기하 변환되어 보정된다.

다음으로, 정합 최적값 추정부(124)는 보정용 CCTV 기하 정보가 연계된 영상 데이터의 특징 기하들을 랜덤 샘플링하여, 샘플링된 특징 기하들 및 상응하는 기준 데이터의 특징 기하들의 상호 이격량이 최소가 되는 샘플링 영상 데이터의 특징 기하를 정합 최적값으로 추정한다(S225). 정합 최적값의 구체적인 과정은 상술하여 생략하기로 한다.

이어서, CCTV 기하 정보 추정부(126)는 상술의 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 3차원 CCTV 기하 정보를 최종 보정 CCTV 기하 정보로 추정한다(S230).

다음으로, 영상 정보 생성부(128)는 최종 보정 CCTV 기하 정보 및 특징 기하에 대한 정합 정보에 기초하여, CCTV 장치(102)의 영상 데이터에 대해 CCTV 영상 정보를 생성한다(S235).

CCTV 영상 정보는 기준 영상 데이터베이스부(116)의 기준 영상 데이터와 같이, 기하 변환에 의해 보정된 영상 데이터 및 이와 연계된 위치 데이터, 보정된 제 2 자세 데이터를 포함하는 보정된 제 2 외부 기하 데이터, 보정된 제 2 내부 기하 데이터를 포함하는 최종 3차원 CCTV 기하 정보, 색상 데이터, 시간 데이터 등을 포함할 수 있다.

보정된 영상 데이터와 연계된 위치 데이터는 기준 위치 데이터가 2차원 위치 데이터인 경우에 2차원 위치 좌표로 구성되며, 기준 위치 데이터가 3차원 위치 데 이터인 경우에 3차원 위치 좌표로 구성될 수 있다.

도 16 및 도 17을 참조하여 기준 기하 정보가 기준 위치 데이터로서의 3차 원 위치 데이터와 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터로 구성되며, 기준 영상 데이터에 속한 기준 기하 정보의 정밀도가 낮은 경우에 영상 정보 생성부(128)가 수행하는 객체 높이 추정 과정에 대해 설명한다.

도 16은 3차원 영상 정보 생성부에서 CCTV 영상 데이터의 객체의 높이를 추정하는 과정을 나타내는 순서도이며, 도 17은 CCTV 영상 데이터 내에서 픽셀 데이터 분석을 통한 객체 높이를 추정하는 과정을 설명하는 도면이다.

도 16의 과정은 3차원 위치 데이터를 갖는 기준 영상 데이터의 일부 위치와 관련된 기준 기하 정보의 정밀도가 임계치보다 낮은 경우에 수행된다.

먼저, 영상 정보 생성부(128)는 정밀도가 낮은 상기 기준 영상 데이터와 상응하는 CCTV 장치(102)의 영상 데이터의 3차원 영상 정보를 2차원 기하 모델로 변환한다(S1605).

다음으로, 영상 정보 생성부(128)는 2차원 변환된 영상 데이터 내에서 픽셀 데이터 분석을 통한 객체 높이를 추정하거나, CCTV 장치의 영상 센서의 높이를 특정 높이로 가정하여 객체 높이를 분석하거나, CCTV 장치의 다수 영상 센서들의 시야 방향과 관련된 제 2 자세 데이터를 특정값으로 정의하며 삼각 함수 모델을 이용하여 객체 높이 추정한다(S1610).

픽셀 데이터 분석의 경우, 도 17에서와 같이, 영상 데이터 내의 픽셀을 수평 및 수직 픽셀 별로 분석하여 영상 센서(106) 높이, 영상 센서(106)로부터 수평선과 객체 최고지점 간의 각도(h)와 영상 센서(106)의 중심 초점(f)로부터의 연장선과 수평선 간의 각도(a)를 산출하고, 이를 기초로 픽셀 개수, 소실점 등을 감안하여 객체(202)의 높이를 추정한다. 이에 따라 3차원 영상 정보를 수집한다.

계속해서, 영상 정보 생성부(128)는 추정된 객체 높이를 3차원 CCTV 기하 정보에 반영하여 3차원 위치 데이터를 추정함으로써, 상응하는 CCTV 장치(102)의 영상 데이터의 상기 3차원 영상 정보를 생성한다(S1615).

본 실시예에 따르면, 부정확하거나 일부 지역에서 누락된 위치와 자세 관련 기하 데이터를 갖는 CCTV 장치(102)의 영상 데이터를 관측 센서와 측위 센서 구성된 멀티센서 플랫폼으로부터 생성된 기준 영상 데이터의 3차원 영상 정보와 정합하여 기하 변환 보정 등을 수행함으로써, CCTV 장치(102)로부터 취득한 영상 데이터를 편의성과 높은 정밀도의 3차원 공간 정보로 생성할 수 있다.

아울러, 기준 영상 데이터의 구축시에 라이다 등 고가의 센서들을 배제한 저비용의 센서들로부터 취득한 관측 데이터를 가공함으로써, 구축 비용 절감을 달성할 수 있다.

이하, 도 18 내지 도 20을 참조하여, 본 발명의 실시예에 따른 3차원 영상 정보를 이용한 CCTV 장치의 공간 정보 시스템에서 구현되는 공간 정보의 생성 및 갱신 방법에 대해 설명하기로 한다.

도 18은 본 발명의 실시예에 따른 CCTV 영상 정보를 이용한 CCTV 장치의 공간 정보 시스템에서 구현되는 공간 정보의 생성 및 갱신 방법에 관한 순서도이다. 도 19는 최종 보정 CCTV 기하 정보 및 객체 정보를 CCTV 영상 정보에 포함하는 신규 공간 정보를 생성하는 일례를 도시한 도면이고, 도 20은 공간 정보의 갱신 과정을 설명하기 위한 도면이다.

먼저, 객체 정보 추출부(130)는 영상 데이터로부터 기인하는 CCTV 영상 정보로부터 특정 형태의 객체를 추출한다(S1805).

구체적으로, 객체 정보 추출부(130)는 CCTV 영상 정보에 포함된 데이터들에 기초하여 추출된 대상물의 속성과 관련된 객체 정보를 추출할 수 있다.

객체 정보 추출부(130)는 CCTV 영상 정보에 포함된 영상 데이터, 최종 보정 CCTV 기하 정보, 색상 데이터, 시간 데이터 등으로부터 파악된 대상물과 관련된 후보군 데이터를 머신 러닝 기법으로 검출하고, 검출된 후보군 데이터에 순차적으로 추가 기계학습 모델을 적용하여 대상물의 정보를 인식할 수 있다.

다음으로, 공간 정보 생성부(132)는 추출된 객체와 동일한 기준 영상 데이터의 객체에 기초하여, 최종 보정 CCTV 기하 정보 및 기준 영상 데이터에 저장된 객체와 관련된 객체 정보를 CCTV 영상 정보에 포함하는 소정 좌표계, 예컨대 절대좌표계에 따른 신규 공간 정보를 생성한다(S1810).

공간 정보 생성부(132)는 공간 정보 데이터베이스부(136)에 신규 공간 정보를 전송하여 저장할 수 있다. 공간 정보는 소정 좌표계의 해당 좌표 등에 생성된 데이터로서, 관측 데이터, 내부 기하, 외부 기하, 고유 데이터, 시간 정보, 취득 환경 정보, 이종 센서들 간의 센서 데이터들의 위치 오차로 인한 이격량, 정확도, 정밀도 관련한 확률 정보, 포인트 클라우드관련 정보, 영상 데이터 관련 정보, 객체 정보 및 지도 관련 정보를 포함할 수 있다. 본 실시예에서는 공간 정보가 상술한 데이터들 내지 정보들을 전부 포함하는 것으로 기술하고 있으나, 이에 제한되지 않으며, 설계 사양에 따라 상술한 데이터/정보들 중 일부만을 포함하도록 설정될 수 있다.

도 19에서와 같이, 최종 보정 CCTV 기하 정보 및 객체 정보를 CCTV 영상 정보에 포함하여 신규 공간 정보를 생성하고, 이를 기반으로 도화 과정을 거쳐 우측의 지도로 제작될 수 있다.

다음으로, 공간 정보 갱신부(134)는 공간 정보 데이터베이스부(136)에 이미 저장된 기존 공간 정보가 존재하는 경우에, 동일 위치의 객체 정보에 있어서, 신규 공간 정보가 기존 공간 정보와 상이한지 여부를 판단하고(S1815), 판단 결과 상이한 객체 정보에 대해, 도 20에서와 같이 기존 공간 정보를 신규 공간 정보로 갱신한다(S1825). 판단 결과, 객체 정보가 동일한 경우에 기존 공간 정보를 유지할 수 있다(S1820).

도 1에 도시된 장치를 구성하는 구성요소 또는 도 2, 6, 9, 12, 14, 16, 18에 도시된 실시예들에 따른 단계는 그 기능을 실현시키는 프로그램의 형태로 컴퓨터 판독가능한 기록 매체에 기록될 수 있다. 여기에서, 컴퓨터 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터에서 판독할 수 있는 기록 매체를 말한다. 이러한 기록 매체 중 컴퓨터로부터 분리 가능한 것으로서는, 예를 들면, 휴대용 스토리지(portalbe storage), 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 메모리 카드 등이 있다. 또한, CCTV 장치 및 컴퓨터에 고정된 기록 매체로서 SSD(Solid State Disk), 하드디스크나 ROM 등이 있다.

또한, 이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

Claims (10)

1. 기준 위치 데이터와, 기준 영상을 생성하는데 설정된 시야 방향을 정의하는 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터가 포함된 기준 기하 정보와 연계하여 기준 영상 데이터를 저장하는 기준 영상 데이터베이스부;
   CCTV 장치로부터 취득한 영상 데이터와 관련되어 적어도 2차원 위치 데이터를 갖는 제 2 외부 기하 데이터가 포함된 CCTV 기하 정보를 획득하고, 적어도 상기 기준 위치 데이터 및 상기 2차원 위치 데이터를 참조하여 상기 기준 영상 데이터와 정합 가능한 상기 영상 데이터를 검색하여 선정하는 검색 선정부;
   상기 기준 영상 데이터와 상기 선정된 영상 데이터 간에 상호 정합하는 정합부;
   상기 기준 영상 데이터를 참조하는 기하 변환 모델링에 의해 상기 선정 영상 데이터의 상기 CCTV 기하 정보를 기하 변환하여 상기 2차원 위치 데이터보다 정확도가 높은 보정용 위치 데이터가 포함되는 보정 CCTV 기하 정보를 생성하는 기하 변환부;
   상기 보정 CCTV 기하 정보가 연계된 영상 데이터의 표본용 특징 기하들을 랜덤 샘플링하여, 상기 표본용 특징 기하들 및 상응하는 상기 기준 영상 데이터의 특징 기하들과의 이격량이 최소가 되는 특징 기하를 정합 최적값으로 추정하는 최적값 추정부;
   상기 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 보정 CCTV 기하 정보를 최종 보정 CCTV 기하 정보로 추정하는 기하 정보 추정부; 및
   상기 최종 보정 CCTV 기하 정보 및 정합 정보에 기초하여, 상기 CCTV 장치의 영상 데이터로부터 CCTV 영상 정보를 생성하는 영상 정보 생성부를 포함하는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
2. 제 1 항에 있어서,
   상기 2차원 위치 데이터는 상기 CCTV 장치의 2차원 좌표 또는 상기 CCTV 장치가 설치된 공간의 명칭을 포함하며, 상기 기준 위치 데이터는 상기 제 1 외부 기하 데이터의 2차원 위치 데이터보다 정확도가 높은 2차원 위치 데이터 또는 3차원 위치 데이터로 구성되고, 상기 기준 위치 데이터가 2차원 위치 데이터인 경우에, 상기 CCTV 영상 정보는 2차원 위치 좌표를 포함하고, 상기 기준 위치 데이터가 3차원 위치 데이터인 경우에, 상기 CCTV 영상 정보는 3차원 위치 좌표를 포함하는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
3. 제 1 항에 있어서,
   상기 제 2 외부 기하 데이터는 상기 영상을 생성하는데 설정된 시야 방향을 정의하는 제 2 자세 데이터를 더 포함하고,
   상기 검색 선정부는 상기 기준 위치 데이터 및 상기 2차원 위치 데이터에 기초하여 상기 기준 영상 데이터와 대비가능한 상기 영상 데이터의 후보군을 검색하고, 상기 제 1 및 제 2 자세 데이터를 참조하여 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정하는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
4. 제 1 항에 있어서,
   상기 기준 영상 데이터는 영상 촬영 센서 및 레이저 스캔닝 센서 중 적어도 어느 하나와 측위 센서를 구비하는 외부 이동형 플랫폼으로부터 획득된 영상 정보 및 포인트 클라우드 정보를 상기 센서들 간의 기하 모델을 통해 정합하고 보정하여 융합된 외부 영상 데이터, 혹은, 상기 보정용 CCTV 기하 정보로 보정되어 CCTV 영상 정보로 이미 저장된 보정 영상 데이터인, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
5. 제 1 항에 있어서,
   상기 기준 영상 및 상기 영상 데이터 중 적어도 어느 하나가 왜곡 영상을 발생하는 광역 영상 센서로부터 획득되는 경우에, 상기 왜곡 영상이 발생된 상기 기준 영상 및 상기 영상 데이터는 상기 왜곡 영상이 평면 영상으로 변환된 평면 영상 데이터를 이용하며, 상기 기준 영상이 상기 평면 영상 데이터를 이용하는 경우에, 상기 제 1 자세 데이터는 상기 평면 영상 데이터의 시야 방향으로 정의되는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
6. 제 1 항에 있어서,
   상기 기준 영상이 레이저 스캔닝 센서로부터 기인하는 경우에, 상기 기준 영상은 상기 레이저 스캔닝 센서로부터 획득되는 포인트 클라우드가 변환된 가상의 영상 데이터를 이용하고, 상기 기준 위치 데이터는 상기 가상의 영상 데이터의 위치 데이터로 정의되며, 상기 제 1 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의되는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
7. 제 1 항에 있어서,
   상기 정합부는 상기 선정 영상 데이터와 상기 기준 영상 데이터로부터 특징 기하를 추출하여 비교하여 공통 추정되는 특징 기하들을 상호 정합하거나, 혹은 상기 기준 영상 데이터 내에 지정된 템플릿(template)과 적어도 유사한 상기 선정 영상 데이터를 검색하여, 상기 템플릿들 간의 특성 상관도 분석에 따라 정합하고, 상기 정합 정보는 상기 특징 기하 또는 상기 템플릿이며, 싱기 특징 기하 또는 상기 템플릿은 기준 영상 데이터베이스부에 저장되는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
8. 삭제
9. 제 1 항에 있어서,
   상기 CCTV 영상 정보로부터 특정 형태의 객체를 추출하는 객체 정보 추출부;
   상기 추출된 객체와 동일한 기준 영상 데이터의 객체에 기초하여, 상기 보정용 CCTV 기하 정보 및 상기 기준 영상 데이터에 저장된 상기 객체와 관련된 상기 객체 정보를 상기 CCTV 영상 정보에 포함하는 신규 공간 정보를 생성하는 공간 정보 생성부; 및
   상기 신규 공간 정보가 공간 정보 데이터베이스부에 저장되며, 상기 공간 정보 데이터베이스부에 이미 저장된 기존 공간 정보가 존재하는 경우에, 동일 위치의 객체 정보에 있어서, 상기 신규 공간 정보가 상기 기존 공간 정보와 상이한지 여부를 판단하고, 판단 결과, 상이한 객체 정보에 대해 상기 기존 공간 정보를 상기 신규 공간 정보로 갱신하는 공간 정보 갱신부를 더 포함하는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
10. 제 1 항에 있어서,
    상기 기준 기하 정보는 상기 기준 위치 데이터로서의 3차원 위치 데이터와 상기 제 1 자세 데이터를 갖는 상기 제 1 외부 기하 데이터로 구성되며, 상기 기준 영상 데이터의 일부 위치와 관련되어 상기 기준 기하 정보의 정밀도가 임계치보다 낮은 경우에,
    상기 영상 정보 생성부는 상기 정밀도가 낮은 상기 기준 영상 데이터와 상응하는 상기 CCTV 영상 정보의 보정 영상 데이터를 2차원 기하 모델로 변환한 후에, 2차원 변환된 영상 데이터 내에서 픽셀 데이터 분석을 통한 객체 높이를 추정하거나, 상기 CCTV 장치의 영상 센서의 높이를 특정 높이로 가정하여 객체 높이를 분석하거나, 상기 CCTV 장치의 다수 영상 센서들의 시야 방향과 관련된 자세 데이터를 특정값으로 정의하며 삼각 함수 모델을 이용하여, 객체 높이를 추정하고, 상기 추정된 객체 높이를 상기 보정 CCTV 기하 정보에 반영하여 3차원 위치 데이터를 추정함으로써, 상응하는 상기 CCTV 영상 정보를 생성하는, 기준 영상 정보를 이용한 CCTV 장치의 공간 정보 생성 시스템.
    

Images