KR102426594B1 - 크라우드소싱 환경에서 객체의 위치를 추정하는 시스템 및 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 객체 위치 추정 방법은, 기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하는 단계, 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하는 단계, 상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하는 단계, 적어도 하나 이상의 참여자로부터 대상 이미지 데이터를 수신하는 단계 및 상기 생성된 검색 테이블을 이용하여 상기 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 단계를 포함할 수 있다.

Description

크라우드소싱 환경에서 객체의 위치를 추정하는 시스템 및 방법{SYSTEM AND METHOD FOR ESTIMATING THE LOCATION OF OBJECT IN CROWDSOURCING ENVIRONMENT}

본 발명은 크라우드소싱 환경에서 객체의 위치를 추정하는 시스템 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 크라우드소싱 환경에서 수집되는 데이터와 기 구축된 지도 데이터를 연계하여 GPS 정보 없이도 크라우드소싱 참여자가 제공한 데이터 상의 객체의 위치를 추정하는 시스템 및 방법에 관한 것이다.

최근 들어, 교통, 에너지, 환경, 범죄 등 다양한 도시 내부에서 유발 가능한 문제들을 해결하기 위한 해결책으로서 스마트 시티가 각광받고 있다. 이러한 스마트 시티 응용 중에서, 다양한 장소에 설치된 센서 데이터의 분석을 통해 최적의 솔루션을 도출하는 감시 시스템이 중요한 부분을 차지하고 있다.

스마트 시티 환경에서 감시 서비스가 제공되기 위해서는 센서 데이터로부터 각 감시 대상 객체들의 정보를 얻고, 객체에 대한 추적이 가능해야 한다. 이러한 감시 시스템을 구축하는 데에 폐쇄회로 촬영기, 적외선 감지 센서 등 고정된 위치에서 데이터가 생성되는 센서가 사용될 수 있다. 그러나, 이 경우 객체의 위치를 특정하기는 쉬우나, 각 센서가 물리적으로 포용 가능한 감시 범위가 매우 제한적이며, 감시 범위를 확대하기 위해서는 시설의 추가 설치에 따른 막대한 비용이 발생한다는 단점이 존재한다.

상기 단점을 보완하기 위해, 다수의 참여자가 정보를 공유하는 크라우드소싱 환경이 고려될 수 있다. 크라우드소싱이 이용된 크라우드소싱 감시 시스템에서의 객체 추적을 위해서는 각 센서 데이터에 대하여 위치 정보가 추출 가능해야 한다. 이에 관하여, 이미지 데이터에 대한 위치추정 기법으로서 SIFT(Scale Invariant Feature Transform) 등 수기 특징(Hand-Written Feature)을 이용하거나 딥러닝 기반의 이미지 특징을 이용하여 객체를 추적하는 연구들이 진행되어 왔다.

그러나, 상기 연구들은 고정된 촬영기기에서 생성된 영상 또는 이미지 데이터만 고려하거나, 이동형 촬영기기의 경우, 단일 촬영기기만을 고려하는 한계점이 존재하여 이를 크라우드소싱 환경에 적용하기에는 제한이 있는 실정이다.

본 발명이 해결하고자 하는 과제는 크라우드소싱 환경에서 객체의 위치를 추정하는 시스템 및 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는, 모바일 엣지 컴퓨팅 환경에서 GPS 정보에 대한 접근이 불가능한 경우에도 크라우드소싱 환경 기반 객체의 위치를 추정할 수 있는 시스템 및 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는, 이동성을 갖는 크라우드소싱 참여자가 촬영한 데이터의 시, 공간적 특성을 고려하여 보다 정확히 객체의 위치를 추정할 수 있는 시스템 및 방법을 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 객체 위치 추정 방법은, 기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하는 단계, 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하는 단계, 상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하는 단계, 적어도 하나 이상의 참여자로부터 대상 이미지 데이터를 수신하는 단계 및 상기 생성된 검색 테이블을 이용하여 상기 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 단계를 포함할 수 있다.

상기 객체 위치 추정 방법에 있어서, 상기 객체의 위치를 추정하는 단계는, 상기 수신한 대상 이미지 데이터에 대해 대상 이미지 특징 벡터를 추출하는 단계, 상기 추출된 대상 이미지 특징 벡터와 상기 제1 중간 표현 벡터 코드북을 이용하여 상기 대상 이미지 데이터에 대한 제2 중간 표현 벡터를 생성하는 단계 및 상기 생성된 검색 테이블을 이용하여 상기 제2 중간 표현 벡터와 유사도가 가장 큰 지도 이미지 데이터를 검색하는 단계를 포함할 수 있다.

상기 객체 위치 추정 방법에 있어서, 상기 제1 중간 표현 벡터 코드북은 K-평균 군집화(K-means clustering)을 이용하여 생성될 수 있다.

상기 객체 위치 추정 방법에 있어서, 상기 제1 중간 표현 벡터 코드북을 생성하는 단계는, 상기 전체 지도 이미지 데이터를 적어도 하나 이상의 이미지로 분할하는 단계 및 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 상기 분할된 적어도 하나 이상의 이미지 각각에 대한 중간 표현 벡터를 생성하는 단계를 포함할 수 있다.

상기 객체 위치 추정 방법에 있어서, 상기 분할하는 단계는, 상기 전체 지도 이미지 데이터 상에 중복되는 영역이 존재하도록 분할하는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 객체 위치 추정 시스템은, 적어도 하나 이상의 참여자로부터 대상 이미지 데이터를 수신하는 통신부 및 기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하고, 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하고, 상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하고, 상기 생성된 검색 테이블을 이용하여 상기 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 프로세서를 포함할 수 있다.

상기 객체 위치 추정 시스템에 있어서, 상기 프로세서는, 상기 수신한 대상 이미지 데이터에 대해 대상 이미지 특징 벡터를 추출하고, 상기 추출된 대상 이미지 특징 벡터와 제1 중간 표현 벡터 코드북을 이용하여 상기 대상 이미지 데이터에 대한 제2 중간 표현 벡터를 생성하고, 상기 생성된 검색 테이블을 이용하여 상기 제2 중간 표현 벡터와 유사도가 가장 큰 지도 이미지 데이터를 검색하여 상기 객체의 위치를 추정할 수 있다.

상기 객체 위치 추정 시스템에 있어서, 상기 제1 중간 표현 벡터 코드북은 K-평균 군집화(K-means clustering)을 이용하여 생성될 수 있다.

상기 객체 위치 추정 시스템에 있어서, 상기 프로세서는, 상기 전체 지도 이미지 데이터를 적어도 하나 이상의 이미지로 분할하고, 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 상기 분할된 적어도 하나 이상의 이미지 각각에 대한 중간 표현 벡터를 생성하여 상기 제1 중간 표현 벡터 코드북을 생성할 수 있다.

상기 객체 위치 추정 시스템에 있어서, 상기 프로세서는, 상기 전체 지도 이미지 데이터를 적어도 하나 이상의 이미지로 분할함에 있어, 상기 전체 지도 이미지 데이터 상에 중복되는 영역이 존재하도록 분할할 수 있다.

본 발명의 다른 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록 매체로서, 상기 컴퓨터 프로그램은, 기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하는 단계, 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하는 단계, 상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하는 단계 및 상기 생성된 검색 테이블을 이용하여, 적어도 하나 이상의 참여자로부터 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 단계를 포함하는 객체 위치 추정 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하는 단계, 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하는 단계, 상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하는 단계 및 상기 생성된 검색 테이블을 이용하여, 적어도 하나 이상의 참여자로부터 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 단계를 포함하는 객체 위치 추정 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 크라우드소싱 환경에서 객체의 위치를 추정하는 시스템 및 방법이 제공될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 모바일 엣지 컴퓨팅 환경에서 GPS 정보에 대한 접근이 불가능한 경우에도 크라우드소싱 환경 기반 객체의 위치를 추정할 수 있는 시스템 및 방법이 제공될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 이동성을 갖는 크라우드소싱 참여자가 촬영한 데이터의 시, 공간적 특성을 고려하여 보다 정확히 객체의 위치를 추정할 수 있는 시스템 및 방법이 제공될 수 있다.

본 발명의 실시예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서의 객체 위치 추정 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 위치 추정 모듈의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 크라우드소싱 데이터 관리 모듈의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체 위치 추정 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 입력 이미지 데이터로부터 이미지 특징 벡터를 추출하는 과정을 설명하기 위한 도면이다.
도 6은 종래의 SIFT(Scale Invariant Feature Transform)와 본 발명의 일 실시예에 따른 이미지 특징점 추출 결과를 비교하기 위한 도면이다.
도 7은 스마트시티 환경에서 발견될 수 있는 반복적인 패턴이 존재하는 이미지에 대한 특징점 추출 경향을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 중간 표현 벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 중간 표현 벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 이미지 분할 전처리 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 중간 표현 벡터의 일 예시를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 객체 위치 추정 시스템의 구성을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

종래의 위치 추정 기법으로서 SIFT 또는 딥러닝 기반의 이미지 특징을 이용한 객체 추적 기법 등 단일 촬영기기만을 고려하는 기법을 크라우드소싱 환경에 적용하려는 경우, 아래와 같은 한계점이 존재한다.

첫째로, 크라우드소싱 데이터 간에는 단일 촬영기기의 경우와는 다르게 위치 정보가 불확실하다. 이는, 단일 촬영기기의 경우, 이미 알고 있는 이동 정보를 이용해 이동 중 생기는 위치의 오차 및 GPS의 오차를 보정하는 것이 가능하여 상대적으로 정밀한 측위가 가능한 반면, 각 크라우드소싱 참가자가 생성하는 데이터의 경우, 생성 시의 위치 정보가 제각기 오류를 포함하고 있기 때문에, 이를 하나로 묶어서 처리하기 위해서는 먼저 이러한 측위의 오류를 다룰 수 있어야 한다.

둘째로, 크라우드소싱 데이터의 특성 상, 촬영 각도 및 시간이 제각각 다를 확률이 높고, 시간에 따른 촬영 장소의 변화가 일어나기 때문에, 이러한 시공간적 변화 또한 다룰 수 있어야 한다.

이하, 본 발명의 명세서에서 사용되는 기본적인 용어들에 대해 설명하기로 한다.

크라우드소싱 환경은 다수의 참여자가 정보를 공유하는 환경을 말하며, 이를 감시 시스템에 적용할 경우, 제한된 감시범위 데이터의 집합으로서 광범위를 포용하는 센서 데이터베이스의 구축이 가능할 수 있다. 이러한 크라우드소싱 환경을 상기 감시 시스템의 구축에 활용하게 되면, 충분히 많은 수의 참여자가 존재할 경우 추가적인 시설 설치 등 별도의 자금 투입 없이 기존 인프라를 통해 범위에 제한이 없는 감시 시스템의 구축이 가능할 수 있다.

거리 뷰란, 현대 인터넷 기반 지도체계에서 제공되는 데이터의 하나로 각 지도 좌표당 제공되는 주변 경관 이미지 데이터를 지칭한다. 고정된 좌표의 데이터 생성기준이 없어 그 불안정성이 높은 크라우드소싱 데이터 환경에서 거리 뷰 데이터의 사용은 기준이 되는 좌표 및 촬영각도의 추정을 도울 수 있어 크라우드소싱 환경상에서의 측위에 사용하기 적합하다.

엣지 컴퓨팅이란 말단 기기에서 컴퓨팅을 수행하는 것을 지칭하며, 기존 클라우드 컴퓨팅이 데이터를 데이터 센터에서 중앙 집중형으로 처리한 반면, 엣지 컴퓨팅은 네트워크 게이트웨이, 모바일 기기 등과 같은 장치에서 분산된 형태로 데이터를 처리한다. 이러한 분산된 개방형 아키텍처로서 IoT 기술을 지원함에 따라 각 도시 영역 별로 크라우드소싱 환경을 통해 제보 받은 데이터를 분석하기 위한 인프라로 사용하기 적합하다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 환경에서의 객체 위치 추정 시스템을 설명하기 위한 도면이다. 본 명세서에서는 크라우드소싱 환경에서 객체 위치 추정을 수행하는 구성을 객체 위치 추정 시스템으로 명명하였지만 이에 한정되지 않는다. 즉, 상기 객체 위치 추정 시스템은 크라우드소싱 환경에서 객체 위치 추정을 수행하는 장치로서, 객체 위치 추정 장치로도 불릴 수 있다.

도 1을 참조하면, 크라우드소싱 환경에서 객체의 위치를 추정(=측위)하기 위한 객체 위치 추정 시스템(1000)이 도시되어있다. 이때, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체 위치 추정 시스템(1000)은 각 사용자 단말을 기반으로 한 엣지 컴퓨팅 시스템을 이용하여 객체 위치 추정 방법을 수행할 수 있다.

객체 위치 추정 시스템(1000)은 객체 위치 추정 모듈(100) 및 크라우드소싱 데이터 관리 모듈(200)을 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.

도 1에 도시된 바와 같이, 객체 위치 추정 시스템(1000)의 크라우드 소싱 데이터 관리 모듈(200)은, 다수의 크라우드소싱 참여자로부터 촬영된 이미지 데이터, 시간 데이터 및 위치 정보 등을 수신 받아 각 연결된 객체 위치 추정 모듈(100)로 전송할 수 있다. 이때, 상술한 크라우드소싱 참여자는, 참여자 본인 또는 참여자의 단말 기기(예: 스마트폰 등)를 의미할 수 있다.

객체 위치 추정 모듈(100)은 기 저장되어 있던 전체 지도 이미지 데이터의 픽셀 별 이미지 특징점을 추출하고, 이미지 특징 벡터를 추출한 후, 상기 추출한 이미지 특징점 및 이미지 특징 벡터를 지도 데이터 이미지 특징값 데이터베이스에 저장할 수 있다. 또한, 객체 위치 추정 모듈(100)은, 크라우드 소싱 데이터 관리 모듈(200)로부터 수신한 정보에 기초하여, 참여자가 촬영한 이미지 데이터 상의 객체의 위치를 추정할 수 있다.

상기 추정된 객체의 위치는, 스마트 시티 환경에서 CCTV 등의 감시 시스템에 활용될 수 있으나, 그 활용 범위는 본 명세서에서 서술된 내용에 제한되는 것은 아니다. 이하, 도 2 및 도 3을 참조하여, 본 발명의 일 실시예에 따른 객체 위치 추정 시스템을 자세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 객체 위치 추정 모듈의 구성을 설명하기 위한 도면이다.

도 2를 참조하면, 일 실시예에 따른 객체 위치 추정 모듈(100)은, 이미지 특징점 추출기(110), 이미지 특징 벡터 생성기(120), 특징값 기반 이미지 검색기(130), 크라우드소싱 측위 결과 데이터베이스(140) 및 지도 데이터 이미지 특징값 데이터베이스(150)를 포함할 수 있으며, 객체 위치 추정에 필요한 미도시된 구성 요소를 추가적으로 더 포함할 수 있다.

이미지 특징점 추출기(110)는, 미리 구축되어 저장된 거리 뷰 이미지 기반의 지도 데이터를 이용하여, 지도 상의 각 이미지의 픽셀 별로 이미지 특징점을 추출할 수 있다. 추출된 이미지 특징점의 예시는 도 6에 도시되어있다. 또한, 이미지 특징점 추출기(110)는, 크라우드 소싱 참여자로부터 수신한 대상 이미지 데이터에 대해서도 동일한 방식으로 각 이미지의 픽셀 별 이미지 특징점을 추출할 수 있다. 이때, 이미지 특징점 추출기(110)가 이미지의 픽셀 별 이미지 특징점을 추출함에 있어서는, 도 5에 도시된 딥러닝 구조가 이용될 수 있다.

이미지 특징 벡터 생성기(120)는, 상술한 이미지 특징점 추출기(110)로부터 추출된 각 픽셀 별 지도 이미지 특징점에 대응하는 이미지 특징 벡터를 생성할 수 있다. 이때, 이미지 특징 벡터 생성기(120)가 이미지의 픽셀 별 이미지 특징 벡터를 생성함에 있어서는, 도 5에 도시된 딥러닝 구조가 이용될 수 있다. 또한, 이미지 특징 벡터 생성기(120)는, 크라우드 소싱 참여자로부터 수신한 대상 이미지 데이터에 대해서도 동일한 방식으로 각 대상 이미지의 픽셀 별 이미지 특징점에 대응하는 이미지 특징 벡터를 생성할 수 있다.

그리고, 이미지 특징 벡터 생성기(120)는, 생성한 이미지 특징 벡터를 기반으로 하여 중간 표현 벡터 코드북을 생성하고, 이미지에 해당하는 중간 표현 벡터를 생성할 수 있다. 이때, 지도 이미지 데이터에 대한 중간 표현 벡터는 제1 중간 표현 벡터로, 대상 이미지 데이터에 대한 중간 표현 벡터는 제2 중간 표현 벡터로 명명될 수 있다. 상기 중간 표현 벡터의 생성과 관련해서는 도 8과 관련된 설명에서 후술한다.

코드북이란, 복수 개의 벡터가 존재할 경우, 상기 복수 개의 벡터와 가장 가까운 표현(예: 거리 등)을 가지고 있는 기준 벡터로서, 상기 복수 개의 벡터가 상기 기준 벡터로 치환이 될 수 있는 기준 벡터를 의미할 수 있다. 또는, 상기 기준 벡터를 생성할 수 있는 기준 자체를 의미할 수 있다. 예를 들어, 코드북의 생성에는, 복수 개의 개체들이 K개의 기준을 중심으로 군집화 될 수 있는 K-평균 군집화(K-means clustering)가 이용될 수 있다.

특징값 기반 이미지 검색기(130)는 지도 이미지 데이터에서 추출한 특징점 및 특징 벡터를 기반으로 하여, 후술할 크라우드소싱 데이터 관리 모듈(200)로부터 수신한 대상 이미지의 특징점 및 특징 벡터와의 유사도를 측정할 수 있다. 즉, 특징값 기반 이미지 검색기(130)는 지도 이미지 데이터에 대한 제1 중간 표현 벡터 코드북을 이용하여, 검색 테이블을 생성하고, 상기 검색 테이블을 이용하여 크라우드소싱 참여자로부터 수신한 대상 이미지에 대한 제2 중간 표현 벡터와 가장 유사한 제1 중간 표현 벡터를 검색할 수 있다.

한편, 지도 이미지 데이터에서 추출한 특징점 및 특징 벡터는 지도 데이터 이미지 특징값 데이터베이스(150)에 저장될 수 있다. 또한, 상기 검색 테이블에 관련된 정보 또한 지도 데이터 이미지 특징값 데이터베이스(150)에 저장될 수 있다.

또한, 특징값 기반 이미지 검색기(130)는, 상기 제2 중간 표현 벡터와 가장 유사한 제1 중간 표현 벡터에 해당하는 지도 이미지 데이터의 위치 및 시간에 대한 정보를 획득할 수 있다. 즉, 크라우드소싱 참여자가 제공한 대상 이미지 데이터의 위치 및 시간에 대한 정보를 지도 이미지 데이터의 제1 중간 표현 벡터와의 비교를 통해 획득할 수 있다. 이때, 상기 획득된 대상 이미지 데이터의 위치 및 시간에 대한 정보는 크라우드소싱 측위 결과라고 명명될 수 있다.

한편, 상기 크라우드소싱 측위 결과는, 크라우드소싱 측위 결과 데이터베이스(140)에 저장될 수 있다. 따라서, 객체 위치 추정 시스템(1000)의 사용자는, 추후에 크라우드소싱 측위 결과 데이터베이스(140)로부터 크라우드소싱 측위 결과를 획득하여, 감시 시스템 등에 활용할 수 있다. 이하, 도 3에서, 크라우드소싱 데이터 관리 모듈(200)에 대해 설명한다.

도 3은 본 발명의 일 실시예에 따른 크라우드소싱 데이터 관리 모듈의 구성을 설명하기 위한 도면이다.

도 3을 참조하면, 크라우드소싱 데이터 관리 모듈(200)은, 크라우드소싱 데이터 수집기(210), 데이터 분석 요청 관리기(220), 크라우드소싱 데이터 저장소(230) 및 지도 데이터 저장소(240)를 포함할 수 있으며, 그 밖의 크라우드소싱 데이터의 관리에 이용될 수 있는 미도시된 구성 요소를 더 포함할 수 있다.

크라우드소싱 데이터 수집기(210)는, 적어도 하나 이상의 크라우드소싱 참여자의 단말 기기 등으로부터 촬영된 이미지 데이터, 촬영 시간 데이터 및 촬영 위치 정보 등을 수신할 수 있다. 이때, 상기 참여자의 단말 기기는, 스마트 폰 등 본 발명에서 엣지 서버로서 활용될 수 있는 모든 기기를 포함할 수 있다. 한편, 크라우드소싱 데이터 수집기(210)에 의해 수집된 상기 정보들은, 크라우드소싱 데이터 저장소(230)에 저장될 수 있다. 이때, 상기 참여자로부터 촬영되어 전송된 이미지는 대상 이미지로 명명될 수 있다.

데이터 분석 요청 관리기(220)는, 상기 참여자 또는 객체 위치 추정 시스템의 사용자로부터 객체 위치 추정 요청이 들어오는 경우, 상기 크라우드소싱 데이터 저장소(230)에 저장된 대상 이미지 데이터, 위치 정보 및 시간 정보 등을 이용하여 객체의 위치 추정 과정을 전반적으로 관리할 수 있다.

지도 데이터 저장소(240)는, 객체 위치 추정 모듈(100)에 포함된 지도 데이터 이미지 특징값 데이터베이스(150)에 저장된 지도 이미지 데이터의 특징점 및 특징 벡터를 포함하는 특징값들을 저장한 공간을 의미할 수 있다. 상기 데이터 분석 요청 관리기(220)가 객체의 위치 추정에 관한 요청을 수신하는 경우, 지도 데이터 저장소(240)에 저장된 지도 이미지 데이터에 관한 정보가 대상 이미지에 포함된 객체의 위치 추정 시 이용되는 비교 대상으로 활용될 수 있다. 이하, 도 4에서 본 발명의 일 실시예에 따른 객체 위치 추정 시스템에 의해 수행되는 객체 위치 추정 방법에 대해 설명한다.

도 4는 본 발명의 일 실시예에 따른 객체 위치 추정 방법을 설명하기 위한 도면이다.

도 4에 도시된 일련의 과정들은, 상술한 객체 위치 추정 시스템에 의해 수행되는 것으로, 도 1 내지 도 3과 관련된 설명과 도 4와 관련된 설명은 서로 원용될 수 있다.

도 4를 참조하면, 객체 위치 추정 시스템은, 기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 추출된 지도 이미지 특징 벡터를 클러스터링할 수 있다(S401).

구체적으로, 객체 위치 추정 시스템은, 미리 구축되어 저장된 거리 뷰 이미지 기반의 지도 데이터를 이용하여, 지도 상의 각 이미지의 픽셀 별로 이미지 특징점을 추출할 수 있다. 또한, 각 픽셀 별 지도 이미지 특징점에 대응하는 이미지 특징 벡터를 생성할 수 있다. 이때, 이미지 특징 벡터를 생성함에 있어서는, 도 5에 도시된 딥러닝 구조가 이용될 수 있다.

또한, 객체 위치 추정 시스템은 상기 생성된 이미지 특징 벡터를 클러스터링할 수 있다.

그리고, 객체 위치 추정 시스템은, 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성할 수 있다(S402). 예를 들어, 코드북의 생성에는, 복수 개의 개체들이 K개의 기준을 중심으로 군집화 될 수 있는 K-평균 군집화(K-means clustering)가 이용될 수 있다.

이때, 상기 K-평균 군집화 알고리즘에는 아래 수학식 1이 이용될 수 있다.

상기 수학식 1에서,

는 특정 값이 K군집에 속했는지 여부를 나타내는 원소로서, K군집에 속할 경우 1, 아닐 경우 0을 나타낼 수 있다. 한편,

는 K군집 포함여부를 판단하는 i번째 이미지를 나타내며,

는 K군집 포함판단 시 사용되는 거리 함수를 나타낸다. 이미지 K-평균 알고리즘을 이용한 코드북의 작성을 수행한 결과로 K개의 군집 중심 벡터가 생성되면, 해당 K 개의 벡터를 기저로 삼는 설명 벡터 코드북이 생성될 수 있다. 이와 관련하여, 도 8에서 보다 구체적으로 설명한다.

또한, 객체 위치 추정 시스템은, S402단계에서 생성된 제1 중간 표현 벡터 코드북을 이용하여, 검색 테이블을 생성할 수 있다(S403).

그리고, 객체 위치 추정 시스템은, 적어도 하나 이상의 크라우드소싱 참여자로부터 대상 이미지 데이터를 수신할 수 있다(S404). 이때, 객체 위치 추정 시스템은, 상기 대상 이미지 데이터 외에도, 상기 대상 이미지 데이터에 해당하는 위치 정보 및 촬영된 시간 정보 등을 수신할 수 있다.

그리고, 객체 위치 추정 시스템은, 상기 S403단계에서 생성된 검색 테이블을 이용하여, 상기 S404단계에서 수신한 대상 이미지 데이터로부터 객체의 위치를 추정할 수 있다(S405).

구체적으로, 객체 위치 추정 시스템은, 분석 요청이 된 수신한 대상 이미지 데이터에 대해 대상 이미지 특징 벡터를 추출하고, 상기 추출된 대상 이미지 특징 벡터와 제1 중간 표현 벡터 코드북을 이용하여 상기 대상 이미지 데이터에 대한 제2 중간 표현 벡터를 생성하고, 지도 이미지 데이터에 대한 제1 중간 표현 벡터 코드북을 이용하여, 검색 테이블을 생성하고, 상기 검색 테이블을 이용하여 크라우드소싱 참여자로부터 수신한 대상 이미지에 대한 제2 중간 표현 벡터와 가장 유사한 제1 중간 표현 벡터를 검색할 수 있다.

한편, 객체 위치 추정 시스템은, 상기 검색 테이블을 이용하여 아래 수학식 2와 같이 상기 크라우드소싱 대상 이미지 데이터의 중간 표현 벡터와의 유사도 거리가 가장 작은, 혹은 유사도가 가장 높은 최근접 거리뷰 지도 데이터 이미지를 검색할 수 있다.

한편, 상기 검색 시 사용하는 유사도(simm)는 하기 수학식 3으로 표현될 수 있다.

이때, 상기 수학식 3에서 ψ는 이미지 설명 벡터를 의미할 수 있다.

그리고, 객체 위치 추정 시스템은, 상기 제2 중간 표현 벡터와 가장 유사한 제1 중간 표현 벡터에 해당하는 지도 이미지 데이터로부터 위치 정보를 획득할 수 있다. 이때, 상기 획득된 대상 이미지 데이터의 위치 및 시간에 대한 정보는 크라우드소싱 측위 결과라고 명명될 수 있다.

한편, 일 실시예에 의할 경우, 상술한 제1 중간 표현 벡터 코드북의 생성 이전에, 지도 이미지 및 대상 이미지 데이터에 대한 이미지 분할이 선행될 수도 있다. 상기 일 실시예에 관한 설명은 도 8 및 도 10과 관련된 설명에서 후술한다.

도 5는 본 발명의 일 실시예에 따른 입력 이미지 데이터로부터 이미지 특징 벡터를 추출하는 과정을 설명하기 위한 도면이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 딥러닝을 기반으로 이미지 데이터로부터 이미지 특징 벡터가 추출되는 일 예시가 도시되어있다. 도 5에 도시된 과정은, 지도 이미지뿐만 아니라 대상 이미지의 특징값 추출에도 적용될 수 있다.

기존의 수기 특징점(Hand-Written Feature)의 경우, 아래 수학식 4와 같이, 주어진 i번째 물체

에 대한 n번째 디스크립터(descriptor)

가 계산되었다.

도 5에 도시된 특징값 추출기를 거쳐서 생성된 이미지 특징값은 도 5의 우측에 도시된 바와 같이, 이미지의 주요 지점(=특징점) 및 상기 특징점에 대한 이미지 특징 벡터(=이미지 설명 벡터)로 이루어질 수 있다.

구체적으로, 도 5에 도시된 딥러닝 모델은, 다중 이미지 피라미드화 된 이미지 입력에 대한 은닉층 집중 활성값(Att)을 기준으로 하여 주요 지점을 설정할 수 있다. 또한, 상기 주요 지점 근처 이미지 조각의 은닉층 일반 활성값을 이미지 특징 벡터로 설정할 수 있다.

지도 이미지 데이터에 대해 상기 과정이 수행된 이후, 거리 뷰 지도 이미지 데이터의 특징값들로부터 중간 표현 벡터의 생성에 사용되는 코드북 작성을 위해 특징값 클러스터링이 수행될 수 있다. 이때, 특징값 클러스터링에는 상술한 수학식 1이 이용될 수 있다.

도 6은 종래의 SIFT(Scale Invariant Feature Transform)와 본 발명의 일 실시예에 따른 이미지 특징점 추출 결과를 비교하기 위한 도면이다.

도 6(a)는 스마트 시티 도심 속 환경에서 종래 기술인 SIFT 기법을 이용할 경우의 특징점 추출 경향을 도시한 것이고, 도 6(b)는 본 발명의 일 실시예에 따른 상술한 특징점 추출 방법에 의할 경우의 특징점 추출 경향을 도시한 것이다. 도 6을 참조하면, 종래 기술인 SIFT에 비해 본 발명의 실시예에 의할 경우, 이미지 데이터 전반적으로 고르게 특징점이 추출되어, 전반적인 이미지에 대해 이해가 필요한 장소 인식 서비스에 있어서 이미지 데이터 분석이 보다 명확히 이루어질 수 있음을 확인할 수 있다.

도 7은 스마트시티 환경에서 발견될 수 있는 반복적인 패턴이 존재하는 이미지에 대한 특징점 추출 경향을 설명하기 위한 도면이다.

도 7을 참조하면, 스마트시티 환경에서는 거리 뷰 데이터 상 도 7(a)에 도시된 바와 같이 반복적인 패턴(예: 아파트의 창문, 에어컨 실외기 등)이 존재하는 경우가 많이 있다. 이때, 본 발명의 일 실시예에 따른 상술한 특징점 추출 방법에 의할 경우, 도 7(b)에 도시된 바와 같이 반복적인 패턴에 대해 고르게 특징점이 배열되는 것을 확인할 수 있다. 이는, 반복적인 패턴이 존재하여 보다 정밀한 이미지 분석이 필요한 경우에도, 본 발명의 일 실시예에 의할 경우 특징점이 정확히 추출되어 객체의 위치 인식이 정확히 수행될 수 있음을 의미한다.

도 8은 본 발명의 일 실시예에 따른 중간 표현 벡터를 생성하는 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 입력된 이미지(예: 대상 이미지, 지도 이미지 등)에 대하여, 특징값을 추출하는 과정 및 중간 표현 벡터를 생성하여 이미지 검색 및 측위가 수행되는 과정이 도시되어있다. 이때, 특징값을 추출하는 과정(좌측에 도시된 과정)은, 도 5와 관련된 설명에서 상술한 특징값 추출 알고리즘이 이용될 수 있다.

한편, 중간 표현 벡터 생성 과정의 경우, 특정 이미지가 다양한 스케일로 분류된 후 중간 표현 벡터가 생성될 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 특정 이미지에 대하여 Scale 0의 경우, 이미지 자체에서 하나의 중간 표현 벡터가 생성될 수 있다. 또한, Scale 1의 경우, 이미지가 4등분 된 후, 상기 4등분된 각 이미지 부분에 대하여 중간 표현 벡터가 생성될 수 있다. 또한, Scale 2의 경우, 이미지가 16등분 된 후, 상기 16등분 된 각 이미지 부분에 대하여 중간 표현 벡터가 생성될 수 있다.

그리고, 최종적으로, 각 Scale 별로 생성된 중간 표현 벡터가 연결되어 하나의 중간 표현 벡터가 생성될 수 있다. 상기 과정과 같이, 이미지에서 하나의 중간 표현 벡터를 추출하지 않고, Scale 별로 나누어 추출하게 될 경우, 반복되는 경향이 많은 스마트 시티 도심 속 환경의 이미지 데이터에서도 보다 정확한 이미지 표현이 가능할 수 있다.

이때, 도 8을 참조하면, 객체 위치 추정 시스템은 생성된 코드북을 이용하여 하기 수학식 5와 같이 이미지의 특징값의 차원 변동성을 축소하고, 임의 차원의 특징값을 균을 차원의 표현 벡터(예: 도 8의 경우, 256차원)로 치환할 수 있다.

이때,

는 K-군집 코드북의 i번째 중심을 의미하고,

는 k번째 주요 지점의 descriptor 벡터를 의미할 수 있다.

도 9는 본 발명의 일 실시예에 따른 중간 표현 벡터를 생성하는 과정을 설명하기 위한 도면이다.

도 9를 참조하면, 중간 표현 벡터 생성 알고리즘의 일 실시예로, BoW(Back of Words) 및 VLAD(Vector of Locally Aggregated Description)이 도시되어있다.

객체 위치 추정 시스템은, 상술한 수학식 3의 결과로 도출된 균일 차원 표현 벡터로부터 도 9에 도시된 BoW 최종 표현 벡터로 치환하기 위해 하기 수학식 6과 같은 벡터 유사도 기반 치환을 수행할 수 있다.

한편, 또 다른 실시예로, 중간 표현 벡터 생성에 VLAD가 사용되는 경우, 하기 수학식 7이 이용되어 치환이 수행될 수 있다.

이때, 상기 수학식 6 및 수학식 7에 도시된 ψ는 상술한 수학식 3에서의 이미지 설명 벡터를 의미할 수 있다.

상기 생성된 코드북을 기반으로 하여 거리뷰 지도 데이터에 대한 표현 벡터 데이터베이스가 구축되고, 이후 거리 뷰의 각 지도 좌표에 할당된 전방위 촬영 이미지 표현 벡터의 군집이 지도 좌표별로 생성될 수 있다. 그리고, 이를 검색하기 위한 검색 테이블이 생성될 수 있다.

도 10은 본 발명의 일 실시예에 따른 이미지 분할 전처리 과정을 설명하기 위한 도면이다.

상술한 도 8의 중간 표현 벡터 생성을 위한 이미지 분할(Scale 별)에 있어서, 일 실시예로 도 10(a)에 도시된 바와 같이, 이미지가 중복되는 영역 없이 분할될 수 있다.

한편, 다른 실시예로, 도 10(b)에 도시된 바와 같이, 이미지 내에서 중복되는 영역이 존재하도록 이미지가 분할될 수도 있다.

도 11은 본 발명의 일 실시예에 따른 중간 표현 벡터의 일 예시를 설명하기 위한 도면이다.

도 11을 참조하면, 같은 장소에 대한 다른 각도의 이미지 데이터가 입력된 경우, 상술한 중간 표현 벡터가 어떻게 나타나는지가 도시되어있다. 도 11에 도시된 바와 같이, 같은 장소에 대해 다른 각도의 이미지 데이터가 입력되더라도, 중간 표현 벡터가 유사하므로, 같은 장소라면 동일한 위치인 것으로 인식될 수 있음을 확인할 수 있다.

도 12는 본 발명의 일 실시예에 따른 객체 위치 추정 시스템의 구성을 설명하기 위한 도면이다.

도 12를 참조하면, 일 실시예에 따른 객체 위치 추정 시스템(1200)은, 통신부(1210) 및 프로세서(1220)로도 구성될 수 있다. 즉, 상술한 객체 위치 추정 모듈(100) 및 크라우드소싱 데이터 관리 모듈(200)의 전부 또는 일부 구성은, 통신부(1210) 및 프로세서(1220)에 의해 구현되어 동작이 수행될 수 있다. 상술한 객체 위치 추정 방법은 도 12에 도시된 객체 위치 추정 시스템(1200)에 의해 수행되는 것일 수 있다.

통신부(1210)는, 적어도 하나 이상의 크라우드소싱 참여자로부터 대상 이미지 데이터를 수신할 수 있다. 또한, 사용자로부터 객체의 위치 추정에 관한 요청(=분석 요청)을 수신할 수 있다. 상기 통신부(1210)가 다른 사용자 또는 참여자와 통신을 수행하는 방식은, 특정한 통신 방식에 제한되지 않는다.

프로세서(1220)는, 기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터할 수 있다. 또한, 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하고, 상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하고, 상기 생성된 검색 테이블을 이용하여 상기 수신한 대상 이미지 데이터로부터 객체의 위치를 추정할 수 있다.

한편, 프로세서(1220)는, 상기 객체의 위치를 추정함에 있어서, 상기 수신한 대상 이미지 데이터에 대해 대상 이미지 특징 벡터를 추출하고, 상기 추출된 대상 이미지 특징 벡터와 제1 중간 표현 벡터 코드북을 이용하여 상기 대상 이미지 데이터에 대한 중간 표현 벡터를 생성하고, 상기 생성된 검색 테이블을 이용하여 상기 제2 중간 표현 벡터와 유사도가 가장 큰 지도 이미지 데이터를 검색할 수 있다.

또한, 프로세서(1220)는, 상기 전체 지도 이미지 데이터를 적어도 하나 이상의 이미지로 분할하고, 상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 상기 분할된 적어도 하나 이상의 이미지 각각에 대한 중간 표현 벡터를 생성하여 상기 제1 중간 표현 벡터 코드북을 생성할 수 있다.

이때, 프로세서(1220)는, 도 10(b)에 도시된 바와 같이, 상기 전체 지도 이미지 데이터를 적어도 하나 이상의 이미지로 분할함에 있어, 상기 전체 지도 이미지 데이터 상에 중복되는 영역이 존재하도록 분할할 수 있다.

한편, 전술한 다양한 실시예들에 따른 객체 위치 추정 방법은 이러한 방법의 각 단계를 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현 가능하고, 또한 이러한 방법의 각 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체의 형태로 구현될 수도 있다.

본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1000: 객체 위치 추정 시스템
100: 객체 위치 추정 모듈
200: 크라우드소싱 데이터 관리 모듈

Claims (12)

1. 객체 위치 추정 시스템에 의해 수행되는 객체 위치 추정 방법에 있어서,
   기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하는 단계;
   상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하는 단계;
   상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하는 단계;
   적어도 하나 이상의 참여자로부터 대상 이미지 데이터를 수신하는 단계; 및
   상기 생성된 검색 테이블을 이용하여 상기 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 단계를 포함하는 객체 위치 추정 방법.
2. 제1항에 있어서,
   상기 객체의 위치를 추정하는 단계는,
   상기 수신한 대상 이미지 데이터에 대해 대상 이미지 특징 벡터를 추출하는 단계;
   상기 추출된 대상 이미지 특징 벡터와 제1 중간 표현 벡터 코드북을 이용하여 상기 대상 이미지 데이터에 대한 중간 표현 벡터를 생성하는 단계; 및
   상기 생성된 검색 테이블을 이용하여 상기 제2 중간 표현 벡터와 유사도가 가장 큰 지도 이미지 데이터를 검색하는 단계를 포함하는 객체 위치 추정 방법.
3. 제2항에 있어서,
   상기 제1 중간 표현 벡터 코드북은 K-평균 군집화(K-means clustering)을 이용하여 생성되는 객체 위치 추정 방법.
4. 제2항에 있어서,
   상기 제1 중간 표현 벡터 코드북을 생성하는 단계는,
   상기 전체 지도 이미지 데이터를 적어도 하나 이상의 이미지로 분할하는 단계; 및
   상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 상기 분할된 적어도 하나 이상의 이미지 각각에 대한 중간 표현 벡터를 생성하는 단계를 포함하는 객체 위치 추정 방법.
5. 제4항에 있어서,
   상기 분할하는 단계는,
   상기 전체 지도 이미지 데이터 상에 중복되는 영역이 존재하도록 분할하는 단계를 포함하는 객체 위치 추정 방법.
6. 객체 위치 추정 시스템에 있어서,
   적어도 하나 이상의 참여자로부터 대상 이미지 데이터를 수신하는 통신부; 및
   기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하고,
   상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하고,
   상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하고,
   상기 생성된 검색 테이블을 이용하여 상기 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 프로세서를 포함하는 객체 위치 추정 시스템.
7. 제6항에 있어서,
   상기 프로세서는,
   상기 수신한 대상 이미지 데이터에 대해 대상 이미지 특징 벡터를 추출하고,
   상기 추출된 대상 이미지 특징 벡터와 제1 중간 표현 벡터 코드북을 이용하여 상기 대상 이미지 데이터에 대한 중간 표현 벡터를 생성하고,
   상기 생성된 검색 테이블을 이용하여 상기 제2 중간 표현 벡터와 유사도가 가장 큰 지도 이미지 데이터를 검색하여 상기 객체의 위치를 추정하는 객체 위치 추정 시스템.
8. 제7항에 있어서,
   상기 제1 중간 표현 벡터 코드북은 K-평균 군집화(K-means clustering)을 이용하여 생성되는 객체 위치 추정 시스템.
9. 제7항에 있어서,
   상기 프로세서는,
   상기 전체 지도 이미지 데이터를 적어도 하나 이상의 이미지로 분할하고,
   상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 상기 분할된 적어도 하나 이상의 이미지 각각에 대한 중간 표현 벡터를 생성하여 상기 제1 중간 표현 벡터 코드북을 생성하는 객체 위치 추정 시스템.
10. 제9항에 있어서,
    상기 프로세서는,
    상기 전체 지도 이미지 데이터를 적어도 하나 이상의 이미지로 분할함에 있어, 상기 전체 지도 이미지 데이터 상에 중복되는 영역이 존재하도록 분할하는 객체 위치 추정 시스템.
11. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록 매체로서,
    상기 컴퓨터 프로그램은,
    기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하는 단계;
    상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하는 단계;
    상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하는 단계; 및
    상기 생성된 검색 테이블을 이용하여, 적어도 하나 이상의 참여자로부터 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 단계를 포함하는 객체 위치 추정 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.
12. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    기 저장된 전체 지도 이미지 데이터에 대해 지도 이미지 특징 벡터를 추출하고, 상기 추출된 지도 이미지 특징 벡터를 클러스터링하는 단계;
    상기 클러스터링된 지도 이미지 특징 벡터를 이용하여 제1 중간 표현 벡터 코드북을 생성하는 단계;
    상기 생성된 제1 중간 표현 벡터 코드북을 이용하여 검색 테이블을 생성하는 단계; 및
    상기 생성된 검색 테이블을 이용하여, 적어도 하나 이상의 참여자로부터 수신한 대상 이미지 데이터로부터 객체의 위치를 추정하는 단계를 포함하는 객체 위치 추정 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.

Images