KR102249381B1

KR102249381B1 - System for generating spatial information of mobile device using 3D image information and method therefor

Info

Publication number: KR102249381B1
Application number: KR1020190151909A
Authority: KR
Inventors: 박일석; 홍승환; 왕영훤
Original assignee: 주식회사 스트리스
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2021-05-07
Also published as: KR102249381B9

Abstract

A system and a method for generating spatial information of a mobile device by using three-dimensional image information are provided. The system comprises: a reference information database unit which stores reference image data in link with reference geometry information including three dimensional position data and first external geometry data with first posture data; a search and selection unit which obtains device geometry information including second external geometry data with at least two-dimensional position data in relation with image data obtained from the mobile device, which searches for a candidate group of the image data that can be matched with the reference image data by referring to the two-dimensional position data and the three-dimensional position data, and which selects the image data with the highest matching degree with the reference image data among the candidate group; a matching unit which matches the selected image data with the reference image data based on feature geometries of a predetermined form common between the reference image data and the selected image data; a geometry transformation unit which geometrically transforms the device geometry information of the selected image data with respect to the reference image data such that the three-dimensional position data is included to correct the device geometry information to three-dimensional geometry information in the common feature geometries; and a three image information generating unit which generates three-dimensional image information for the image data of the mobile device based on the three-dimensional device geometry information and the matching information with respect to the feature geometry. The present invention can transform the image data, obtained by a low-priced mobile device, into three-dimensional spatial information with convenience and high precision.

Description

3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법{System for generating spatial information of mobile device using 3D image information and method therefor}System for generating spatial information of mobile device using 3D image information and method therefor}

본 발명은 기준 데이터로서 기 저장된 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for generating spatial information of a mobile device using pre-stored 3D image information as reference data.

스마트폰, HMD (Head Mount Display), 스마트안경 등 영상 카메라 센서, 측위 센서, 지자기 센서, 자이로 센서, 지자기 센서, 통신 모듈과 더불어 연산 컴퓨팅 시스템을 탑재한 스마트형 모바일 디바이스들이 다양한 용도로 사용되고 있다. Image camera sensors such as smartphones, HMD (Head Mount Display), and smart glasses, positioning sensors, geomagnetic sensors, gyro sensors, geomagnetic sensors, and communication modules, as well as smart mobile devices equipped with computational computing systems are used for various purposes.

예를 들어 네비게이션의 경우에는 기존의 도로네트워크 정보와 GPS 위치 데이터가 융합되어 차량의 위치정보가 추출되고, 도로네트워크 정보와 GPS 위치 데이터를 이용한 차량의 이동경로를 기반으로 출발지와 목적지에 주행정보가 사용자에게 전달된다. For example, in the case of navigation, vehicle location information is extracted by fusion of existing road network information and GPS location data, and driving information is provided at the starting point and destination based on the vehicle's movement route using road network information and GPS location data. It is delivered to the user.

이와 같이 공간 정보 구축에 있어서 관측 센서로부터 취득한 위치 정확도는 매우 중요한 요소로 작용한다. 그러나 스마트 디바이스는 크기, 전원, 가격 등의 문제로 저성능의 센서를 사용할 수 밖에 없는 한계를 가지고 있어 많은 오차가 유발된다. In this way, in constructing spatial information, the positional accuracy acquired from the observation sensor acts as a very important factor. However, smart devices have limitations in that they can only use low-performance sensors due to problems such as size, power, and price, causing many errors.

그리고 최근에는 스마트 시티, 자율 주행, 디지털 트윈이 산업에 중요한 기술로 강조되기 시작하면서 기존 2차원 측위 정보를 기반으로 하는 서비스의 형태로는 한계를 지니게 되었다. And recently, as smart cities, autonomous driving, and digital twins have begun to be emphasized as important technologies in the industry, there are limitations in the form of services based on existing two-dimensional positioning information.

따라서 3차원 영상 정보의 응용 분야가 증가되고 있으나, 저가의 측위 센서로는 정확한 차원 측위 정보를 얻는데는 한계가 있었다. Therefore, although the field of application of 3D image information is increasing, there is a limitation in obtaining accurate dimensional positioning information with a low-cost positioning sensor.

종래의 도로네트워크, CAD 도면, 지도 등의 데이터는 기존의 네비게이션에서 사용가능하였으나, 머신러닝(machine learning) 적용에 있어서 정확한 주변 공간 정보를 인지하고 이에 대한 응답으로 충분한 정보를 제공하지 못하였다. Data such as conventional road networks, CAD drawings, and maps can be used in conventional navigation, but in the application of machine learning, accurate surrounding spatial information has not been recognized and sufficient information has not been provided in response thereto.

또한 종래 도로네트워크, CAD 도면 등의 정확도 및 정밀도가 미터 수준으로 생성되었기 때문에 그 이상의 성능을 요구하는 자율주행, AR/VR 등의 서비스 제공에 있어서도 한계를 보였다. 이를 극복하기 위해서는 2차원의 기준 공간 정보가 아닌 3차원의 공간 정보로 확장시킬 필요성이 있다. In addition, since the accuracy and precision of conventional road networks and CAD drawings were generated at the level of meters, there were limitations in providing services such as autonomous driving and AR/VR that require higher performance. In order to overcome this, it is necessary to expand it to 3D spatial information instead of 2D reference spatial information.

그러나, 일반적인 단일 카메라 기반의 스마트 디바이스의 영상 데이터로부터 취득된 정보를 3차원 공간 정보를 기반으로 하는 서비스로 연결시키는데 곤란함이 존재하고 있다. 이는 3차원 공간 정보를 활용하는 것에 있어서 데이터 용량, 계산량에 문제가 있는데 기인하여, 이를 극복하기 위한 방안이 지속적으로 제기되고 있다. However, it is difficult to connect information acquired from image data of a general single camera-based smart device to a service based on 3D spatial information. This is due to the fact that there are problems in the data capacity and the amount of calculation in the use of 3D spatial information, and a plan to overcome this has been continuously proposed.

본 발명이 이루고자 하는 기술적 과제는 모바일 디바이스의 저성능 영상 센서, 측위 센서 등으로 취득하는 2차원 위치 정보의 영상 데이터를 고성능의 센서들로 구성된 플랫폼으로부터 생성된 3차원 영상 정보와 정합하여 기하 변환 등을 수행함으로써, 저가의 모바일 디바이스로 취득한 영상 데이터를 편의성과 높은 정밀도의 3차원 공간 정보를 생성하는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법을 제공하는데 있다. The technical problem to be achieved by the present invention is to match the image data of 2D location information acquired by a low-performance image sensor, a positioning sensor, etc. of a mobile device with 3D image information generated from a platform composed of high-performance sensors to transform geometrical and the like. To provide a system and method for generating spatial information of a mobile device using 3D image information, which generates 3D spatial information of convenience and high precision from image data acquired by a low-cost mobile device by performing the method.

본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. The object of the present invention is not limited to the objects mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템은 3차원 위치 데이터와, 기준 영상을 생성하는데 설정된 시야 방향을 정의하는 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터가 포함된 기준 기하 정보와 연계하여 기준 영상 데이터를 저장하는 기준 영상 데이터베이스부와. 모바일 디바이스로부터 취득한 영상 데이터에 관련되어 적어도 2차원 위치 데이터를 갖는 제 2 외부 기하 데이터를 포함하는 디바이스 기하 정보를 획득하고, 상기 2차원 위치 데이터 및 상기 3차원 위치 데이터를 참조하여 상기 기준 영상 데이터와 정합 가능한 상기 영상 데이터의 후보군을 검색하며, 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정하는 검색 선정부와, 상기 기준 영상 데이터와 상기 선정된 영상 데이터 간에 공통되는 소정 형태의 특징 기하들에 기반하여 상기 기준 영상 데이터와 선정 영상 데이터를 정합하는 정합부와, 공통된 특징 기하들에 있어서, 기하 변환 모델링에 의해 상기 기준 영상 데이터에 대한 상기 선정 영상 데이터의 디바이스의 기하 정보를 상기 3차원 위치 데이터를 포함하도록 기하 변환하여 3차원 디바이스 기하 정보로 보정하는 기하 변환부, 및 상기 3차원 디바이스 기하 정보 및 상기 특징 기하에 대한 정합 정보에 기초하여, 상기 모바일 디바이스의 영상 데이터에 대해 3차원 영상 정보를 생성하는 3차원 영상 정보 생성부를 포함한다. According to an aspect of the present invention for achieving the above technical problem, a system for generating spatial information of a mobile device using 3D image information includes 3D position data and first posture data defining a viewing direction set to generate a reference image. A reference image database unit for storing reference image data in association with reference geometric information including first external geometric data. Obtain device geometric information including second external geometric data having at least two-dimensional position data related to the image data acquired from the mobile device, and refer to the two-dimensional position data and the three-dimensional position data to obtain the reference image data and A search selector for searching for a candidate group of matchable image data and selecting the image data having the highest degree of matching with the reference image data among the candidate groups, and a predetermined type common between the reference image data and the selected image data A matching unit that matches the reference image data and the selected image data based on the feature geometries of, and in common feature geometries, geometric information of the device of the selected image data with respect to the reference image data is obtained by geometric transformation modeling. A geometric conversion unit that geometrically transforms to include the 3D location data and corrects it with 3D device geometry information, and based on the 3D device geometry information and matching information for the feature geometry, with respect to the image data of the mobile device And a 3D image information generator that generates 3D image information.

다른 실시예에서, 상기 제 2 외부 기하 데이터는 상기 영상을 생성하는데 설정된 시야 방향을 정의하는 제 2 자세 데이터를 더 포함하고, 상기 검색 선정부는 상기 3차원 위치 데이터 및 상기 2차원 위치 데이터에 기초하여 상기 기준 영상 데이터와 대비가능한 상기 영상 데이터의 후보군을 검색하고, 상기 제 1 및 제 2 자세 데이터를 참조하여 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정할 수 있다. In another embodiment, the second external geometric data further includes second posture data defining a viewing direction set to generate the image, and the search selection unit is based on the 3D position data and the 2D position data. A candidate group of the image data that can be contrasted with the reference image data may be searched, and the image data having the highest degree of matching with the reference image data may be selected from among the candidate groups by referring to the first and second posture data.

또한, 상기 기준 기하 정보는 상기 기준 영상을 생성하는데 설정된 센서에 정의된 기하 파라미터에 근거한 제 1 내부 기하 데이터를 더 포함하며, 상기 디바이스 기하 정보는 상기 영상을 생성하는데 설정된 영상 센서에 정의된 기하 파라미터에 근거한 제 2 내부 기하 데이터를 더 포함하고, 상기 검색 선정부에서의 상기 최고의 정합도를 갖는 상기 영상 데이터의 선정 및 상기 기하 변환부에서의 상기 3차원 디바이스 기하 정보로의 보정은 상기 제 1 및 제 2 내부 기하 데이터를 더 포함하여 참조할 수 있다. In addition, the reference geometric information further includes first internal geometric data based on a geometric parameter defined in a sensor set to generate the reference image, and the device geometric information is a geometric parameter defined in an image sensor set to generate the image The image data having the highest degree of matching by the search selection unit and the selection of the image data having the highest degree of matching by the search selection unit and correction of the 3D device geometry information by the geometry conversion unit are performed by the first and The second internal geometric data may be further included for reference.

이에 더하여, 상기 기준 영상 및 상기 영상 데이터 중 적어도 어느 하나가 왜곡 영상을 발생하는 광역 영상 센서로부터 기인하는 경우에, 상기 기준 영상 및 상기 영상 데이터는 상기 왜곡 영상을 평면 영상 데이터로 변환하여 생성되는 평면 영상 데이터를 이용하며, 상기 기준 영상의 3차원 위치 데이터는 상기 평면 영상 데이터의 3차원 위치 데이터를 활용하고, 상기 영상 데이터의 2차원 위치 데이터는 상기 평면 영상 데이터의 2차원 위치 데이터로 정의되며, 상기 제 1 및 제 2 자세 데이터는 상기 평면 영상 데이터의 시야 방향으로 정의될 수 있다. In addition, when at least one of the reference image and the image data originates from a wide area image sensor that generates a distortion image, the reference image and the image data are a plane generated by converting the distortion image into flat image data. Image data is used, and the 3D position data of the reference image utilizes the 3D position data of the planar image data, and the 2D position data of the image data is defined as the 2D position data of the planar image data, The first and second posture data may be defined as a viewing direction of the planar image data.

또 다른 실시예에서, 상기 기준 영상이 레이저 스캔닝 센서로부터 기인하는 경우에, 상기 기준 영상은 상기 레이저 스캔닝 센서로부터 획득되는 점군 데이터가 변환된 가상의 영상 데이터를 이용하고, 상기 3차원 위치 데이터는 상기 가상의 영상 데이터의 3차원 위치 데이터로 정의되며, 상기 제 1 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의될 수 있다. In another embodiment, when the reference image originates from a laser scanning sensor, the reference image uses virtual image data obtained by converting point cloud data obtained from the laser scanning sensor, and the 3D position data Is defined as 3D position data of the virtual image data, and the first posture data may be defined as a viewing direction of the virtual image data.

또 다른 실시예에서, 상기 3차원 디바이스 기하 정보가 연계된 영상 데이터의 특징 기하들을 랜덤 샘플링하여, 상기 샘플링된 특징 기하들 및 상응하는 상기 기준 영상 데이터의 특징 기하들의 상호 이격량이 최소가 되는 샘플링 영상 데이터의 특징 기하를 정합 최적값으로 추정하는 정합 최적값 추정부, 및 상기 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 3차원 디바이스 기하 정보를 최종 3차원 디바이스 기하 정보로 추정하는 디바이스 기하 정보 추정부를 더 포함하고, 상기 3차원 영상 정보의 생성시에 기초되는 정보 중 상기 3차원 디바이스 기하 정보는 상기 최종 3차원 디바이스 기하 정보를 사용할 수 있다. In another embodiment, a sampling image in which a mutually spaced amount of the sampled feature geometries and corresponding feature geometries of the reference image data is minimized by randomly sampling feature geometries of image data to which the 3D device geometric information is linked A matched optimal value estimating unit that estimates the feature geometry of the data as a matched optimal value, and a device geometry that estimates geometric-transformed three-dimensional device geometry information as final three-dimensional device geometry information in relation to the feature geometry estimated as the matched optimal value. An information estimation unit may be further included, and the final 3D device geometry information may be used as the 3D device geometry information among information based upon generation of the 3D image information.

또 다른 실시예에서, 상기 3차원 영상 정보로부터 특정 형태의 객체를 추출하는 객체 정보 추출부, 및 상기 추출된 객체와 동일한 기준 영상 데이터의 객체에 기초하여, 상기 3차원 디바이스 기하 정보 및 상기 기준 영상 데이터에 저장된 상기 객체와 관련된 상기 객체 정보를 상기 3차원 영상 정보에 포함하는 신규 공간 정보를 생성하는 공간 정보 생성부를 더 포함할 수 있다. In another embodiment, based on an object information extraction unit for extracting an object of a specific type from the 3D image information, and an object of the same reference image data as the extracted object, the 3D device geometric information and the reference image A spatial information generator for generating new spatial information including the object information related to the object stored in data in the 3D image information may be further included.

여기서, 상기 신규 공간 정보가 공간 정보 데이터베이스부에 저장되며, 상기 공간 정보 데이터베이스부에 이미 저장된 기존 공간 정보가 존재하는 경우에, 동일 위치의 객체 정보에 있어서, 상기 신규 공간 정보가 상기 기존 공간 정보와 상이한지 여부를 판단하고, 판단 결과 상이한 객체 정보에 대하여, 상기 기존 공간 정보를 상기 신규 공간 정보로 갱신하는 공간 정보 갱신부를 더 포함할 수 있다. Here, the new spatial information is stored in the spatial information database unit, and when existing spatial information already stored in the spatial information database unit exists, in the object information at the same location, the new spatial information is It may further include a spatial information update unit that determines whether or not they are different, and updates the existing spatial information with the new spatial information for different object information as a result of the determination.

상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법은 모바일 디바이스로부터 취득한 영상 데이터에 관련되어 적어도 2차원 위치 데이터를 갖는 제 2 외부 기하 데이터가 포함된 디바이스 기하 정보를 획득하고, 기준 영상 데이터와 연계된 3차원 위치 데이터와 기준 영상을 생성하는데 설정된 시야 방향을 정의하는 제 1 외부 기하 데이터를 포함하는 기준 기하 정보 중 상기 3차원 위치 데이터 및 상기 2차원 위치 데이터를 참조하여 상기 기준 영상 데이터와 정합 가능한 상기 영상 데이터의 후보군을 검색하며, 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정하는 검색 선정 단계와, 상기 기준 영상 데이터와 상기 선정된 영상 데이터 간에 공통되는 소정 형태의 특징 기하들에 기반하여 상기 기준 영상 데이터와 선정 영상 데이터를 정합하는 정합 단계와, 공통된 특징 기하들에 있어서, 기하 변환 모델링에 의해 상기 기준 영상 데이터에 대한 상기 선정 영상 데이터의 디바이스의 기하 정보를 상기 3차원 위치 데이터를 포함하도록 기하 변환하여 3차원 디바이스 기하 정보로 보정하는 기하 변환 단계, 및 상기 3차원 디바이스 기하 정보 및 상기 특징 기하에 대한 정합 정보에 기초하여, 상기 모바일 디바이스의 영상 데이터에 대해 3차원 영상 정보를 생성하는 3차원 영상 정보 생성 단계를 포함한다. According to an aspect of the present invention for achieving the above technical problem, a method for generating spatial information of a mobile device using 3D image information includes second external geometric data having at least 2D position data related to image data acquired from the mobile device. The 3D position data and the 3D position data of the reference geometric information including first external geometric data defining a viewing direction set to obtain the included device geometry information and to obtain the included device geometry data and to generate the 3D position data associated with the reference image data and the reference image. A search selection step of searching for a candidate group of the image data that can be matched with the reference image data by referring to 2D position data, and selecting the image data having the highest degree of matching with the reference image data from among the candidate groups; and the reference image A matching step of matching the reference image data and the selected image data based on feature geometries of a predetermined shape common between the data and the selected image data, and the reference image data by geometric transformation modeling for the common feature geometries. A geometric conversion step of geometrically transforming the device geometry information of the selected image data to include the 3D position data and correcting the 3D device geometry information, and the 3D device geometry information and matching information on the feature geometry And generating 3D image information for the image data of the mobile device based on the 3D image information.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. Details of other embodiments are included in the detailed description and drawings.

본 발명에 따르면, 모바일 디바이스의 저성능 영상 센서, 측위 센서 등으로 취득하는 2차원 위치 정보의 영상 데이터를 고성능의 센서들로 구성된 플랫폼으로부터 생성된 3차원 영상 정보와 정합하여 기하 변환 등을 수행함으로써, 저가의 모바일 디바이스로 취득한 영상 데이터를 편의성과 높은 정밀도의 3차원 공간 정보를 생성할 수 있다. According to the present invention, geometric transformation is performed by matching image data of 2D location information acquired by a low-performance image sensor or a positioning sensor of a mobile device with 3D image information generated from a platform composed of high-performance sensors. , It is possible to generate 3D spatial information with convenience and high precision from image data acquired with a low-cost mobile device.

이에 더하여, 스마트 디바이스의 영상데이터로부터 추출된 정보들로부터 3차원 공간 정보를 기존의 공간 정보와 연계하여 갱신할 수 있다. In addition, 3D spatial information may be updated in association with existing spatial information from information extracted from image data of a smart device.

이외에도 본 명세서를 통해 당업자라면 파악할 수 있는 구성을 통해 도출되는 효과를 배제하지 않는다. In addition, effects derived through configurations that can be grasped by those skilled in the art through the present specification are not excluded.

도 1은 본 발명의 실시예에 따른 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 이와 통신하는 모바일 디바이스에 관한 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법에 관한 순서도이다.
도 3은 기준 데이터베이스부에 저장된 3차원 영상 정보의 일례를 도시한 도면이다.
도 4는 광역 영상 센서로부터 취득한 영상 데이터의 왜곡을 제거하여 평면 영상 데이터로 변환하는 제 1 과정에 관한 순서도이다.
도 5 및 도 6은 영상 왜곡 제거 및 평면 영상 데이터 변환의 제 1 과정을 개략적으로 도시한 도면이다.
도 7은 광역 영상 센서로부터 취득한 영상 데이터의 왜곡을 제거하여 평면 영상 데이터로 변환하는 제 2 과정에 관한 순서도이다.
도 8은 영상 왜곡 제거 및 평면 영상 데이터 변환의 제 2 과정을 개략적으로 도시한 도면이다.
도 9는 기준 영상 데이터베이스부가 레이저 스캔닝 센서로부터 획득되는 점군 데이터가 변환된 가상의 영상 데이터를 저장하는 형태이다.
도 10은 기준 영상 데이터와 정합 가능한 영상 데이터의 후보군을 검색하는 과정을 도시한 도면이다.
도 11은 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정하는 과정을 도시한 도면이다.
도 12는 영상 데이터의 2차원 위치 데이터와 대응하는 기준 영상 데이터의 3차원 위치 데이터를 산출하는 과정을 도시한 도면이다.
도 13은 모바일 디바이스의 영상 데이터의 위치 및 시야 방향이 최종 3차원 디바이스 기하 정보로 보정된 일례를 도시한 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법에 관한 순서도이다.
도 15는 최종 3차원 디바이스 기하 정보 및 객체 정보를 3차원 영상 정보에 포함하는 신규 공간 정보를 생성하는 일례를 도시한 도면이다.
도 16은 공간 정보의 갱신 과정을 설명하기 위한 도면이다.1 is a configuration diagram of a system for generating spatial information of a mobile device using 3D image information and a mobile device communicating therewith according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating a method of generating spatial information of a mobile device using 3D image information according to another embodiment of the present invention.
3 is a diagram illustrating an example of 3D image information stored in a reference database unit.
4 is a flowchart of a first process of removing distortion of image data acquired from a wide area image sensor and converting it into flat image data.
5 and 6 are diagrams schematically illustrating a first process of image distortion removal and planar image data conversion.
7 is a flowchart illustrating a second process of removing distortion of image data acquired from a wide area image sensor and converting it into flat image data.
8 is a diagram schematically illustrating a second process of image distortion removal and planar image data conversion.
9 is a form in which the reference image database unit stores virtual image data converted from point cloud data obtained from a laser scanning sensor.
10 is a diagram illustrating a process of searching for a candidate group of image data that can be matched with reference image data.
11 is a diagram illustrating a process of selecting image data having the highest degree of matching with reference image data.
12 is a diagram illustrating a process of calculating 3D position data of reference image data corresponding to 2D position data of image data.
13 is a diagram illustrating an example in which the location and viewing direction of image data of a mobile device are corrected with final 3D device geometric information.
14 is a flowchart illustrating a method of generating spatial information of a mobile device using 3D image information according to another embodiment of the present invention.
15 is a diagram illustrating an example of generating new spatial information including final 3D device geometric information and object information in 3D image information.
16 is a diagram for describing a process of updating spatial information.

이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings and the following description. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed contents may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art. The same reference numbers throughout the specification indicate the same elements. Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used herein, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, actions and/or elements in which the recited component, step, operation and/or element is Or does not preclude additions.

또한, "부"내지 모듈 이란, 일반적으로 논리적으로 분리 가능한 소프트웨어(컴퓨터,프로그램), 하드웨어 등의 부품을 가리킨다. 따라서, 본 실시형태에 있어서의 모듈은 컴퓨터,프로그램에 있어서의 모듈뿐만 아니라, 하드웨어 구성에 있어서의 모듈도 가리킨다. 그 때문에, 본 실시형태는, 그것들을 모듈로서 기능시키기 위한 컴퓨터 프로그램(컴퓨터에 각각의 단계를 실행시키기 위한 프로그램, 컴퓨터를 각각의 수단으로서 기능시키기 위한 프로그램, 컴퓨터에 각각의 기능을 실현시키기 위한 프로그램), 시스템 및 방법의 설명도 겸하고 있다. 다만, 설명의 형편상, 「저장한다」, 「저장시킨다」, 이것들과 동등한 문언을 이용하지만, 이들 문언은, 실시형태가 컴퓨터 프로그램일 경우에는, 기억 장치에 기억시키는, 또는 기억 장치에 기억시키는 것과 같이 제어하는 것을 의미한다. 또한, "부" 내지 모듈은 기능에 일대일로 대응하고 있어도 되지만, 실장에 있어서는, 1 모듈을 1 프로그램으로 구성해도 되고, 복수 모듈을 1 프로그램으로 구성해도 되고, 반대로 1 모듈을 복수 프로그램으로 구성해도 된다. 또한, 복수 모듈은 1 컴퓨터에 의해 실행되어도 되고, 분산 또는 병렬 환경에 있어서의 컴퓨터에 의해 1 모듈이 복수 컴퓨터로 실행되어도 된다. 또한, 1개의 모듈에 다른 모듈이 포함되어 있어도 된다. 또한, 이하, 「접속」이란 물리적인 접속 외에, 논리적인 접속(데이터의 주고받기, 지시, 데이터간의 참조 관계 등)일 경우에도 채용한다. 「미리 정해진」이란, 대상으로 하고 있는 처리 전에 정해져 있음을 말하고, 본 실시형태에 의한 처리가 개시되기 전은 물론이고, 본 실시형태에 의한 처리가 개시된 후에도, 대상으로 하고 있는 처리 전이면, 그 때의 상황, 상태에 따라, 또는 그때까지의 상황, 상태에 따라 정해지는 것의 의미를 포함해서 이용한다.In addition, "sub" to "module" generally refer to components such as software (computer, program) and hardware that can be logically separated. Accordingly, the module in the present embodiment refers not only to a module in a computer or a program, but also a module in a hardware configuration. Therefore, the present embodiment is a computer program for making them function as modules (a program for executing each step in a computer, a program for making a computer function as each means, a program for realizing each function in a computer) ), also describes the system and method. However, for convenience of explanation, phrases equivalent to "save" and "save" are used, but these words are stored in a memory device or stored in a memory device when the embodiment is a computer program. It means to control like that. In addition, the "sub" to the module may correspond to the function one-to-one, but in the implementation, one module may be composed of one program, a plurality of modules may be composed of one program, and conversely, one module may be composed of a plurality of programs. do. Further, a plurality of modules may be executed by one computer, or one module may be executed by a plurality of computers by a computer in a distributed or parallel environment. In addition, another module may be included in one module. In addition, hereinafter, "connection" is adopted in the case of logical connection (data exchange, instruction, reference relationship between data, etc.) in addition to physical connection. The term "predetermined" means that it is determined before the target processing, as well as before the processing according to the present embodiment is started, even after the processing according to the present embodiment is started, and before the target processing, the It includes the meaning of what is determined according to the situation and state of the time, or the situation and state up to that time.

또한, 시스템 또는 장치란, 복수의 컴퓨터, 하드웨어, 장치 등이 네트워크(일대 일 대응의 통신 접속을 포함함) 등의 통신 수단에 의해 접속되어 구성되는 것 외에, 1개의 컴퓨터, 하드웨어, 장치 등에 의해 실현될 경우도 포함된다. 「장치」와 「시스템」이란, 서로 동의(同意)의 용어로서 이용한다. 물론이지만, 「시스템」에는, 인위적인 결정인 사회적인 「기구」(사회 시스템)에 지나지 않는 것은 포함하지 않는다.In addition, a system or device is configured by connecting a plurality of computers, hardware, devices, etc. by means of communication such as a network (including a one-to-one communication connection), and a single computer, hardware, device, etc. This includes cases where it is realized. The terms "device" and "system" are used as terms of mutual agreement. Of course, the "system" does not include anything but an artificial decision, a social "mechanism" (social system).

또한, 각 부 내지 각 모듈에 의한 처리마다 또는 각 부 내지 모듈 내에서 복수의 처리를 행할 경우는 그 처리마다, 대상이 되는 정보를 기억 장치로부터 판독 입력하고, 그 처리를 행한 후에, 처리 결과를 기억 장치에 기입하는 것이다. 따라서, 처리 전의 기억 장치로부터의 판독 입력, 처리 후의 기억 장치에의 기입에 관해서는, 설명을 생략할 경우가 있다. 또한, 여기에서의 기억 장치로서는, 하드디스크, RAM(Random Access Memory), 외부 기억 매체, 통신 회선을 통한 기억 장치, CPU(Central Processing Unit) 내의 레지스터 등을 포함하고 있어도 된다.In addition, when processing by each unit or module or a plurality of processing within each unit or module, the target information is read and input from the storage device for each processing, and after the processing is performed, the processing result is displayed. It is to write to the storage device. Therefore, the description of the read input from the storage device before processing and the writing to the storage device after processing may be omitted in some cases. Further, the storage device herein may include a hard disk, a random access memory (RAM), an external storage medium, a storage device through a communication line, a register in a CPU (Central Processing Unit), and the like.

이하, 도 1을 참조하여, 본 발명의 실시예에 따른 모바일 디바이스로부터 취득한 2차원 위치 정보의 영상 데이터를 기준 영상 데이터베이스부의 3차원 영상 데이터와 정합하여 소정 처리를 수행함으로써, 3차원 영상 정보를 갖는 영상 데이터를 생성하기 위한, 모바일 디바이스의 공간 정보 생성 시스템에 대하여 설명하기로 한다. Hereinafter, referring to FIG. 1, by matching the image data of the 2D location information acquired from the mobile device according to the embodiment of the present invention with the 3D image data of the reference image database to perform predetermined processing, A system for generating spatial information of a mobile device for generating image data will be described.

도 1은 본 발명의 실시예에 따른 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 이와 통신하는 모바일 디바이스에 관한 구성도이다. 1 is a block diagram of a system for generating spatial information of a mobile device using 3D image information and a mobile device communicating therewith according to an exemplary embodiment of the present invention.

상기 시스템(100)은 모바일 디바이스(102)에서 촬영된 지형, 지물 등의 공간 객체를 촬영한 영상 데이터가 2차원 위치 데이터와 촬영 당시의 추정된 영상 센서(104)의 시야 방향 등과 결합된 정보를 수신한다. The system 100 collects information in which image data of spatial objects such as terrain and features captured by the mobile device 102 are combined with 2D location data and the estimated viewing direction of the image sensor 104 at the time of shooting. Receive.

먼저 모바일 디바이스(102)를 설명하면, 모바일 디바이스(102)는 영상 센서(104), 측위 센서(106), IMU 센서(Inertial Measurement Unit; 106), 중앙 처리부(110) 및 통신부(112)를 포함할 수 있다. First, the mobile device 102 will be described. The mobile device 102 includes an image sensor 104, a positioning sensor 106, an IMU sensor (Inertial Measurement Unit) 106, a central processing unit 110, and a communication unit 112. can do.

모바일 디바이스(102)는 사람, 이동체 등을 통해 이동하면서 주변 환경을 촬영하는 디바이스로서, 2차원 위치 데이터와 결부된 영상 데이터를 생성하여 상기 시스템(100)에 유무선 네트워크를 통해 송수신하는 장치이다. 예를 들어, 모바일 디바이스(102)는 스마트폰, HMD (Head Mount Display), 스마트 안경, 차량 충돌 및 사고 등을 인지하는 차량용 블랙 박스 등일 수 있으나, 상술한 기능을 구현하는 장치라면 이에 제한되지 않는다. The mobile device 102 is a device that photographs a surrounding environment while moving through a person or a moving object, and is a device that generates image data associated with 2D location data and transmits/receives to the system 100 through a wired or wireless network. For example, the mobile device 102 may be a smartphone, a head mount display (HMD), smart glasses, a vehicle black box that recognizes vehicle collisions and accidents, etc., but is not limited thereto. .

영상 센서(104)는 모바일 디바이스(102)에 탑재되어 그 주위의 주변 대상물, 예컨대 지형, 지물을 이미지로 촬영하여 영상 데이터 및 영상 데이터가 취득된 당시의 영상용 시간 정보를 취득하는 센서들을 복수 구비할 수 있다. 영상 센서(104)는 평면 영상용 센서, 평면 영상용 센서보다 넓은 화각을 갖는 광역 영상 센서, 측량용 또는 비측량용 카메라일 있으며, 이에 제한되지 않는다. 광역 영상 센서는 서로 다른 방향의 시야 방향을 갖는 영상이 조합된 스테레오 영상, 또는 소정 시야각 내에 배치된 카메라의 영상이 결합되는 파노라마 영상을 생성하며, 예컨대 어안 렌즈를 구비하여 어안 렌즈 영상을 생성하는 카메라 또는 다수개의 카메라를 용한 다중 카메라에 의해 전방위 영상을 출력하는 다중 카메라 시스템 등일 수 있다. The image sensor 104 is equipped with a plurality of sensors mounted on the mobile device 102 to acquire image data and time information for an image at the time the image data was acquired by photographing a surrounding object, such as a topography or a feature, as an image. can do. The image sensor 104 may be a flat image sensor, a wide area image sensor having a wider field of view than the planar image sensor, and a surveying or non-surveying camera, but is not limited thereto. The wide-area image sensor generates a stereo image in which images having different viewing directions are combined, or a panoramic image in which images from a camera disposed within a predetermined viewing angle are combined, and for example, a camera that has a fisheye lens to generate a fisheye lens image Alternatively, it may be a multi-camera system that outputs omnidirectional images by multiple cameras using a plurality of cameras.

영상 데이터가 왜곡 영상을 발생하는 광역 영상 센서로부터 기인하는 경우에, 영상 데이터는 후술할 검색 선정부(116)에 의해. 왜곡 영상을 평면 영상 데이터로 변환하여 생성되는 평면 영상 데이터를 이용할 수 있으며, 상세 변환 과정은 후술하기로 한다. In the case where the image data originates from a wide area image sensor that generates a distorted image, the image data is processed by the search selection unit 116 to be described later. Planar image data generated by converting a distorted image to planar image data can be used, and a detailed conversion process will be described later.

측위 센서(106)는 대상물의 측위 좌표, 모바일 디바이스(102)의 위치 등의 항법 정보를 검출하여 대상물 좌표와 관련된 2차원 측위 데이터 및 이 위치 데이터가 취득된 당시의 측위 시간 데이터를 포함하는 2차원 위치 데이터를 취득하는 센서이다. 측위 센서(106)는 예컨대, 국제 위성 항법 시스템(GNSS)이 이용되는 위성 항법 장치(GPS)를 통해 플랫폼의 이동 위치를 취득하는 위치 취득 장치 등으로 구성될 수 있다. The positioning sensor 106 detects navigation information such as the positioning coordinates of the object and the location of the mobile device 102, and includes two-dimensional positioning data related to the object coordinates and positioning time data at the time the position data was acquired. It is a sensor that acquires position data. The positioning sensor 106 may be constituted by, for example, a position acquisition device that acquires a moving position of a platform through a satellite navigation device (GPS) in which an international satellite navigation system (GNSS) is used.

측위 센서(106)가 GNSS를 이용할 경우, 위치 정보는 측위 데이터, 측위 시간 데이터를 기본적으로 포함함과 함께, 항법위성 정보의 상태 및 개수, 수신기의 고도 정보, 속도, 측위 정밀도, 진북 정보 등을 보조 데이터로 가질 수 있다. When the positioning sensor 106 uses GNSS, the location information basically includes positioning data and positioning time data, as well as the state and number of navigation satellite information, altitude information of the receiver, speed, positioning precision, and true north information. Can have as ancillary data.

IMU 센서(108)는 모바일 디바이스(102)의 자세 및 속도를 통해 검출하고, 이로부터 영상 센서(104)의 촬영 방향, 각도 등의 시야 방향, 시야각 등의 자세 데이터를 중앙 처리부(110)에 의해 추정할 수 있다. 영상 센서(104)의 시야 방향은 IMU 센서(108)에서 측정된 방위각 등으로 도 10에 도시된 방향 정보일 수 있으며, 소정 좌표계의 동서남북으로부 표현되는 방위이거나 이동 경로와 상대적으로 결정되는 방위각 등일 수 있다. 영상 센서(104)의 시야각은 IMU 센서(108)를 구성하는 가속도계, 각가속도계, 중력계 등이 영상 센서(104)의 지면에 대해 기울어지는 경사를 계측하여 생성될 수 있다. IMU 센서는 관성 항법 장치(Inertial Navigation System; INS)를 통해 모바일 디바이스(102) 및 영상 센서의 자세 데이터를 취득하거나 산출하는 자세 취득 장치 등으로 구성될 수 있다. The IMU sensor 108 detects the posture and speed of the mobile device 102, from which the central processing unit 110 transmits posture data such as a photographing direction of the image sensor 104, a viewing direction such as an angle, and a viewing angle. Can be estimated. The viewing direction of the image sensor 104 may be the direction information shown in FIG. 10 as an azimuth angle measured by the IMU sensor 108, and may be an azimuth expressed in the east, west, north and south directions of a predetermined coordinate system, or an azimuth angle determined relative to the movement path. I can. The viewing angle of the image sensor 104 may be generated by measuring an inclination of an accelerometer, an angular accelerometer, and a gravimeter constituting the IMU sensor 108 with respect to the ground of the image sensor 104. The IMU sensor may be configured with a posture acquisition device that acquires or calculates posture data of the mobile device 102 and the image sensor through an inertial navigation system (INS).

중앙 처리부(110)는 영상 센서(104)로부터 취득된 영상 데이터에 측위 센서(106) 및 IMU 센서(108)로부터 입수된 영상 센서(104)의 2차원 위치 데이터와 자세 데이터(이하, '제 2 자세 데이터' 라 함)를 갖는 외부 기하 데이터(이하, '제 2 외부 기하 데이터' 라 함)와 더불어 영상 센서(104), 측위 센서(106), IMU 센서(108)에 정의된 기하 파라미터에 근거한 내부 기하 데이터(이하, '제 2 내부 기하 데이터' 라 함)를 포함하는 디바이스 기하 정보를 생성할 수 있다. 중앙 처리부(110)는 상술한 데이터들을 통신부(112)를 통해 전송하도록 제어하거나, 상기 시스템(100)으로부터 특정 데이터들을 수신하여 필요한 처리를 수행할 수 있다. The central processing unit 110 includes two-dimensional position data and posture data of the image sensor 104 obtained from the positioning sensor 106 and the IMU sensor 108 on the image data acquired from the image sensor 104 (hereinafter referred to as'second Based on the geometric parameters defined in the image sensor 104, the positioning sensor 106, and the IMU sensor 108 in addition to the external geometric data (hereinafter referred to as'second external geometric data') having'attitude data'). Device geometric information including internal geometric data (hereinafter referred to as “second internal geometric data”) may be generated. The central processing unit 110 may control to transmit the above-described data through the communication unit 112 or may receive specific data from the system 100 and perform necessary processing.

제 2 외부 기하 데이터는 이동 중인 모바일 디바이스(102)의 위치와 자세, 즉 영상 센서(104)의 위치와 자세로 인해, 영상 센서(104)의 영상 정보를 취득할 때마다 가변되는 파라미터 값에 기초하여 산출되는 관측 데이터의 오차이며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다. 영상 데이터가 광역 영상 센서로부터 기인하는 경우에, 2차원 위치 데이터는 평면 영상 데이터의 2차원 위치 데이터를 활용하고, 제 2 자세 데이터는 평면 영상 데이터의 시야 방향 및 시야각 등으로 정의될 수 있다. The second external geometric data is based on a parameter value that changes each time image information of the image sensor 104 is acquired due to the position and posture of the mobile device 102 in motion, that is, the position and posture of the image sensor 104 It is an error of the observed data calculated by doing so, and in this case, it can be calculated through a predetermined equation or modeling. When the image data originates from a wide-area image sensor, the 2D position data utilizes 2D position data of the planar image data, and the second posture data may be defined as a viewing direction and a viewing angle of the planar image data.

제 2 내부 기하 데이터는 센서(104~108) 자체의 고유값으로서, 모바일 디바이스(102)의 이동 여부에 관계없이 유지되는 파라미터에 기인하는 센서(104~108)마다의 관측 데이터의 오차이다. 영상 센서(104)의 기하 파라미터는 초점거리, 주점 위치, 렌즈왜곡 파라미터 및 센서 포맷 크기 중 어느 하나 이상을 포함할 수 있다. 측위 센서(106) 또는 IMU 센서(108)의 기하 파라미터는 축방향의 스케일 및 축방향의 오프셋 중 어느 하나 이상을 포함할 수 있다.The second internal geometric data is an intrinsic value of the sensors 104 to 108 itself, and is an error in observed data for each sensor 104 to 108 due to a parameter maintained regardless of whether or not the mobile device 102 is moved. The geometric parameter of the image sensor 104 may include any one or more of a focal length, a main point position, a lens distortion parameter, and a sensor format size. The geometric parameters of the positioning sensor 106 or the IMU sensor 108 may include any one or more of an axial scale and an axial offset.

상기 시스템(100)은 기준 영상 데이터베이스부(114), 검색 선정부(116), 정합부(118), 기하 변환부(120), 정합 최적값 추정부(122), 디바이스 기하 정보 추정부(124), 3차원 영상 정보 생성부(126), 객체 정보 추출부(128), 공간 정보 생성부(130), 공간 정보 갱신부(132) 및 공간 정보 데이터베이스부(134)를 포함할 수 있다. The system 100 includes a reference image database unit 114, a search selection unit 116, a matching unit 118, a geometric conversion unit 120, an optimal matching value estimating unit 122, and a device geometric information estimating unit 124. ), a 3D image information generation unit 126, an object information extraction unit 128, a spatial information generation unit 130, a spatial information update unit 132, and a spatial information database unit 134.

기준 영상 데이터베이스부(114)는 기준 영상의 3차원 위치 데이터와, 기준 영상을 생성하는데 설정된 시야 방향, 시야각을 정의하는 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터가 포함된 기준 기하 정보와 연계하여 기준 영상 데이터를 저장한다. 3차원 위치 데이터는 2차원 위치 데이터, 즉 XY 좌표에서 고도값 Z을 추가한 XYZ 좌표일 수 있다. 시야 방향 및 시야각은 영상 센서(104)에 설명된 점과 실질적으로 동일하다. 또한, 기준 기하 정보는 기준 영상을 생성하는데 설정된 센서에 정의된 기하 파라미터에 근거한 제 1 내부 기하 데이터를 더 포함할 수 있다. The reference image database unit 114 is connected with reference geometric information including three-dimensional position data of the reference image and first external geometric data having first posture data defining a viewing direction and a viewing angle set to generate the reference image. Save the reference image data. The 3D location data may be 2D location data, that is, XYZ coordinates obtained by adding an altitude value Z from the XY coordinates. The viewing direction and viewing angle are substantially the same as those described for the image sensor 104. In addition, the reference geometric information may further include first internal geometric data based on a geometric parameter defined in a sensor set to generate a reference image.

기준 영상은 외부로부터 입수되며, 3차원 위치 데이터가 적어도 포함되는 영상이며, 모바일 디바이스(102)로부터 획득된 영상 데이터와 대비가능한 기준 영상 데이터로 가공된다. 기준 영상을 생성하는데 최초 이용되는 센서는 모바일 디바이스(102)보다 높은 측위 정확도, 영상 구현 성능을 갖는 영상 획득 기기 및 레이저 스캔닝 센서(예컨대, 라이다(Lidar)) 중 적어도 하나일 수 있다. 기준 영상과 연계된 기준 기하 정보는 각 픽셀 좌표마다, 3차원 위치 정보, RGB 데이터와 같은 색상 정보, 제 1 외부 기하 데이터 및 제 1 내부 기하 데이터를 포함하고, 기준 기하 정보와 결합되는 기준 영상은 기준 영상 데이터로 저장될 수 있다.The reference image is obtained from the outside, is an image including at least 3D position data, and is processed into reference image data that can be contrasted with the image data obtained from the mobile device 102. The first sensor used to generate the reference image may be at least one of an image acquisition device having higher positioning accuracy and image realization performance than the mobile device 102, and a laser scanning sensor (eg, Lidar). The reference geometric information linked to the reference image includes, for each pixel coordinate, 3D position information, color information such as RGB data, first external geometric data, and first internal geometric data, and the reference image combined with the reference geometric information is It may be stored as reference image data.

기준 영상을 생성하는데 최초 이용되는 센서가 영상 센서인 경우에, 제 1 내부 기하 데이터는 제 2 내부 기하 데이터에서 설명된 영상 센서(104)와 실질적으로 동일하다. 최초 이용되는 센서가 레이저 스캔닝 센서인 경우에 제 1 내부 기하 데이터는 예로 들면, 각 레이저의 입사각, 거리 스케일, 거리 방향 오프셋 및 축방향 오프셋 중 적어도 하나일 수 있다. When the first sensor used to generate the reference image is an image sensor, the first internal geometric data is substantially the same as the image sensor 104 described in the second internal geometric data. When the first sensor is a laser scanning sensor, the first internal geometric data may be, for example, at least one of an incident angle of each laser, a distance scale, a distance direction offset, and an axial offset.

기준 영상이 왜곡 영상을 발생하는 광역 영상 센서로부터 기인하는 경우에, 기준 영상은 왜곡 영상을 평면 영상 데이터로 변환하여 생성되는 평면 영상 데이터를 이용하며, 3차원 위치 데이터는 평면 영상 데이터의 3차원 위치 데이터를 활용하고, 제 1 자세 데이터는 평면 영상 데이터의 시야 방향, 시야각 등으로 정의될 수 있다. 상세 변환 과정은 후술하기로 한다. When the reference image originates from a wide area image sensor that generates a distorted image, the reference image uses planar image data generated by converting the distorted image to planar image data, and the three-dimensional position data is the three-dimensional position of the planar image data. Data is utilized, and the first posture data may be defined as a viewing direction and viewing angle of the planar image data. The detailed conversion process will be described later.

기준 영상이 레이저 스캔닝 센서로부터 기인하는 경우에, 기준 영상은 레이저 스캔닝 센서로부터 획득되는 점군 데이터가 변환된 가상의 영상 데이터를 이용할 수 있다, 3차원 위치 데이터는 가상의 영상 데이터의 3차원 위치 데이터로 정의되며, 상기 제 1 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의될 수 있다. 점군 데이터의 변환은 점군 데이터의 반사 강도, 고도값 등을 감안하는 가상 카메라 모델링에 의해 수행될 수 있다. 기준 영상 생성시에 영상 센서가 추가로 관여되는 경우에, 점군 데이터의 변환시에 영상 센서로 획득된 색상 데이터가 가상의 영상 데이터에 포함될 수 있다. When the reference image originates from the laser scanning sensor, the reference image may use virtual image data obtained by converting point cloud data obtained from the laser scanning sensor, and the 3D position data is a 3D position of the virtual image data. It is defined as data, and the first posture data may be defined as a viewing direction of the virtual image data. The conversion of the point cloud data may be performed by virtual camera modeling in consideration of the reflection intensity and altitude value of the point cloud data. When an image sensor is additionally involved in generating the reference image, color data obtained by the image sensor when the point cloud data is converted may be included in the virtual image data.

이에 더하여, 기준 영상 데이터베이스부(114)는 기준 영상 데이터에 특정 형태의 객체와 관련된 정보, 즉 객체 정보를 함께 연게하여 격납한다. 예를 들어, 객체는 지도 상에 표시될 필요가 있는 건축물, 자율주행을 위해 인식이 필요한 교통 표지판, 신호등, 차선 등이 해당될 수 있다. 이 경우에, 객체 정보는 대상물의 종류, 전체 모양, 대상물의 적어도 일부를 구성하는 선, 면, 원, 구 등과 같은 특정 기하학적 형상, 색상, 질감 관련 속성을 포함할 수 있다. In addition, the reference image database unit 114 connects and stores information related to a specific type of object, that is, object information in the reference image data. For example, the object may correspond to a building that needs to be displayed on a map, a traffic sign that needs to be recognized for autonomous driving, a traffic light, a lane, and the like. In this case, the object information may include the type of the object, the overall shape, a specific geometric shape such as a line, surface, circle, or sphere constituting at least a part of the object, a color, and texture-related properties.

한편, 검색 선정부(116)는 모바일 디바이스(102)로부터 취득한 영상 데이터에 관련되어 디바이스 기하 정보를 획득하고, 3차원, 2차원 위치 데이터와 자세 데이터를 포함하는 제 1 및 제 2 외부 기하 데이터, 제 1 및 제 2 내부 기하 데이터를 참조하여 기준 영상 데이터와 정합 가능한 영상 데이터의 후보군을 검색하며, 후보군 중 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정한다. Meanwhile, the search selection unit 116 acquires device geometric information in relation to the image data acquired from the mobile device 102, and includes first and second external geometric data including 3D and 2D position data and posture data, A candidate group of image data that can be matched with the reference image data is searched by referring to the first and second internal geometric data, and image data having the highest degree of matching with the reference image data is selected from among the candidate groups.

여기서, 영상 데이터는 색상 정보를 가진 행렬 형태의 데이터 뿐만 아니라 특정 객체를 대표할 수 있는 특징을 지닌 디스크립터(descriptor)로 사용될 수 있다. 특정 객체를 대표하는 특징을 지닌 디스크립터의 경우에, 영상 비교 알고리즘으로서 SIFT(Scale Invariant Feature Transform)을 활용할 수 있다. Here, the image data may be used as a descriptor having a characteristic capable of representing a specific object as well as data in a matrix form having color information. In the case of a descriptor having a characteristic representing a specific object, SIFT (Scale Invariant Feature Transform) can be used as an image comparison algorithm.

SIFT에 따른 디스크립터를 산출하기 위해서는, 스케일-공간 익스트리마(Scale-space extrema), 키포인트 국소화 및 필터링(Key-point localization & Filtering), 방향성(Orientation) 할당 및 디스크립터 생성의 순서로 진행될 수 있다.In order to calculate a descriptor according to SIFT, scale-space extrema, key-point localization & filtering, orientation assignment, and descriptor generation may be performed in the order of scale-space extrema.

구체적으로, 영상 데이터에서 단순하게 경계를 검출하면, 노이즈를 포함한 의미없는 에지도 많이 검출되므로, 먼저 Gaussian filter를 여러 레벨로 적용(σ 값을 조절)하여 영상 데이터를 흐림화 처리(blurring)하고, 영상 데이터와 기준 영상 데이터 간의 차를 산출하면, 노이즈에 강인한 특징이 획득된다(DoG: Difference of Gauassian). 현재 크기(scale)에 대한 작업을 마치면, 스케일 변화에 대응이 가능하도록 영상의 크기을 변경하면서 동일한 작업을 수행하여, 서로 다른 크기에서의 강인한 특징인 extrema를 구한다.Specifically, if a simple boundary is detected in the image data, a lot of meaningless edges including noise are also detected. Therefore, first, a Gaussian filter is applied at various levels (σ value is adjusted) to blur the image data. When the difference between the image data and the reference image data is calculated, a characteristic robust to noise is obtained (Difference of Gauassian: DoG). When the work on the current scale is finished, the same work is performed while changing the size of the image so that it can respond to the scale change, and extrema, which is a strong feature at different sizes, is obtained.

DoG를 통해 비교적 강인한 extrema를 추출했을지라도 여전히 불필요한 정보들도 많이 포함하고 있으므로, 이에 대해 키포인트 국소화 및 필터링을 통해 의미가 있는 정보들만 추출한다. 다음으로 구배(gradient)의 방향에 따른 히스토그램(histogram)을 산출한다.Even though a relatively strong extrema is extracted through DoG, it still contains a lot of unnecessary information, so only meaningful information is extracted through keypoint localization and filtering. Next, a histogram according to the direction of the gradient is calculated.

NㅧN 구배 윈도우에서 m개의 방향으로 NㅧNㅧm 차원의 디스크립터를 생성하고, 이 디스크립터를 비교하는 방식으로 영상의 선정, 정합성 여부를 판단하게 된다.Descriptors of dimensions NxNm are generated in m directions in the NxN gradient window, and the image selection and consistency are determined by comparing these descriptors.

구체적으로, 검색 선정부(116)는 3차원 위치 데이터 및 2차원 위치 데이터에 기초하여 기준 영상 데이터와 대비가능한 영상 데이터의 후보군을 검색하고, 제 1 및 제 2 자세 데이터를 참조하여 후보군 중 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정할 수 있다. Specifically, the search selector 116 searches for a candidate group of image data that can be contrasted with the reference image data based on the 3D position data and the 2D position data, and refers to the first and second position data to determine the reference image among the candidate groups. You can select the image data that has the highest degree of matching with the data.

검색 선정부(116)는 모바일 디바이스(102)로부터 획득되는 영상 데이터가 광역 영상 센서로부터 기인하는 경우에, 광역 영상의 왜곡을 제거하고 평면 영상 데이터로 변환하는 프로세스를 상술한 최고의 정합도를 갖는 영상 데이터의 선정 과정 전에 실행할 수 있다. When the image data acquired from the mobile device 102 originates from a wide area image sensor, the search selector 116 removes the distortion of the wide area image and converts it into flat image data. This can be done before the data selection process.

이상의 실시예에서는 검색 선정부(116)가 자세 데이터를 포함하는 제 1 및 제 2 외부 기하 데이터, 제 1 및 제 2 내부 기하 데이터까지 분석하여 영상 데이터의 후보군을 선정하고 최고의 정합도를 갖는 영상 데이터를 선정하는 것으로 설명하고 있으나, 2차원 위치 데이터와 함께, 3차원 위치 데이터의 고도값을 제외한 다른 값들에 기반하여 후보군 선정과 영상 데이터의 선정 프로세스를 수행할 수 있다. In the above embodiment, the search selector 116 selects a candidate group of image data by analyzing the first and second external geometric data including the posture data, and the first and second internal geometric data, and selects the image data having the highest degree of matching. Although it is described as selecting, the process of selecting a candidate group and selecting image data may be performed based on values other than the altitude value of the 3D position data together with the 2D position data.

정합부(118)는 기준 영상 데이터와 선정된 영상 데이터 간에 공통되는 소정 형태의 특징 기하들에 기반하여 기준 영상 데이터와 선정 영상 데이터를 정합하고, 특징 기하를 참고하여 공선조건식 등의 기하 모델을 통해 복수의 선정 영상 데이터를 결합할 수 있다. The matching unit 118 matches the reference image data and the selected image data based on feature geometries of a predetermined type common between the reference image data and the selected image data, and uses a geometric model such as a collinear conditional equation with reference to the feature geometry. A plurality of selected image data may be combined.

소정 형태의 특징 기하는 동일한 위치로 추정되는 선정 영상 데이터와 기준 영상 데이터에 표현된 객체의 특정 기하하적 형상에 기초하여 추출될 수 있다. 객체는 예컨대 도로 표지판, 특이 형상의 물체, 건물 경계선 등과 같이 영상 데이터 상에서 점, 선, 면, 기둥 등의 특징 기하가 용이하게 추출가능한 대상물로 랜덤으로 선정될 수 있다. 이러한 특징 기하는 선정 영상 데이터와 기준 영상 데이터 간의 자세 데이터가 다소 상이하더라도 동일한 객체로의 추정 가능성이 높은 소정 형태를 채용하고, 예를 들어 도로 노면에 표시된 차선, 도로 표지, 건물 윤곽 등일 수 있다. The feature geometry of a predetermined shape may be extracted based on the selected image data estimated to be the same location and the specific geometric shape of the object expressed in the reference image data. The object may be randomly selected as an object from which feature geometry such as points, lines, surfaces, pillars, etc. can be easily extracted from the image data, such as road signs, unusually shaped objects, and building boundaries. Such a feature geometry adopts a predetermined shape with a high probability of being estimated to be the same object even though the attitude data between the selected image data and the reference image data are slightly different, and may be, for example, a lane displayed on a road surface, a road sign, a building outline, or the like.

기하 변환부(120)는 공통된 특징 기하들에 있어서, 기하 변환 모델링에 의해 기준 영상 데이터에 대한 선정 영상 데이터의 디바이스의 기하 정보를 3차원 위치 데이터를 포함하도록 기하 변환하여 3차원 디바이스 기하 정보로 보정한다. The geometric conversion unit 120 geometrically converts the device geometric information of the selected image data for the reference image data to include 3D position data by geometric transformation modeling for common feature geometries and corrects it with 3D device geometry information. do.

기하 변환 모델링은 수학식 1과 같은 공선조건식을 이용하거나, 영상 데이터의 기하를 행렬형태로 반영할 수 있는 perspective transformation, affine transformation, homography transformation 중 하나를 대체모델링을 사용할 수 있다.For geometric transformation modeling, a collinear conditional expression such as Equation 1 may be used, or alternative modeling may be used for one of perspective transformation, affine transformation, and homography transformation that may reflect the geometry of image data in a matrix form.

[수학식 1][Equation 1]

영상 좌표는 동일 특징 기하와 관련된 영상 데이터의 2차원 위치 데이터이며, 대상물 좌표는 동일 특징 기하에 대한 기준 영상 데이터의 3차원 위치 데이터이다. 카메라 위치 및 자세는 기준 영상 데이터의 제 1 외부 기하 데이터이고, 주점 위치, 초점 거리, 렌즈 왜곡은 제 1 내부 기하 데이터이다. Image coordinates are two-dimensional position data of image data related to the same feature geometry, and object coordinates are three-dimensional position data of reference image data with respect to the same feature geometry. The camera position and posture are first external geometric data of the reference image data, and the main point position, focal length, and lens distortion are first internal geometric data.

정합 최적값 추정부(122)는 3차원 디바이스 기하 정보가 연계된 영상 데이터의 특징 기하들을 랜덤 샘플링하여, 샘플링된 특징 기하들 및 상응하는 기준 데이터의 특징 기하들의 상호 이격량이 최소가 되는 샘플링 영상 데이터의 특징 기하를 정합 최적값으로 추정할 수 있다. The matching optimal value estimating unit 122 randomly samples the feature geometries of the image data to which 3D device geometric information is linked, and the sampled image data in which the mutually spaced amount of the sampled feature geometries and the feature geometries of the corresponding reference data is minimized. The feature geometry of can be estimated as the matching optimal value.

구체적으로, 동일 추정되는 특징 기하들마다 특징 기하를 공유하는 영상 데이터들을 복수로 샘플링함과 동시에, 특징 기하를 갖는 기준 영상 데이터를 연동하여 선별한다. 이어서, 동일 추정되는 특징 기하를 공유하는 영상 데이터들과 기준 영상 데이터를 3차원 디바이스 기하 정보에 따라 배열하는 경우에, 영상 데이터들과 기준 영상 데이터에 동일 추정의 특징 기하들 간에 이격량이 최소로 판단되는 영상 데이터들의 특징 기하를 정합 최적값으로 추정한다. Specifically, image data sharing the feature geometry for each of the same estimated feature geometry is sampled in plurality, and reference image data having the feature geometry is interlocked to be selected. Subsequently, when the image data sharing the same estimated feature geometry and the reference image data are arranged according to the 3D device geometry information, the amount of separation between the image data and the reference image data of the same estimated feature geometry is determined to be the minimum. The feature geometry of the image data to be obtained is estimated as a matching optimal value.

디바이스 기하 정보 추정부(124)는 상술의 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 3차원 디바이스 기하 정보를 최종 3차원 디바이스 기하 정보로 추정할 수 있다. The device geometry information estimating unit 124 may estimate geometrically transformed 3D device geometry information as final 3D device geometry information in relation to the feature geometry estimated as the matching optimal value.

3차원 영상 정보 생성부(126)는 최종 3차원 디바이스 기하 정보 및 특징 기하에 대한 정합 정보에 기초하여, 모바일 디바이스(102)의 영상 데이터에 대해 3차원 영상 정보를 생성한다. The 3D image information generator 126 generates 3D image information for the image data of the mobile device 102 based on the final 3D device geometry information and matching information for the feature geometry.

3차원 영상 정보는 기준 영상 데이터베이스부(114)의 기준 영상 데이터와 같이, 기하 변환에 의해 보정된 영상 데이터 및 이와 연계되어 3차원 위치 데이터, 보정된 제 2 자세 데이터를 포함하는 보정된 제 2 외부 기하 데이터, 보정된 제 2 내부 기하 데이터를 포함하는 최종 3차원 디바이스 기하 정보, 색상 데이터, 시간 데이터 등을 포함할 수 있다. The 3D image information, like the reference image data of the reference image database unit 114, includes image data corrected by geometric transformation, 3D position data in connection therewith, and corrected second posture data. It may include geometric data, final 3D device geometric information including corrected second internal geometric data, color data, time data, and the like.

객체 정보 추출부(128)는 영상 데이터로부터 기인하는 3차원 영상 정보로부터 특정 형태의 객체를 추출할 수 있다. The object information extraction unit 128 may extract an object of a specific type from 3D image information resulting from the image data.

구체적으로, 객체 정보 추출부(128)는 3차원 영상 정보에 포함된 데이터들에 기초하여 추출된 대상물의 속성과 관련된 객체 정보를 추출할 수 있다.Specifically, the object information extraction unit 128 may extract object information related to an attribute of the extracted object based on data included in the 3D image information.

객체 정보 추출부(128)는 3차원 영상 정보에 포함된 영상 데이터, 최종 3차원 디바이스 기하 정보, 색상 데이터, 시간 데이터 등으로부터 파악된 대상물과 관련된 후보군 데이터를 머신 러닝 기법으로 검출하고, 검출된 후보군 데이터에 순차적으로 추가 기계학습 모델을 적용하여 대상물의 정보를 인식할 수 있다. The object information extracting unit 128 detects candidate group data related to the object identified from image data included in the 3D image information, final 3D device geometric information, color data, time data, etc., using a machine learning technique, and detects the detected candidate group. Information on the object can be recognized by sequentially applying additional machine learning models to the data.

기계학습은 대상물 객체 검출, 대상물 객체 인식 두 단계로 나누어져 수행되고, 대상물 객체 검출 단계에서는 대상물 객체의 모양, 색상, 질감 등의 벡터와 같은 속성을 기반으로 데이터 내에서 후보군을 기계학습을 통해 검출하고, 검출된 후보군에 순차적으로 추가 기계학습 모델을 적용하여 대상 사물이 나타내는 정보를 인식하여 분류한다.Machine learning is performed in two stages: object object detection and object object recognition, and in the object object detection stage, candidate groups are detected in the data based on properties such as the shape, color, and texture of the object object through machine learning. And, by sequentially applying an additional machine learning model to the detected candidate group, the information represented by the target object is recognized and classified.

공간 정보 생성부(130)는 추출된 객체와 동일한 기준 영상 데이터의 객체에 기초하여, 최종 3차원 디바이스 기하 정보 및 기준 영상 데이터에 저장된 객체와 관련된 객체 정보를 3차원 영상 정보에 포함하는 소정 좌표계, 예컨대 절대좌표계에 따른 신규 공간 정보를 생성하며, 공간 정보 데이터베이스부(134)에 전송하여 저장할 수 있다. 공간 정보는 후술한 공간 데이터로서 상세 정보에 대해서는 이후에 설명한다. The spatial information generation unit 130 includes, in the 3D image information, the final 3D device geometric information and object information related to the object stored in the reference image data, based on the object of the same reference image data as the extracted object, For example, new spatial information according to an absolute coordinate system may be generated and transmitted to the spatial information database unit 134 for storage. The spatial information is spatial data to be described later, and detailed information will be described later.

공간 정보 데이터베이스부(134)는 소정 좌표계, 예컨대 절대 좌표계에 따라, 이종 센서들로부터 기 획득된 관측 데이터와 관측 데이터에 기초하여 도화를 위해 기 생성된 데이터를 공간 데이터로 구조화하여 저장한다. 공간 데이터는 소정 좌표계의 해당 좌표 등에 생성된 데이터로서, 관측 데이터, 내부 기하, 외부 기하, 고유 데이터, 시간 정보, 취득 환경 정보, 이종 센서들 간의 센서 데이터들의 위치 오차로 인한 이격량, 정확도, 정밀도 관련한 확률 정보, 점군 데이터 관련 정보, 영상 데이터 관련 정보, 객체 정보 및 지도 관련 정보를 포함할 수 있다. 본 실시예에서는 공간 데이터가 상술한 데이터들 내지 정보들을 전부 포함하는 것으로 기술하고 있으나, 이에 제한되지 않으며, 설계 사양에 따라 상술한 데이터/정보들 중 일부만을 포함하도록 설정될 수 있다. The spatial information database unit 134 structured and stores data previously generated for drawing as spatial data based on observation data and observation data previously acquired from heterogeneous sensors according to a predetermined coordinate system, for example, an absolute coordinate system. Spatial data is data generated in the corresponding coordinates of a predetermined coordinate system, such as observation data, internal geometry, external geometry, intrinsic data, time information, acquisition environment information, and the amount of separation, accuracy, and precision due to the positional error of sensor data between heterogeneous sensors. It may include related probability information, point cloud data related information, image data related information, object information, and map related information. In the present embodiment, the spatial data is described as including all of the above-described data or information, but is not limited thereto, and may be set to include only some of the above-described data/information according to design specifications.

공간 정보 갱신부(132)는 공간 정보 데이터베이스부(134)에 이미 저장된 기존 공간 정보가 존재하는 경우에, 동일 위치의 객체 정보에 있어서, 신규 공간 정보가 기존 공간 정보와 상이한지 여부를 판단하고, 판단 결과 상이한 객체 정보에 대하여, 기존 공간 정보를 신규 공간 정보로 갱신할 수 있다. When the existing spatial information already stored in the spatial information database unit 134 exists, the spatial information update unit 132 determines whether the new spatial information is different from the existing spatial information in the object information at the same location, As a result of the determination, for different object information, existing spatial information may be updated with new spatial information.

본 실시예에 따르면, 모바일 디바이스(102)의 2차원 위치 데이터를 갖는 영상 데이터와 3차원 위치 데이터를 갖는 기준 영상 데이터 간의 정합을 서로 다른 차원 간의 정합 방식이 아닌, 2차원 영상 매칭 방식을 적용할 수 있어 낮은 복잡도로 신속하게 정합 프로세스를 수행할 수 있다. According to the present embodiment, a two-dimensional image matching method may be applied to match the image data having the two-dimensional position data of the mobile device 102 and the reference image data having the three-dimensional position data. So that the matching process can be performed quickly with low complexity.

또한, 기준 영상 데이터에 포함된 정밀도 및 정확도가 높은 3차원 위치 데이터로 영상 데이터의 위치 데이터를 기하 변환하여 보정함으로써, 3차원 영상 정보를 생성할 수 있으며, 이에 따라 추후 높은 정밀도/정확도를 요구하는 후속 데이터 처리에서 유용하게 활용될 수 있다.In addition, 3D image information can be generated by geometrically transforming and correcting the position data of the image data with 3D position data with high precision and accuracy included in the reference image data. It can be usefully used in subsequent data processing.

이에 더하여, 본 실시예에서는 정합 최적값 추정부(122)를 통해 동일 추정되는 특징 기하들 간의 상호 이격량이 최소인 특징 기하들로 최종 3차원 디바이스 기하 정보등을 생성하고 있으나, 제 2 외부 기하 데이터가 영상 데이터들 간의 정합을 양호하게 실현할 수 있는 데이터인 바, 특징 기하들 간의 상호 이격량이 임계치 이하로 되는 조건을 만족하면, 기하 변환부(120)는 생략될 수 있다. In addition, in the present embodiment, the final 3D device geometry information, etc., is generated with feature geometries with the minimum mutual separation between the feature geometries estimated to be the same through the matched optimal value estimator 122, but the second external geometric data Is data capable of satisfactorily realizing the matching between the image data, and if the condition that the mutually spaced amount between the feature geometries is less than or equal to the threshold value is satisfied, the geometric conversion unit 120 may be omitted.

이하, 도 2 내지 도 13을 참조하여, 본 발명의 다른 실시예에 따른 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법에 대해 설명하기로 한다. 본 실시예에서는 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정하는 과정에서 제 1 및 제 2 자세 데이터를 활용하고, 기하 변환부(120)의 기능이 수행되는 점을 포함한다. 그러나 앞서 설명한 바와 같이, 이들은 생략될 수 있다. Hereinafter, a method of generating spatial information of a mobile device using 3D image information according to another embodiment of the present invention will be described with reference to FIGS. 2 to 13. In the present embodiment, the first and second posture data are used in the process of selecting the image data having the highest degree of matching with the reference image data, and the function of the geometric conversion unit 120 is performed. However, as explained above, these can be omitted.

도 2는 본 발명의 다른 실시예에 따른 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법에 관한 순서도이다. 도 3은 기준 데이터베이스부에 저장된 3차원 영상 정보의 일례를 도시한 도면이다.2 is a flowchart illustrating a method of generating spatial information of a mobile device using 3D image information according to another embodiment of the present invention. 3 is a diagram illustrating an example of 3D image information stored in a reference database unit.

먼저, 검색 선정부(116)는 모바일 디바이스(102)로부터의 취득한 영상 데이터에 관련된 2차원 위치 데이터와 제 2 자세 데이터를 갖는 제 2 외부 기하 데이터 및 제 2 내부 기하 데이터를 포함하는 디바이스 기하 정보를 획득한다(S205).First, the search selection unit 116 retrieves device geometric information including second external geometric data and second internal geometric data having two-dimensional position data and second posture data related to the image data acquired from the mobile device 102. Acquire (S205).

제 2 외부 기하 데이터는 이동 중인 모바일 디바이스(102)의 위치와 자세, 즉 영상 센서(104)의 위치와 자세로 인해, 영상 센서(104)의 영상 정보를 취득할 때마다 가변되는 파라미터 값에 기초하여 산출되는 관측 데이터의 오차이며, 이 경우에 소정의 수학식 내지 모델링을 통해 계산될 수 있다. 제 2 내부 기하 데이터는 센서(104~108) 자체의 고유값으로서, 모바일 디바이스(102)의 이동 여부에 관계없이 유지되는 파라미터에 기인하는 센서(104~108)마다의 관측 데이터의 오차이다. 센서(104~108) 마다의 기하 파라미터는 상술하여 생략한다. The second external geometric data is based on a parameter value that changes each time image information of the image sensor 104 is acquired due to the position and posture of the mobile device 102 in motion, that is, the position and posture of the image sensor 104 It is an error of the observed data calculated by doing so, and in this case, it can be calculated through a predetermined equation or modeling. The second internal geometric data is an intrinsic value of the sensors 104 to 108 itself, and is an error in observed data for each sensor 104 to 108 due to a parameter maintained regardless of whether or not the mobile device 102 is moved. The geometric parameters for each of the sensors 104 to 108 are omitted in detail.

다음으로, 검색 선정부(116)는 3차원 위치 데이터와 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터 및 제 1 내부 기하 데이터를 포함하는 기준 영상 데이터의 기준 기하 정보 중 적어도 3차원 위치 데이터와 영상 데이터의 2차원 위치 데이터에 기초하여 영상 데이터의 후보군을 검색한다(S210).Next, the search selector 116 includes at least three-dimensional position data and an image from among the reference geometric information of the reference image data including the first external geometric data and the first internal geometric data having the 3D position data and the first posture data. A candidate group of image data is searched based on the 2D position data of the data (S210).

여기서, 영상 데이터는 색상 정보를 가진 행렬 형태의 데이터 뿐만 아니라 특정 객체를 대표할 수 있는 특징을 지닌 디스크립터(descriptor)로 사용될 수 있다. 특정 객체를 대표하는 특징을 지닌 디스크립터의 경우에, 영상 비교 알고리즘으로서 SIFT(Scale Invariant Feature Transform)을 활용할 수 있다. 이에 대해서는 시스템(100)의 설명에서 상세히 기재하여 생략한다. Here, the image data may be used as a descriptor having a characteristic capable of representing a specific object as well as data in a matrix form having color information. In the case of a descriptor having a characteristic representing a specific object, SIFT (Scale Invariant Feature Transform) can be used as an image comparison algorithm. This will be described in detail in the description of the system 100 and omitted.

기준 영상 데이터는 기준 영상 데이터베이스부(114)에 저장되며, 기준 영상 데이터는 도 3과 같이, 짙은 색으로 표시된 픽셀에서 3차원 위치 데이터를 비롯한 상술의 데이터들을 저장한다. 3차원 위치 데이터는 2차원 위치 데이터, 즉 XY 좌표에서 고도값 Z을 추가한 XYZ 좌표일 수 있다. 제 1 외부 기하 데이터는 상술한 제 1 자세 데이터를 3차원 위치 데이터와 함께 포함하고, 제 1 내부 기하 데이터는 기준 영상을 생성하는데 설정된 센서에 정의된 기하 파라미터에 근거한다. The reference image data is stored in the reference image database unit 114, and, as shown in FIG. 3, the reference image data stores the above-described data including 3D position data in a pixel displayed in dark color. The 3D location data may be 2D location data, that is, XYZ coordinates obtained by adding an altitude value Z from the XY coordinates. The first external geometric data includes the above-described first posture data together with 3D position data, and the first internal geometric data is based on a geometric parameter defined in a sensor set to generate a reference image.

기준 영상을 생성하는데 최초 이용되는 센서가 영상 센서인 경우에, 제 1 내부 기하 데이터는 제 2 내부 기하 데이터에서 설명된 영상 센서(104)와 실질적으로 동일하다. 최초 이용되는 센서가 레이저 스캔닝 센서인 경우에 제 1 내부 기하 데이터는 예로 들면, 각 레이저의 입사각, 거리 스케일, 거리 방향 오프셋 및 축방향 오프셋 중어느 하나 이상을 포함할 수 있다. When the first sensor used to generate the reference image is an image sensor, the first internal geometric data is substantially the same as the image sensor 104 described in the second internal geometric data. When the first sensor used is a laser scanning sensor, the first internal geometric data may include, for example, one or more of an incident angle of each laser, a distance scale, a distance direction offset, and an axial offset.

기준 영상이 왜곡 영상을 발생하는 광역 영상 센서로부터 기인하는 경우에, 기준 영상은 왜곡 영상을 평면 영상 데이터로 변환하여 생성되는 평면 영상 데이터를 이용하며, 3차원 위치 데이터는 평면 영상 데이터의 3차원 위치 데이터를 활용하고, 제 1 자세 데이터는 평면 영상 데이터의 시야 방향, 시야각 등으로 정의될 수 있다. When the reference image originates from a wide area image sensor that generates a distorted image, the reference image uses planar image data generated by converting the distorted image to planar image data, and the three-dimensional position data is the three-dimensional position of the planar image data. Data is utilized, and the first posture data may be defined as a viewing direction and viewing angle of the planar image data.

이와 관련하여 기준 영상 데이터베이스부(114)에서 이루어지는 왜곡 제거와 평면 영상 데이터 생성의 과정에 대해 형성하는 과정을 도 4 내지 도 8을 통해 설명한다. In this regard, a process of removing distortion and generating planar image data performed by the reference image database unit 114 will be described with reference to FIGS. 4 to 8.

도 4는 광역 영상 센서로부터 취득한 영상 데이터의 왜곡을 제거하여 평면 영상 데이터로 변환하는 제 1 과정에 관한 순서도이며, 도 5 및 도 6은 영상 왜곡 제거 및 평면 영상 데이터 변환의 제 1 과정을 개략적으로 도시한 도면이다. 도 7은 광역 영상 센서로부터 취득한 영상 데이터의 왜곡을 제거하여 평면 영상 데이터로 변환하는 제 2 과정에 관한 순서도이며, 도 8은 영상 왜곡 제거 및 평면 영상 데이터 변환의 제 2 과정을 개략적으로 도시한 도면이다. 4 is a flowchart illustrating a first process of removing distortion of image data acquired from a wide area image sensor and converting it into flat image data, and FIGS. 5 and 6 schematically illustrate a first process of removing image distortion and converting planar image data. It is a drawing shown. 7 is a flowchart illustrating a second process of removing distortion of image data acquired from a wide area image sensor and converting it into flat image data, and FIG. 8 is a diagram schematically showing a second process of removing image distortion and converting planar image data to be.

제 1 과정과 관련된 도 4를 참조하면, 어안 렌즈를 구비한 광역 영상 센서로 인해 왜곡된 어안 렌즈용 영상 데이터가 입력되는 경우에(S405), 기준 영상 데이터베이스부(114)는 도 5에서와 같이, 영상 데이터로부터의 왜곡 영상 데이터와 참조용 평면 영상 데이터 간의 대응 관계를 정의하도록 각 픽셀에 인덱스를 부여한다(S410). Referring to FIG. 4 related to the first process, when image data for a fisheye lens distorted by a wide-area image sensor having a fisheye lens is input (S405), the reference image database unit 114 is as shown in FIG. , Each pixel is given an index to define a correspondence relationship between the distorted image data from the image data and the reference plane image data (S410).

다음으로, 기준 영상 데이터베이스부(114)는 인덱스가 부여된 왜곡 영상 데이터를 기 설정된 구간으로 분해한다(S415). Next, the reference image database unit 114 decomposes the distorted image data to which the index is assigned into preset sections (S415).

이어서, 기준 영상 데이터베이스부(114)는 참조용 평면 영상 데이터를 참조하여, 분해된 구간의 왜곡 보정 모델을 기반으로 왜곡 영상 데이터의 왜곡을 제거함으로써 평면 영상 데이터를 생성한다(S420). Subsequently, the reference image database unit 114 generates flat image data by removing distortion of the distorted image data based on the distortion correction model of the decomposed section by referring to the reference plane image data (S420).

왜곡 보정 모델은 분해된 구간의 수식 또는 인덱스에 기반한 모델링일 수 있다. The distortion correction model may be modeling based on an equation or index of the decomposed section.

만약, 전방위 영상 데이터가 입력되면, 기준 영상 데이터베이스부(114)는 도 6의 2번째 단계에서와 같이, 전방위 영상 데이터를 기 설정된 구간으로 분해한다. If the omnidirectional image data is input, the reference image database unit 114 decomposes the omnidirectional image data into preset sections as in the second step of FIG. 6.

다음으로, 기준 영상 데이터베이스부(114)는 도 6의 3번째 단계에서와 같이, 분해된 전방위 영상을 기 설정된 구간으로 재분해한다. 이어서, 기준 영상 데이터베이스부(114)는 재분해된 구간의 왜곡 보정 모델, 예컨대 수식 또는 인덱스 기반으로 왜곡을 제거하여, 도 6의 우측 도면과 같이, 평면 영상 데이터를 생성한다. Next, the reference image database unit 114 re-decomposes the decomposed omnidirectional image into preset sections, as in the third step of FIG. 6. Subsequently, the reference image database unit 114 removes the distortion based on a distortion correction model of the re-decomposed section, for example, an equation or an index, and generates flat image data as shown in the right diagram of FIG. 6.

이는 모바일 디바이스(102)로부터 수신되는 영상 데이터가 광역 영상 센서로부터 기인하여 왜곡 영상을 포함하는 경우에도 실질적으로 동일한 과정을 실행하며, 이 과정은 영상 데이터를 입력하는 검색 선정부(116)에서 진행될 수 있다. This is substantially the same process even when the image data received from the mobile device 102 includes a distorted image due to the wide area image sensor, and this process can be performed in the search selection unit 116 for inputting the image data. have.

한편, 제 2 과정과 관련된 도 7을 참조하면, 전방위 영상을 생성하는 광역 영상 센서로 인해 왜곡된 전방위 영상 데이터가 기준 영상 데이터베이스부(114)로 입력되는 경우에(S705), 기준 영상 데이터베이스부(114)는 영상 데이터로부터의 왜곡 영상 데이터에 기반한 카메라 기하식 기반 왜곡 영상 데이터로부터 가상의 3차원 형상을 복원한다(S710). On the other hand, referring to FIG. 7 related to the second process, when omnidirectional image data distorted by a wide area image sensor generating an omnidirectional image is input to the reference image database unit 114 (S705), the reference image database unit ( 114) restores a virtual 3D shape from the distortion image data based on the camera geometry based on the distortion image data from the image data (S710).

다음으로, 기준 영상 데이터베이스부(114)는 가상의 카메라 기하식을 정의하고 기하식을 통해 가상의 평면 카메라에 투영함으로써 평면 영상 데이터를 생성한다(S715).Next, the reference image database unit 114 creates planar image data by defining a virtual camera geometry and projecting it onto a virtual plane camera through the geometry (S715).

이와는 달리, 기준 영상이 레이저 스캔닝 센서로부터 기인하는 경우에, 기준 영상은 레이저 스캔닝 센서로부터 획득되는 점군 데이터가 변환된 가상의 영상 데이터를 이용할 수 있다, 3차원 위치 데이터는 가상의 영상 데이터의 3차원 위치 데이터로 정의되며, 제 1 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의될 수 있다. In contrast, when the reference image originates from a laser scanning sensor, the reference image may use virtual image data obtained by converting point cloud data obtained from the laser scanning sensor. It is defined as 3D position data, and the first posture data may be defined as a viewing direction of the virtual image data.

점군 데이터의 변환은 도 9에서와 같이 도면의 아래에 위치된 점군 데이터의 반사 강도, 고도값 등을 감안하는 가상 카메라 모델링에 의해 수행될 수 있다. 도 9는 기준 영상 데이터베이스부가 레이저 스캔닝 센서로부터 획득되는 점군 데이터가 변환된 가상의 영상 데이터를 저장하는 형태이다. 그 결과, 가상의 영상 데이터는 도 9의 위의 예시와 같이 생성될 수 있다. 기준 영상 생성시에 영상 센서가 추가로 관여되는 경우에, 점군 데이터의 변환시에 영상 센서로 획득된 색상 데이터가 가상의 영상 데이터에 포함될 수 있다. Conversion of the point cloud data may be performed by modeling a virtual camera in consideration of the reflection intensity and altitude values of the point cloud data located under the drawing as shown in FIG. 9. 9 is a form in which the reference image database unit stores virtual image data converted from point cloud data obtained from a laser scanning sensor. As a result, virtual image data may be generated as in the example above of FIG. 9. When an image sensor is additionally involved in generating the reference image, color data obtained by the image sensor when the point cloud data is converted may be included in the virtual image data.

앞서 설명한 바와 같이, 검색 선정부(116)에서 행해지는 기준 영상 데이터의 3차원 위치 데이터와 영상 데이터의 2차원 위치 데이터에 기초한 영상 데이터의 후보군 검색은 도 10의 아래 단계와 같은 검색 과정으로 실행될 수 있다. 도 10은 기준 영상 데이터와 정합 가능한 영상 데이터의 후보군을 검색하는 과정을 도시한 도면이다. As described above, the search for a candidate group of image data based on the three-dimensional position data of the reference image data and the two-dimensional position data of the image data performed by the search selector 116 may be performed by a search process as shown in the steps below in FIG. 10. have. 10 is a diagram illustrating a process of searching for a candidate group of image data that can be matched with reference image data.

다음으로, 검색 선정부(116)는 2차원 위치 데이터, 3차원 위치 데이터 및 제 1 및 2 자세 데이터를 참조하여 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정한다. Next, the search selector 116 selects the image data having the highest degree of matching with the reference image data from among the candidate groups by referring to the 2D position data, the 3D position data, and the first and second posture data.

구체적으로, 기준 영상 데이터와 동일하거나 매우 유사한 2차원 위치 데이터를 갖는 영상 데이터의 시야방향 및 시야각에 따라 제 1 및 제 2 외부 기하 데이터의 제 1 및 제 2 자세 데이터가 상이하면, 영상 기하로 인해 동일한 특징 기하라도 서로 상이한 기하로 인식되어 기준 영상 데이터와 영상 데이터 간의 정합이 곤란하다. 따라서, 동일한 위치에서 제 1 및 제 2 자세 데이터가 소정 범위 내로 유사한 영상 데이터만을 후보군에서 선정함으로써, 이후 정합 단계의 정확도 및 처리 신속성이 향상될 수 있다. 이러한 예는 도 10에서와 같이 방향 정보 기반 검색까지 수행하고, 도 11에 도시된 바와 같이, 기준 영상 데이터의 위치 및 자세와 소정 범위로 인접한 영상 데이터를 최종 선정한다. 도 10은 기준 영상 데이터와 정합 가능한 영상 데이터의 후보군을 검색하는 과정을 도시한 도면이고, 도 11은 기준 영상 데이터와 최고의 정합도를 갖는 영상 데이터를 선정하는 과정을 도시한 도면이다. Specifically, if the first and second posture data of the first and second external geometric data are different according to the viewing direction and viewing angle of the image data having the same or very similar two-dimensional position data as the reference image data, due to the image geometry The same feature geometry is recognized as a different geometry, making it difficult to match the reference image data and the image data. Accordingly, the accuracy and processing speed of the subsequent matching step may be improved by selecting only image data that is similar to the first and second posture data within a predetermined range from the same position from the candidate group. In this example, a search based on direction information is performed as shown in FIG. 10, and as shown in FIG. 11, image data adjacent to the position and posture of the reference image data in a predetermined range are finally selected. FIG. 10 is a diagram illustrating a process of searching for a candidate group of image data that can be matched with reference image data, and FIG. 11 is a diagram illustrating a process of selecting image data having the highest degree of matching with the reference image data.

이어서, 정합부(118)는 선정된 영상 데이터와 기준 영상 데이터 간에 공통되는 소정 형태의 특징 기하들에 기반하여 기준 영상 데이터와 선정 영상 데이터의 정합한다(S220). Subsequently, the matching unit 118 matches the reference image data and the selected image data based on feature geometries of a predetermined type that are common between the selected image data and the reference image data (S220).

정합부(118)는 특징 기하를 참고하여 공선조건식 등의 기하 모델을 통해 복수의 선정 영상 데이터를 결합할 수 있다. The matching unit 118 may combine a plurality of selected image data through a geometric model such as a collinear conditional equation with reference to the feature geometry.

기하 변환 모델링은 상술의 수학식 1과 같은 공선조건식을 이용하거나, 영상 데이터의 기하를 행렬형태로 반영할 수 있는 perspective transformation, affine transformation, homography transformation 중 하나를 대체모델링을 사용할 수 있다.For geometric transformation modeling, a collinear conditional expression such as Equation 1 above may be used, or alternative modeling may be used for one of perspective transformation, affine transformation, and homography transformation capable of reflecting the geometry of image data in a matrix form.

도 12는 영상 데이터의 2차원 위치 데이터와 대응하는 기준 영상 데이터의 3차원 위치 데이터를 산출하는 과정을 도시한 도면이다. 공선조건식을 이용한 경우로서, 동일 특징 기하에 있어서, 영상 데이터가 기준 영상 데이터의 3차원 위치 좌표로 기하 변환되어 보정된다. 도 13은 모바일 디바이스의 영상 데이터의 위치 및 시야 방향이 최종 3차원 디바이스 기하 정보로 보정된 일례를 도시한 도면이다. 점선은 모바일 디바이스(102)로부터 획득한 영상 데이터의 2차원 위치 데이터이며, 실선은 영상 데이터에 대한 기하 변환 보정에 의해 3차원 위치 데이터로 보정되면서 2차원 좌표가 보다 정확한 위치로 이동되면서 모바일 디바이스(102)의 측위 센서(106)의 정밀도보다 높은 정밀도로 변환됨을 나타낸다. 12 is a diagram illustrating a process of calculating 3D position data of reference image data corresponding to 2D position data of image data. In the case of using the collinear conditional equation, in the same feature geometry, the image data is geometrically transformed into a three-dimensional positional coordinate of the reference image data and corrected. 13 is a diagram illustrating an example in which the location and viewing direction of image data of a mobile device are corrected with final 3D device geometric information. The dotted line is the 2D position data of the image data acquired from the mobile device 102, and the solid line is corrected to 3D position data by geometric transformation correction of the image data, and the 2D coordinate is moved to a more accurate position, and the mobile device ( 102) indicates that the conversion is performed with a higher precision than that of the positioning sensor 106.

다음으로, 정합 최적값 추정부(122)는 3차원 디바이스 기하 정보가 연계된 영상 데이터의 특징 기하들을 랜덤 샘플링하여, 샘플링된 특징 기하들 및 상응하는 기준 데이터의 특징 기하들의 상호 이격량이 최소가 되는 샘플링 영상 데이터의 특징 기하를 정합 최적값으로 추정한다(S230). 정합 최적값의 구체적인 과정은 상술하여 생략하기로 한다. Next, the matching optimal value estimating unit 122 randomly samples the feature geometries of the image data to which the 3D device geometric information is linked, so that the mutually spaced amount of the sampled feature geometries and the feature geometries of the corresponding reference data is minimized. The feature geometry of the sampled image data is estimated as a matching optimal value (S230). The detailed process of the matching optimal value will be omitted in detail.

이어서, 디바이스 기하 정보 추정부(124)는 상술의 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 3차원 디바이스 기하 정보를 최종 3차원 디바이스 기하 정보로 추정한다(S235). Subsequently, the device geometry information estimating unit 124 estimates the geometrically transformed 3D device geometry information as the final 3D device geometry information in relation to the feature geometry estimated as the matching optimal value (S235).

다음으로, 3차원 영상 정보 생성부(126)는 최종 3차원 디바이스 기하 정보 및 특징 기하에 대한 정합 정보에 기초하여, 모바일 디바이스(102)의 영상 데이터에 대해 3차원 영상 정보를 생성한다(S240). Next, the 3D image information generation unit 126 generates 3D image information for the image data of the mobile device 102 based on the final 3D device geometry information and matching information for the feature geometry (S240). .

본 실시예에 따르면, 모바일 디바이스(102)의 저성능 영상 센서(104), 측위 센서(106) 등으로 취득하는 2차원 위치 정보의 영상 데이터를 고성능의 센서들로 구성된 플랫폼으로부터 생성된 3차원 영상 정보와 정합하여 기하 변환 등을 수행함으로써, 저가의 모바일 디바이스로 취득한 영상 데이터를 편의성과 높은 정밀도의 3차원 영상 정보를 생성할 수 있다. According to the present embodiment, image data of two-dimensional position information acquired by the low-performance image sensor 104, the positioning sensor 106, etc. of the mobile device 102 is a three-dimensional image generated from a platform composed of high-performance sensors. By matching with information and performing geometric transformation, it is possible to generate 3D image information with convenience and high precision from image data acquired by a low-cost mobile device.

이하, 도 14 내지 도 16을 참조하여, 본 발명의 또 다른 실시예에 따른 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법에 대해 설명하기로 한다. Hereinafter, a method of generating spatial information of a mobile device using 3D image information according to another embodiment of the present invention will be described with reference to FIGS. 14 to 16.

도 14는 본 발명의 또 다른 실시예에 따른 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법에 관한 순서도이다. 도 15는 최종 3차원 디바이스 기하 정보 및 객체 정보를 3차원 영상 정보에 포함하는 신규 공간 정보를 생성하는 일례를 도시한 도면이고, 도 16은 공간 정보의 갱신 과정을 설명하기 위한 도면이다.14 is a flowchart illustrating a method of generating spatial information of a mobile device using 3D image information according to another embodiment of the present invention. 15 is a diagram illustrating an example of generating new spatial information including final 3D device geometric information and object information in 3D image information, and FIG. 16 is a diagram for explaining a process of updating spatial information.

먼저, 객체 정보 추출부(128)는 영상 데이터로부터 기인하는 3차원 영상 정보로부터 특정 형태의 객체를 추출한다(S1405). First, the object information extracting unit 128 extracts an object of a specific shape from 3D image information originating from the image data (S1405).

다음으로, 공간 정보 생성부(130)는 추출된 객체와 동일한 기준 영상 데이터의 객체에 기초하여, 최종 3차원 디바이스 기하 정보 및 기준 영상 데이터에 저장된 객체와 관련된 객체 정보를 3차원 영상 정보에 포함하는 소정 좌표계, 예컨대 절대좌표계에 따른 신규 공간 정보를 생성한다(S1410). Next, the spatial information generation unit 130 includes, in the 3D image information, the final 3D device geometric information and object information related to the object stored in the reference image data, based on the object of the same reference image data as the extracted object. New spatial information is generated according to a predetermined coordinate system, for example, an absolute coordinate system (S1410).

공간 정보 생성부(130)는 공간 정보 데이터베이스부(134)에 신규 공간 정보를 전송하여 저장할 수 있다. 공간 정보는 소정 좌표계의 해당 좌표 등에 생성된 데이터로서, 관측 데이터, 내부 기하, 외부 기하, 고유 데이터, 시간 정보, 취득 환경 정보, 이종 센서들 간의 센서 데이터들의 위치 오차로 인한 이격량, 정확도, 정밀도 관련한 확률 정보, 점군 데이터 관련 정보, 영상 데이터 관련 정보, 객체 정보 및 지도 관련 정보를 포함할 수 있다. 본 실시예에서는 공간 정보가 상술한 데이터들 내지 정보들을 전부 포함하는 것으로 기술하고 있으나, 이에 제한되지 않으며, 설계 사양에 따라 상술한 데이터/정보들 중 일부만을 포함하도록 설정될 수 있다. The spatial information generation unit 130 may transmit and store new spatial information to the spatial information database unit 134. Spatial information is data generated in the corresponding coordinates of a predetermined coordinate system, such as observation data, internal geometry, external geometry, unique data, time information, acquisition environment information, and the amount of separation, accuracy, and precision due to the positional error of sensor data between heterogeneous sensors. It may include related probability information, point cloud data related information, image data related information, object information, and map related information. In the present embodiment, the spatial information is described as including all of the above-described data or information, but is not limited thereto, and may be set to include only some of the above-described data/information according to design specifications.

도 15에서와 같이, 최종 3차원 디바이스 기하 정보 및 객체 정보를 3차원 영상 정보에 포함하여 신규 공간 정보를 생성하고, 이를 기반으로 도화 과정을 거쳐 우측의 지도로 제작될 수 있다. As shown in FIG. 15, new spatial information may be generated by including final 3D device geometric information and object information in 3D image information, and based on this, through a drawing process, a map on the right side may be produced.

다음으로, 공간 정보 갱신부(132)는 공간 정보 데이터베이스부(134)에 이미 저장된 기존 공간 정보가 존재하는 경우에, 동일 위치의 객체 정보에 있어서, 신규 공간 정보가 기존 공간 정보와 상이한지 여부를 판단하고(S1415), 판단 결과 상이한 객체 정보에 대해, 도 16에서와 같이 기존 공간 정보를 신규 공간 정보로 갱신한다(S1425). 판단 결과, 객체 정보가 동일한 경우에 기존 공간 정보를 유지할 수 있다(S1420). Next, when the existing spatial information already stored in the spatial information database unit 134 exists, the spatial information update unit 132 determines whether the new spatial information is different from the existing spatial information in the object information at the same location. As a result of the determination (S1415), with respect to the different object information as a result of the determination, the existing spatial information is updated with new spatial information as shown in FIG. As a result of the determination, when the object information is the same, the existing spatial information may be maintained (S1420).

도 1에 도시된 장치를 구성하는 구성요소 또는 도 2, 도 14에 도시된 실시예들에 따른 단계는 그 기능을 실현시키는 프로그램의 형태로 컴퓨터 판독가능한 기록 매The components constituting the device shown in Fig. 1 or the steps according to the embodiments shown in Figs. 2 and 14 are computer-readable recording media in the form of a program for realizing the function.

체에 기록될 수 있다. 여기에서, 컴퓨터 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터에서 판독할 수 있는 기록 매체를 말한다. 이러한 기록 매체 중 컴퓨터로부터 분리 가능한 것으로서는, 예를 들면, 휴대용 스토리지(portalbe storage), 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 메모리 카드 등이 있다. 또한, 모바일 디바이스 및 컴퓨터에 고정된 기록 매체로서 SSD(Solid State Disk), 하드디스크나 ROM 등이 있다.Can be recorded on the sieve. Here, the computer-readable recording medium refers to a recording medium that can be read by a computer by storing information such as data or programs by electrical, magnetic, optical, mechanical, or chemical action. Examples of such recording media that can be separated from a computer include portable storage, flexible disks, magneto-optical disks, CD-ROMs, CD-R/Ws, DVDs, DATs, and memory cards. Further, as a recording medium fixed to mobile devices and computers, there are solid state disks (SSDs), hard disks, and ROMs.

또한, 이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. Further, in the above, even if all the constituent elements constituting the embodiments of the present invention have been described as being combined into one operation, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all the constituent elements may be selectively combined and operated in one or more. In addition, all of the components may be implemented as one independent hardware, but some or all of the components are selectively combined to provide a program module that performs some or all of the combined functions in one or a plurality of hardware. It may be implemented as a computer program having.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.Although the present invention has been described in detail through exemplary embodiments above, a person of ordinary skill in the art to which the present invention pertains will realize that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. I will understand. Therefore, the scope of the present invention is limited to the described embodiments and should not be determined, and should be determined by all changes or modifications derived from the claims and the concept of equality as well as the claims to be described later.

Claims

3차원 위치 데이터와, 기준 영상을 생성하는데 설정된 시야 방향을 정의하는 제 1 자세 데이터를 갖는 제 1 외부 기하 데이터가 포함된 기준 기하 정보와 연계하여 기준 영상 데이터를 저장하는 기준 영상 데이터베이스부;
모바일 디바이스로부터 취득한 영상 데이터에 관련되어 적어도 2차원 위치 데이터를 갖는 제 2 외부 기하 데이터를 포함하는 디바이스 기하 정보를 획득하고, 상기 2차원 위치 데이터 및 상기 3차원 위치 데이터를 참조하여 상기 기준 영상 데이터와 정합 가능한 상기 영상 데이터의 후보군을 검색하며, 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정하는 검색 선정부;
상기 기준 영상 데이터와 상기 선정된 영상 데이터 간에 공통되는 소정 형태의 특징 기하들에 기반하여 상기 기준 영상 데이터와 선정 영상 데이터를 정합하는 정합부;
공통된 특징 기하들에 있어서, 기하 변환 모델링에 의해 상기 기준 영상 데이터에 대한 상기 선정 영상 데이터의 디바이스의 기하 정보를 상기 3차원 위치 데이터를 포함하도록 기하 변환하여 3차원 디바이스 기하 정보로 보정하는 기하 변환부;
상기 3차원 디바이스 기하 정보가 연계된 영상 데이터의 특징 기하들을 랜덤 샘플링하여, 상기 샘플링된 특징 기하들 및 상응하는 상기 기준 영상 데이터의 특징 기하들의 상호 이격량이 최소가 되는 샘플링 영상 데이터의 특징 기하를 정합 최적값으로 추정하는 정합 최적값 추정부;
상기 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 3차원 디바이스 기하 정보를 최종 3차원 디바이스 기하 정보로 추정하는 디바이스 기하 정보 추정부; 및
상기 최종 3차원 디바이스 기하 정보 및 상기 특징 기하에 대한 정합 정보에 기초하여, 상기 모바일 디바이스의 영상 데이터에 대해 3차원 영상 정보를 생성하는 3차원 영상 정보 생성부를 포함하는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템.A reference image database unit for storing reference image data in association with reference geometric information including 3D position data and first external geometric data having first posture data defining a viewing direction set to generate the reference image;
Obtain device geometric information including second external geometric data having at least two-dimensional position data related to the image data acquired from the mobile device, and refer to the two-dimensional position data and the three-dimensional position data to obtain the reference image data and A search selection unit that searches for a candidate group of matchable image data and selects the image data having the highest degree of matching with the reference image data from among the candidate groups;
A matching unit for matching the reference image data and the selected image data based on feature geometries of a predetermined shape common between the reference image data and the selected image data;
In common feature geometries, a geometric conversion unit that geometrically transforms the device geometry information of the selected image data with respect to the reference image data to include the 3D position data and corrects it into 3D device geometry information by geometric transformation modeling. ;
The feature geometry of the image data to which the 3D device geometry information is linked is randomly sampled to match the feature geometry of the sampled image data in which the mutually spaced amount of the sampled feature geometry and the corresponding feature geometry of the reference image data is minimum A matched optimum value estimating unit that estimates an optimum value;
A device geometry information estimating unit for estimating geometrically transformed 3D device geometry information as final 3D device geometry information in relation to the feature geometry estimated as the matching optimal value; And
A mobile using 3D image information, comprising a 3D image information generator for generating 3D image information for image data of the mobile device based on the final 3D device geometry information and matching information for the feature geometry Device spatial information generation system.

제 1 항에 있어서,
상기 제 2 외부 기하 데이터는 상기 영상을 생성하는데 설정된 시야 방향을 정의하는 제 2 자세 데이터를 더 포함하고,
상기 검색 선정부는 상기 3차원 위치 데이터 및 상기 2차원 위치 데이터에 기초하여 상기 기준 영상 데이터와 대비가능한 상기 영상 데이터의 후보군을 검색하고, 상기 제 1 및 제 2 자세 데이터를 참조하여 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정하는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템.The method of claim 1,
The second external geometric data further includes second posture data defining a viewing direction set to generate the image,
The search selection unit searches for a candidate group of the image data that can be contrasted with the reference image data based on the 3D position data and the 2D position data, and refers to the first and second posture data to determine the reference group among the candidate groups. A system for generating spatial information of a mobile device using 3D image information for selecting the image data having the highest degree of matching with the image data.

제 2 항에 있어서,
상기 기준 기하 정보는 상기 기준 영상을 생성하는데 설정된 센서에 정의된 기하 파라미터에 근거한 제 1 내부 기하 데이터를 더 포함하며, 상기 디바이스 기하 정보는 상기 영상을 생성하는데 설정된 영상 센서에 정의된 기하 파라미터에 근거한 제 2 내부 기하 데이터를 더 포함하고, 상기 검색 선정부에서의 상기 최고의 정합도를 갖는 상기 영상 데이터의 선정 및 상기 기하 변환부에서의 상기 3차원 디바이스 기하 정보로의 보정은 상기 제 1 및 제 2 내부 기하 데이터를 더 포함하여 참조하는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템. The method of claim 2,
The reference geometric information further includes first internal geometric data based on a geometric parameter defined in a sensor set to generate the reference image, and the device geometric information is based on a geometric parameter defined in an image sensor set to generate the image. The selection of the image data having the highest degree of matching by the search selection unit and correction of the 3D device geometry information by the geometric conversion unit further includes second internal geometric data, and the first and second A system for generating spatial information of a mobile device using 3D image information to further include and refer to internal geometric data.

제 2 항에 있어서,
상기 기준 영상 및 상기 영상 데이터 중 적어도 어느 하나가 왜곡 영상을 발생하는 광역 영상 센서로부터 기인하는 경우에, 상기 기준 영상 및 상기 영상 데이터는 상기 왜곡 영상을 평면 영상 데이터로 변환하여 생성되는 평면 영상 데이터를 이용하며, 상기 기준 영상의 3차원 위치 데이터는 상기 평면 영상 데이터의 3차원 위치 데이터를 활용하고, 상기 영상 데이터의 2차원 위치 데이터는 상기 평면 영상 데이터의 2차원 위치 데이터로 정의되며, 상기 제 1 및 제 2 자세 데이터는 상기 평면 영상 데이터의 시야 방향으로 정의되는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템.The method of claim 2,
When at least one of the reference image and the image data originates from a wide-area image sensor that generates a distortion image, the reference image and the image data are flat image data generated by converting the distortion image into planar image data. The three-dimensional position data of the reference image uses three-dimensional position data of the planar image data, and the two-dimensional position data of the image data is defined as two-dimensional position data of the planar image data, and the first And the second posture data is defined as a viewing direction of the planar image data. A system for generating spatial information of a mobile device using 3D image information.

제 1 항에 있어서,
상기 기준 영상이 레이저 스캔닝 센서로부터 기인하는 경우에, 상기 기준 영상은 상기 레이저 스캔닝 센서로부터 획득되는 점군 데이터가 변환된 가상의 영상 데이터를 이용하고, 상기 3차원 위치 데이터는 상기 가상의 영상 데이터의 3차원 위치 데이터로 정의되며, 상기 제 1 자세 데이터는 상기 가상의 영상 데이터의 시야 방향으로 정의되는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템.The method of claim 1,
When the reference image originates from a laser scanning sensor, the reference image uses virtual image data converted from point cloud data obtained from the laser scanning sensor, and the 3D position data is the virtual image data. The system for generating spatial information of a mobile device using 3D image information, which is defined as 3D position data of, and the first posture data is defined as a viewing direction of the virtual image data.

삭제delete

제 1 항에 있어서,
상기 3차원 영상 정보로부터 특정 형태의 객체를 추출하는 객체 정보 추출부; 및
상기 추출된 객체와 동일한 기준 영상 데이터의 객체에 기초하여, 상기 최종 3차원 디바이스 기하 정보 및 상기 기준 영상 데이터에 저장된 상기 객체와 관련된 상기 객체 정보를 상기 3차원 영상 정보에 포함하는 신규 공간 정보를 생성하는 공간 정보 생성부를 더 포함하는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템. The method of claim 1,
An object information extracting unit for extracting an object of a specific type from the 3D image information; And
Generates new spatial information including the final 3D device geometric information and the object information related to the object stored in the reference image data in the 3D image information based on the object of the same reference image data as the extracted object A system for generating spatial information of a mobile device using 3D image information, further comprising: a spatial information generating unit to perform.

제 7 항에 있어서,
상기 신규 공간 정보가 공간 정보 데이터베이스부에 저장되며, 상기 공간 정보 데이터베이스부에 이미 저장된 기존 공간 정보가 존재하는 경우에, 동일 위치의 객체 정보에 있어서, 상기 신규 공간 정보가 상기 기존 공간 정보와 상이한지 여부를 판단하고, 판단 결과 상이한 객체 정보에 대하여, 상기 기존 공간 정보를 상기 신규 공간 정보로 갱신하는 공간 정보 갱신부를 더 포함하는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템.The method of claim 7,
If the new spatial information is stored in the spatial information database unit, and there is existing spatial information already stored in the spatial information database unit, whether the new spatial information is different from the existing spatial information in the object information at the same location. A spatial information generation system of a mobile device using 3D image information, further comprising a spatial information update unit that determines whether or not, and updates the existing spatial information with the new spatial information with respect to different object information as a result of the determination.

모바일 디바이스로부터 취득한 영상 데이터에 관련되어 적어도 2차원 위치 데이터를 갖는 제 2 외부 기하 데이터가 포함된 디바이스 기하 정보를 획득하고, 기준 영상 데이터에 연계된 3차원 위치 데이터와 기준 영상을 생성하는데 설정된 시야 방향을 정의하는 제 1 외부 기하 데이터를 포함하는 기준 기하 정보 중 상기 3차원 위치 데이터 및 상기 2차원 위치 데이터를 참조하여 상기 기준 영상 데이터와 정합 가능한 상기 영상 데이터의 후보군을 검색하며, 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정하는 검색 선정 단계;
상기 기준 영상 데이터와 상기 선정된 영상 데이터 간에 공통되는 소정 형태의 특징 기하들에 기반하여 상기 기준 영상 데이터와 선정 영상 데이터를 정합하는 정합 단계;
공통된 특징 기하들에 있어서, 기하 변환 모델링에 의해 상기 기준 영상 데이터에 대한 상기 선정 영상 데이터의 디바이스의 기하 정보를 상기 3차원 위치 데이터를 포함하도록 기하 변환하여 3차원 디바이스 기하 정보로 보정하는 기하 변환 단계;
상기 3차원 디바이스 기하 정보가 연계된 영상 데이터의 특징 기하들을 랜덤 샘플링하여, 상기 샘플링된 특징 기하들 및 상응하는 상기 기준 영상 데이터의 특징 기하들의 상호 이격량이 최소가 되는 샘플링 영상 데이터의 특징 기하를 정합 최적값으로 추정하는 정합 최적값 추정 단계;
상기 정합 최적값으로 추정된 특징 기하와 관련하여 기하 변환된 3차원 디바이스 기하 정보를 최종 3차원 디바이스 기하 정보로 추정하는 디바이스 기하 정보 추정 단계; 및
상기 최종 3차원 디바이스 기하 정보 및 상기 특징 기하에 대한 정합 정보에 기초하여, 상기 모바일 디바이스의 영상 데이터에 대해 3차원 영상 정보를 생성하는 3차원 영상 정보 생성 단계를 포함하는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법.A viewing direction set to acquire device geometry information including second external geometry data having at least 2D position data related to image data acquired from a mobile device, and to generate 3D position data and a reference image linked to the reference image data Searching for a candidate group of the image data that can be matched with the reference image data by referring to the 3D location data and the 2D location data among reference geometric information including first external geometric data defining A search selection step of selecting the image data having the highest degree of matching with the image data;
A matching step of matching the reference image data and the selected image data based on feature geometries of a predetermined shape common between the reference image data and the selected image data;
In common feature geometries, a geometric transformation step of geometrically transforming the device geometry information of the selected image data with respect to the reference image data to include the 3D position data by geometric transformation modeling, and correcting it into 3D device geometry information. ;
The feature geometry of the image data to which the 3D device geometry information is linked is randomly sampled to match the feature geometry of the sampled image data in which the mutually spaced amount of the sampled feature geometry and the corresponding feature geometry of the reference image data is minimum A matched optimal value estimating step of estimating an optimal value;
A device geometry information estimating step of estimating geometry-transformed 3D device geometry information as final 3D device geometry information in relation to the feature geometry estimated as the matching optimal value; And
Using 3D image information comprising the step of generating 3D image information for the image data of the mobile device based on the final 3D device geometry information and matching information for the feature geometry. How to generate spatial information on mobile devices.

제 9 항에 있어서,
상기 제 2 외부 기하 데이터는 상기 영상을 생성하는데 설정된 시야 방향을 정의하는 제 2 자세 데이터를 더 포함하고,
상기 검색 선정 단계는 상기 3차원 위치 데이터 및 상기 2차원 위치 데이터에 기초하여 상기 기준 영상 데이터와 대비가능한 상기 영상 데이터의 후보군을 검색하고, 상기 제 1 및 제 2 자세 데이터를 참조하여 상기 후보군 중 상기 기준 영상 데이터와 최고의 정합도를 갖는 상기 영상 데이터를 선정하는, 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 방법.The method of claim 9,
The second external geometric data further includes second posture data defining a viewing direction set to generate the image,
In the search and selection step, a candidate group of the image data that can be contrasted with the reference image data is searched based on the 3D position data and the 2D position data, and the candidate group among the candidate groups is A method of generating spatial information of a mobile device using 3D image information for selecting the image data having the highest degree of matching with the reference image data.