KR102612216B1 - Method and system for matching point of interest map using ground information and terminal attitude with 6 degrees of freedom - Google Patents
Method and system for matching point of interest map using ground information and terminal attitude with 6 degrees of freedom Download PDFInfo
- Publication number
- KR102612216B1 KR102612216B1 KR1020210109259A KR20210109259A KR102612216B1 KR 102612216 B1 KR102612216 B1 KR 102612216B1 KR 1020210109259 A KR1020210109259 A KR 1020210109259A KR 20210109259 A KR20210109259 A KR 20210109259A KR 102612216 B1 KR102612216 B1 KR 102612216B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- terminal
- point
- ground
- interest
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 230000003190 augmentative effect Effects 0.000 claims abstract description 33
- 239000000284 extract Substances 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 abstract description 7
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템에 관한 것이다. 본 발명은 관심지점지도수신부가 관심지점지도제공서버로부터 지리적 위치에 기초하여 생성된 관심지점지도를 수신하는 단계와, 단말기정보수신부가 사용자단말로부터 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터 높이 정보를 수신하는 단계와, 전역높이정보산출부가 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 추출한 기준지면정보와 단말기의 높이 정보에 기초하여 단말기의 전역 높이 정보를 산출하는 단계와, 단말자세정합부가 단말기의 지리적 위치 정보, 방향 정보 및 전역높이정보산출부로 추출한 단말기의 전역 높이 정보를 활용하여 관심지점지도의 좌표계와 단말기의 6자유도 자세정보를 정합하는 단계를 포함한다. 본 발명에 의하면 증강현실에 있어서 관심지점 추출 및 단말기의 6자유도 자세 추정이 특징 추출 및 매칭에서 자유롭기 때문에 환경 변화에 강인한 사용자단말의6자유도 위치 인식이 가능하다. The present invention relates to a point of interest map using ground information and a 6-degree-of-freedom terminal posture registration method and system. The present invention includes the steps of a point of interest map receiving unit receiving a point of interest map generated based on a geographical location from a point of interest map providing server, and a terminal information receiving unit receiving the geographical location information, direction information, and height information from the ground of the terminal from the user terminal. A step of receiving, a global height information calculation unit calculating global height information of the terminal based on the reference ground information extracted from the point of interest map based on the geographical location information of the terminal and the height information of the terminal, and a terminal attitude matching unit. It includes the step of matching the coordinate system of the point of interest map and the 6-degree-of-freedom posture information of the terminal using the terminal's geographic location information, direction information, and global height information of the terminal extracted by the global height information calculation unit. According to the present invention, in augmented reality, point of interest extraction and 6-degree-of-freedom posture estimation of the terminal are free from feature extraction and matching, making it possible to recognize the 6-degree-of-freedom position of the user terminal that is robust to environmental changes.
Description
본 발명은 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템에 관한 것으로, 특히 증강현실 기술에 있어서 사용자단말로부터 취득된 영상 이미지에서 증강하고자하는 관심지점의 검출 및 인식 여부와 무관하고, 단말기의 6자유도 자세 추정을 위한 특징 추출 및 매칭에 자유로운 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템에 관한 것이다.The present invention relates to a point-of-interest map using ground information and a 6-degree-of-freedom terminal posture registration method and system. In particular, in augmented reality technology, whether to detect and recognize a point of interest to be augmented in a video image acquired from a user terminal; It relates to a point-of-interest map and a 6-degree-of-freedom terminal posture registration method and system that utilizes free ground information for feature extraction and matching for 6-degree-of-freedom posture estimation of the terminal.
증강현실은 가상의 객체를 영상 이미지에 덧입혀 출력하는 기술로써, 일반적인 증강현실 기술은 영상 이미지에서 관심지점을 검출하고 인식하여 관심지점이 검출된 이미지 좌표에 인식된 관심지점의 정보를 증강한다. 하지만 영상 이미지에서 관심지점의 검출 및 인식은 영상 이미지의 품질 및 알고리즘의 한계에 의해 부정확하게 수행되는 문제가 있다. 이러한 문제를 해결하기 위해 3차원 특징 지도 기반 증강현실 기술이 적용되고 있으며, 이는 영상 이미지로부터 특징점을 검출하고 특징점을 3차원으로 복원하여 3차원 특징 지도를 생성하는 기술이다. 3차원 특징 지도 기반 증강현실 기술은 쿼리로 주어진 영상 이미지에서 특징점을 추출하고 3차원 특징 지도와 매칭하여 영상 이미지를 촬영한 단말기의 6자유도 자세 정보를 획득한다. 이때, 3차원 특징 지도 내에 3차원 위치가 특정된 관심지점에 대한 객체가 존재할 경우, 객체의 위치를 단말기의 6자유도 자세로 투영하여 영상 이미지에서 객체의 이미지 좌표를 획득할 수 있으며, 해당 좌표에 객체의 정보를 증강할 수 있다. 이는 객체 검출 및 인식과는 상관없이 수행된다. Augmented reality is a technology that outputs a virtual object by adding it to a video image. General augmented reality technology detects and recognizes points of interest in video images and augments the information on the recognized point of interest in the image coordinates where the point of interest is detected. However, there is a problem in that detection and recognition of points of interest in video images are performed inaccurately due to the quality of the video image and limitations of the algorithm. To solve this problem, 3D feature map-based augmented reality technology is being applied, which is a technology that detects feature points from video images and restores the feature points in 3D to create a 3D feature map. The 3D feature map-based augmented reality technology extracts feature points from the video image given as a query and matches them with the 3D feature map to obtain 6-degree-of-freedom posture information of the terminal that captured the video image. At this time, if there is an object for a point of interest whose 3D location is specified in the 3D feature map, the image coordinates of the object can be obtained from the video image by projecting the location of the object to the 6 degrees of freedom posture of the terminal, and the corresponding coordinates The information of the object can be augmented. This is performed independently of object detection and recognition.
하지만 이 방법 또한 영상 이미지에서 추출된 특징이 변화하는 환경에 의해 부정확하게 추출되거나 3차원 특징 지도와 부정확한 매칭이 수행되는 문제가 있어 정확한 6자유도 자세를 추정할 수 없다. 예컨대, 낮에 생성된 실외공간의 3차원 특징 지도로부터 저녁에 촬영된 쿼리 이미지의 6자유도 자세 정보를 찾는 것이 쉽지 않다. 이를 해결하기 위해환경 변화에 강인하게 설계된 특징 검출 알고리즘을 활용하기도 하나, 이러한 알고리즘은 속도가 느리기 때문에 증강현실의 실시간 정보 제공에 문제가 생기며, 이렇게 설계된 특징 마저도 매칭의 강인함에 대한 성능향상에 한계가 존재한다. 따라서 부정확한 특징 매칭은 부정확한 위치 인식을 수행하기 때문에 사용자에게 원활한 증강 정보 제공이 어려운 문제가 있다. However, this method also has problems in that features extracted from video images are extracted inaccurately due to a changing environment or inaccurate matching is performed with the 3D feature map, so it cannot accurately estimate the 6-degree-of-freedom posture. For example, it is not easy to find the 6-degree-of-freedom posture information of a query image taken in the evening from a 3D feature map of an outdoor space created during the day. To solve this problem, feature detection algorithms designed to be robust to environmental changes are used, but because these algorithms are slow, problems arise in providing real-time information in augmented reality, and even features designed in this way have limitations in improving performance due to the robustness of matching. exist. Therefore, inaccurate feature matching results in inaccurate location recognition, making it difficult to provide augmented information to users smoothly.
선행특허로는 한국등록특허 제10-1285360호(증강현실을 이용한 관심 지점 표시 장치 및 방법)가 있으나, 본 발명과 같이 지면으로부터 높이 정보를 활용하는 것이 아니라 GPS 정보로부터 획득한 고도 값만을 활용하는 기술을 개시하고 있을 뿐이다.Prior patents include Korean Patent No. 10-1285360 (apparatus and method for displaying points of interest using augmented reality), but instead of using height information from the ground like the present invention, only the altitude value obtained from GPS information is used. The technology is just being launched.
본 발명이 해결하고자 하는 과제는 상기와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 영상 이미지를 통한 특징 추출 및 매칭, 그리고 이를 통한 관심지점 검출 및 인식 여부와 무관하게 단말기의 전역 높이 정보를 계산하여 관심지점들을 포함하는 관심지점지도의 전역 좌표계와 정합된 단말기의 6자유도 자세 추정이 가능한 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템에 관한 것이다. The problem that the present invention seeks to solve is to solve the problems of the prior art as described above. Extracting and matching features through video images, detecting points of interest through this, and collecting global height information of the terminal regardless of recognition. This relates to a point-of-interest map using ground information that can estimate the 6-degree-of-freedom posture of a terminal that is calculated and matched to the global coordinate system of the point-of-interest map and a 6-degree-of-freedom terminal posture matching method and system.
본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법은, 관심지점지도수신부가 관심지점지도제공서버로부터 지리적 위치 정보를 기초하여 생성된 관심지점지도를 수신하는 단계와, 단말기정보수신부가 사용자단말로부터 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 수신하는 단계와, 전역높이산출부가 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 추출한 기준지면정보와 단말기의 지면으로부터의 높이 정보에 기초하여 단말기의 전역 높이 정보를 산출하는 단계와, 단말자세정합부가 관심지점지도와 단말기의 6자유도 자세를 정합하되, 높이를 제외한 이동과 회전에 대해서는 단말기 정보에서 수신한 지리적 위치 정보와 회전 정보를 활용하고, 높이에 대해서는 전역높이산출부가 추출한 전역높이를 활용하는 단계를 포함한다.The point of interest map using ground information and the 6-degree-of-freedom terminal posture matching method according to an embodiment of the present invention includes a point of interest map receiver receiving a point of interest map generated based on geographical location information from a point of interest map providing server. A step in which the terminal information receiver receives geographical location information, direction information, and height information from the ground of the terminal from the user terminal, and reference ground information extracted by the global height calculation unit from the point of interest map based on the geographical location information of the terminal. A step of calculating global height information of the terminal based on the height information of the terminal from the ground, and the terminal posture matching unit matches the point of interest map and the 6 degrees of freedom posture of the terminal, but provides terminal information for movement and rotation excluding height. It includes the step of using the geographical location information and rotation information received from and using the global height extracted by the global height calculation unit for height.
여기서 기준지면정보란 단말기의 전역 높이를 획득하기위해 설정되는 지면에 대한 정보로서 평면의 방정식, polygon, mesh, 고도맵(height map) 등 적어도 하나의 포맷으로 지면을 표현할 수 있으며 3차원 공간상에 위치가 특정화되어 2차원 지리적 위치 정보가 주어졌을 때 지리적 위치에 대한 전역 높이를 획득할 수 있는 정보를 말한다. 예컨대, 평면의 ax+by+cz+d=0, 여기서 (a,b,c,d)는 평면의 법선벡터를 포함하는 평면 방정식에 대한 계수 값이고 지리적 위치가 (x, y)로 주어졌을 때 전역 높이 z 값을 획득할 수 있다. 이와 마찬가지로 3차원 공간상에 위치가 특정화된 polygon 또는 mesh에서 지리적 위치 (x,y)를 지나는 선과 교차하는 점에 대해 전역 높이 정보를 계산할 수 있다. 또한 고도맵에서는 주어진 지리적 위치 정보에 대한 밝기 값(intensity)에서 전역 높이 정보를 획득할 수 있다. 기준지면정보는 단말기의 2차원 지리적 위치를 포함하면서 본 특허의 실시 예에 따라 전역 좌표계에 3차원 위치를 특정하여 단말기의 좌표계를 관심지점 지도의 전역 좌표계로 정합하는데 사용된다. 여기서 2차원 지리적 위치는 단말기의 지리적 위치를 수신할 수 있는 GPS, WiFi, Bluetooth 등 적어도 하나의 센서로부터 수신된 위치 정보를 의미하며, GPS는 위,경도 좌표, WiFi 및 Bluetooth는 신호를 발신하는 센서의 위치가 특정화 된 임의의 2차원 평면 좌표계 상에서의 좌표를 의미한다. Here, reference ground information is information about the ground set to obtain the global height of the terminal. The ground can be expressed in at least one format such as a plane equation, polygon, mesh, or height map, and can be expressed in three-dimensional space. This refers to information that can obtain the global height for a geographical location when the location is specified and two-dimensional geographical location information is given. For example, ax+by+cz+d=0 of a plane, where (a,b,c,d) is the coefficient value for the plane equation containing the normal vector of the plane and the geographic location is given by (x,y). When the global height z value can be obtained. Similarly, global height information can be calculated for the point that intersects a line passing through the geographic location (x,y) in a polygon or mesh with a specified location in 3D space. Additionally, in an altitude map, global height information can be obtained from the intensity value for given geographical location information. The reference ground information includes the two-dimensional geographical location of the terminal and is used to match the terminal's coordinate system to the global coordinate system of the point of interest map by specifying the three-dimensional location in the global coordinate system according to the embodiment of this patent. Here, 2D geographical location refers to location information received from at least one sensor such as GPS, WiFi, and Bluetooth that can receive the geographical location of the terminal, where GPS is latitude and longitude coordinates, and WiFi and Bluetooth are sensors that transmit signals. It means coordinates on an arbitrary two-dimensional plane coordinate system in which the location of is specified.
본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템은, 관심지점지도와 단말기의 자세정보를 정합하여 사용자단말에 제공하는 증강현실서버와, 상기 증강현실서버에 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 제공하는 사용자단말과, 상기 증강현실서버에 미리 생성된 관심지점을 포함하는 관심지점지도를 제공하는 관심지점지도제공서버를 포함하고, 상기 증강현실서버는, 상기 관심지점지도제공서버로부터 관심지점지도를 수신하는 관심지점지도수신부와, 사용자단말로부터 단말기의 지리적 위치 정보, 방향 정보와 지면으로부터의 높이 정보를 수신하는 단말기정보수신부와, 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 추출된 기준지면정보와 단말기의 지면으로부터의 높이 정보에 기초하여 단말기의 전역 높이 정보를 산출하는 전역높이정보산출부와, 관심지점지도의 좌표계와 단말기의 6자유도 자세정보를 정합하는 단말자세정합부를 포함한다.The point-of-interest map and 6-degree-of-freedom terminal posture matching system using ground information according to an embodiment of the present invention includes an augmented reality server that matches the point-of-interest map and posture information of the terminal and provides it to the user terminal, and the augmented reality server. It includes a user terminal that provides geographical location information, direction information, and height information from the ground, and a point of interest map providing server that provides a point of interest map including points of interest previously created in the augmented reality server, The augmented reality server includes a point of interest map receiver that receives a point of interest map from the point of interest map providing server, and a terminal information receiver that receives information on the geographical location of the terminal, direction information, and height information from the ground from the user terminal, A global height information calculation unit that calculates global height information of the terminal based on the reference ground information extracted from the point of interest map based on the geographical location information of the terminal and the height information of the terminal from the ground, a coordinate system of the point of interest map and the terminal It includes a terminal posture matching unit that matches the posture information of the 6 degrees of freedom.
본 발명에 의하면 제안하는 발명은 특징 추출 및 매칭과는 상관없이 전역 좌표계에서 환경 변화에 강인한 단말기의 6자유도 위치 인식이 가능하다. 또한, 단말기의의 영상 이미지로부터 관심지점에 대한 객체 인식 및 추출이 수행될 필요가 없으며 관심지점지도에 존재하는 관심지점의 객체들이 단말기의 자세로 투영할 수 있으므로 관심지점들을 모두 강인하게 증강 가능하다.According to the present invention, the proposed invention is capable of recognizing the location of a terminal with 6 degrees of freedom in a global coordinate system that is robust to environmental changes, regardless of feature extraction and matching. In addition, there is no need to perform object recognition and extraction of points of interest from the video image of the terminal, and since objects of points of interest existing in the point of interest map can be projected to the posture of the terminal, all points of interest can be robustly augmented. .
또한, 특징추출 및 매칭에 시간을 소요하지 않으므로 속도가 빠르고, 관심지점지도 정보만을 불러오기 때문에 계산이 빠르고 메모리 부담이 적은 효과가 있다.In addition, it is fast because it does not take time to extract and match features, and because only point-of-interest map information is loaded, calculations are fast and memory load is low.
도 1은 본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 증강현실서버의 구성도이다.
도 3은 본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법을 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 관심지점지도 생성 방법을 설명하는 흐름도이다.
도 5는 본 발명의 실시예에 따른 전역 높이 정보 산출방법을 설명하는 흐름도이다.
도 6은 본 발명의 실시예에 따른 2차원 실내의 관심지점지도를 나타내는 예시도이다.
도 7은 본 발명의 실시예에 따른 실내 2차원 지도에서 관심지점 높이 할당 및 3차원 위치 지정을 나타내는 예시도이다.
도 8은 본 발명의 실시예에 따른 3차원 지도에서 지면 및 높이 정보를 획득하는 예시도이다.
도 9는 본 발명의 실시예에 따른 3차원 국부지도로부터 평면을 추출하여 단말기의 지면으로부터 높이 정보를 획득하는 예시도이다.
도 10은 본 발명의 실시예에 따른 단말기의 전역높이를 획득하는 예시도이다.
도 11은 본 발명의 실시예에 따른 지역적인 관심지점의 정보로 어느 위치에서나 전역높이를 획득하는 예시도이다.
도 12는 본 발명의 실시예에 따른 단말기의 위치에 상관없이 관심지점을 기준으로 단말기의 전역 높이 정보를 획득하는 예시도이다.
도 13은 본 발명에서 관심지점지도가 지형정보를 포함하고 있을 때의 실시예에 따른 전역 높이 정보 산출방법을 설명하는 흐름도이다.
도14는 본 발명에서 관심지점지도가 지형정보를 포함할 때, 지형정보를 활용하여 관심지점지도의 좌표계와 정합된 단말기의 전역 높이 정보를 획득하는 예시도이다.Figure 1 is a configuration diagram of a point of interest map using ground information and a 6-degree-of-freedom terminal posture matching system according to an embodiment of the present invention.
Figure 2 is a configuration diagram of an augmented reality server according to an embodiment of the present invention.
Figure 3 is a flowchart explaining a point of interest map using ground information and a 6-degree-of-freedom terminal posture matching method according to an embodiment of the present invention.
Figure 4 is a flowchart explaining a method for generating a point of interest map according to an embodiment of the present invention.
Figure 5 is a flowchart explaining a method for calculating global height information according to an embodiment of the present invention.
Figure 6 is an exemplary diagram showing a two-dimensional indoor point of interest map according to an embodiment of the present invention.
Figure 7 is an example diagram showing height allocation and 3D positioning of points of interest in an indoor 2D map according to an embodiment of the present invention.
Figure 8 is an example diagram of obtaining ground and height information from a 3D map according to an embodiment of the present invention.
Figure 9 is an example of obtaining height information from the ground of a terminal by extracting a plane from a 3D local map according to an embodiment of the present invention.
Figure 10 is an example diagram of obtaining the global height of a terminal according to an embodiment of the present invention.
Figure 11 is an example of obtaining global height at any location with information on local points of interest according to an embodiment of the present invention.
Figure 12 is an example of obtaining global height information of a terminal based on a point of interest regardless of the location of the terminal according to an embodiment of the present invention.
Figure 13 is a flowchart explaining a method of calculating global height information according to an embodiment of the present invention when a point of interest map includes topographic information.
Figure 14 is an example of obtaining global height information of the terminal matched with the coordinate system of the point of interest map using the topographic information when the point of interest map includes terrain information in the present invention.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are merely illustrative for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can make various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in this specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and technical scope of the present invention.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this specification are merely used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in this specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings attached to this specification.
도 1은 본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템의 구성도이다.Figure 1 is a configuration diagram of a point of interest map using ground information and a 6-degree-of-freedom terminal posture matching system according to an embodiment of the present invention.
도 1을 참조하면, 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템(10)은 증강현실서버(100), 사용자단말(200), 관심지점지도 제공서버(300)로 구성된다.Referring to Figure 1, the point-of-interest map using ground information and the 6-degree-of-freedom terminal
증강현실서버(100)는 관심지점지도제공서버로부터 관심지점지도를 수신하고, 단말기로부터 수신된 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보에 기초하여 산출된 전역 높이 정보를 활용해 관심지점지도와 6자유도 단말기의 자세를 정합하여 사용자단말에 제공한다.The augmented
사용자단말(200)은 전용 애플리케이션을 통해 실내 또는 실외의 관심지점정보를 제공받을 수 있다. 사용자단말은 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 증강현실서버에 전달하고, 증강현실서버로부터 관심지점지도와 6자유도 단말자세를 정합한 결과를 제공받을 수 있다. 사용자 단말(200)은 위치 정보를 송신할 수 있는 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 네비게이션 단말기, 태블릿 PC, 글라스 등의 네트워크 접속이 가능한 통신 기기일 수 있으며, 그 종류에 제한이 없다.The
사용자단말(200)에서 지면으로부터의 높이 정보를 획득하는 실시예는 다음과 같다.An example of obtaining height information from the ground in the
i) 실시간으로 IMU 또는 depth sensor 등을 활용한 실측기반 SLAM을 수행하여 점군으로 구성된 국부지도를 획득하고, 점군 정보로부터 평평한 지면에 해당하는 점군을 추출하고, 해당 평면으로부터의 높이 정보를 계산한다.i) Perform ground truth-based SLAM using an IMU or depth sensor in real time to obtain a local map composed of a point cloud, extract a point cloud corresponding to a flat ground from the point cloud information, and calculate height information from the plane.
점군정보로부터 평면 정보를 획득하는 방법의 실시예는 다음과 같다.An example of a method for obtaining planar information from point cloud information is as follows.
1-1) 각 점들로부터 인근의 점들과 삼각화를 수행하여 법선 벡터를 획득한다. 1-1) Triangulate each point with nearby points to obtain a normal vector.
1-2) 각 점들의 법선벡터들을 활용하여 평면을 이루는 점군들로 클러스터링한다. 1-2) Cluster the normal vectors of each point into point groups forming a plane.
1-3) 추출한 평면들 중 법선벡터 방향이 위를 향해 있고 면적이 넓은 지면에 해당하는 평면을 추출한다.1-3) Among the extracted planes, extract the plane whose normal vector direction is upward and which corresponds to the ground with a large area.
2-1) 영상 이미지에서 지면을 추출하고, 해당 평면의 영역에 대응하는 점군 정보를 추출할 수도 있다. 2-1) It is also possible to extract the ground from a video image and extract point cloud information corresponding to the area of the plane.
2-2) 영상 이미지에서 지면을 추출하는 방법은 딥러닝을 활용할 수 있고, 영상 이미지내에서 일정영역 부분은 지면일 것이라고 제한을 줄 수 있다. 2-2) Deep learning can be used to extract the ground from a video image, and a certain area within the video image can be restricted to be the ground.
ii) 단말기 사용자의 평균 눈 높이 정보를 지면으로부터 높이 정보로 제공할 수 있다. 본 발명은 사용자가 증강현실 기술을 활용하는 것으로, 단말기는 대체로 사용자의 눈높이에 존재한다. 따라서 평균 사용자의 눈높이 정보 또는 개개인의 눈높이 정보를 사전에 입력받아, 해당 시스템에 단말기의 지면으로부터 높이 정보로 제공될 수 있다.ii) The terminal user's average eye height information can be provided as height information from the ground. The present invention allows users to utilize augmented reality technology, and the terminal generally exists at the user's eye level. Therefore, the average user's eye height information or individual eye height information can be input in advance and provided as height information from the ground of the terminal to the corresponding system.
iii) 현재 위치에 대한 단말기의 고도 정보에서 지면의 고도 정보를 빼어 지면으로부터 높이 정보를 획득할 수 있다. 단말기의 고도 정보는 GPS를 활용하여 위성의 삼각측량법으로 계산되거나 고도계, 기압계로 획득할 수 있으며 지면의 고도 정보는 지도api로부터 단말기의 2차원 지리적 위치에 해당하는 지면의 고도 정보를 획득할 수 있다.iii) Height information can be obtained from the ground by subtracting the altitude information of the ground from the altitude information of the terminal about the current location. The altitude information of the terminal can be calculated using satellite triangulation using GPS or acquired using an altimeter or barometer, and the altitude information of the ground can be obtained from the map API corresponding to the two-dimensional geographical location of the terminal. .
관심지점지도제공서버(300)는 증강현실서버에 지리적 위치에 기초하여 미리 생성된 관심지점을 포함하는 관심지점지도를 제공할 수 있다. The point of interest
여기서 관심지점지도란 공공기관, 업체, 식당, 시설물 등 사용자들이 정보를 얻고자 하는 관심 지점들의 객체를 포함하는 지도이며, 관심지점들의 객체는 관심지점지도 상에서 GPS, WiFi, Bluetooth 등 적어도 하나의 센서로 취득되는 2차원 지리적 위치에 기초하여 존재한다. 관심지점의 2차원 지리적 위치는 전역 높이 정보가 추가되어 3차원 좌표가 특정화될 수 있다. 관심지점의 전역 높이를 특정하는 방법은 다음과 같다.Here, a point of interest map is a map that includes objects of points of interest that users want to obtain information about, such as public institutions, businesses, restaurants, and facilities. The objects of points of interest are at least one sensor such as GPS, WiFi, or Bluetooth on the point of interest map. It exists based on a two-dimensional geographical location obtained by. The 2D geographical location of a point of interest can be specified in 3D coordinates by adding global height information. The method for specifying the global height of a point of interest is as follows.
i) 지리적 위치를 기초로 하는 Camera나 LiDAR 센서로 SFM(Structure From Motion) 또는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 수행하여 지리적위치를 기초로하는 전역 좌표계와 점군으로 구성된 3차원 지도를 생성하고, 3차원 지도 내에서 관심지점의 전역 높이를 직접 특정하거나, 3차원 지도 내에 지리적 위치를 기초로 하여 6자유도 자세정보가 추정된 적어도 두개 이상의 카메라 프레임의 이미지에서 관측된 관심지점에 대한 매칭된 좌표쌍으로 삼각측량법을 통해 3차원 공간에 위치를 특정할 수 있으며 전역높이를 획득할 수 있다.i) Perform SFM (Structure From Motion) or SLAM (Simultaneous Localization and Mapping) algorithm with a camera or LiDAR sensor based on geographic location to generate a 3D map consisting of a global coordinate system and point cloud based on geographic location, Directly specify the global height of a point of interest within a 3D map, or match coordinates for a point of interest observed in images of at least two camera frames with 6-degree-of-freedom attitude information estimated based on the geographical location within the 3D map. Through pairwise triangulation, the location can be specified in three-dimensional space and the global height can be obtained.
ii) 관심지점의 2차원 지리적 위치에 기초하여 지면의 해발고도정보를 포함하는 고도맵(height map) 이미지, mesh, polygon, 지도 API 등 적어도 하나의 확장자를 활용하여 지형 정보를 획득한다. 예컨대, 임의의 관심지점의 2차원 지리적 위치가 WGS84 좌표계를 따르는 GPS 센서로부터 획득되었다면, WGS84 좌표계를 기초로하는 해발고도에 대한 지형 정보를 활용하며, 이 지형 정보는 LiDAR, 항공사진, 위성 정보로부터 취합 및 최적화를 통해 생성이 가능하다. 이 지형정보는 지형의 해발 고도 높이 정보를 포함하고 있어서 지형의 3차원 전역 높이를 특정할 수 있다. 지형정보로부터 관심지점의 2차원 지리적 위치에 대한 지면의 고도 정보를 획득하고, 해당 지면의 고도 정보에 관심지점의 지면으로부터 높이 정보를 더하여 관심지점의 3차원 위치를 특정할 수 있다. ii) Based on the two-dimensional geographical location of the point of interest, topographic information is acquired using at least one extension such as a height map image containing ground level altitude information, mesh, polygon, and map API. For example, if the two-dimensional geographic location of an arbitrary point of interest is obtained from a GPS sensor that follows the WGS84 coordinate system, topographic information about elevation based on the WGS84 coordinate system is utilized, and this topographic information is obtained from LiDAR, aerial photos, and satellite information. It can be created through collection and optimization. This terrain information includes the height information above sea level of the terrain, so the 3D global height of the terrain can be specified. It is possible to obtain ground elevation information about the two-dimensional geographical location of the point of interest from topographic information and specify the three-dimensional location of the point of interest by adding height information from the ground of the point of interest to the elevation information of the ground.
iii) 실내와 같이 지면이 평평하고 관심지점의 지면으로부터 높이가 일정하다는 전제하에 임의의 지면의 높이를 설정하고, 해당 지면의 높이로부터 관심지점의 지면으로부터 높이 정보를 더하여 전역 높이 정보를 획득한다. 이 전역 높이 정보와 관심지점의 2차원 지리적 위치 정보를 통합하여 3차원 위치를 특정할 수 있다. iii) Under the premise that the ground is flat, such as indoors, and the height from the ground of the point of interest is constant, the height of the ground is set at random, and the height information from the ground of the point of interest is added to the height of the ground to obtain global height information. By integrating this global height information and the 2D geographical location information of the point of interest, the 3D location can be specified.
본 발명에서 관심지점의 지면으로부터 높이 정보를 획득하는 방법의 일 실시예는, 사전에 관심지점에 대한 지면으로부터 높이 값을 획득하여 각 관심지점마다 해당 값을 할당한다. 예를들어, 실내 백화점 또는 지하상가는 관심지점인 업체들의 간판 정보가 지면으로부터 일정한 높이에 존재하며, 시설 관리자를 통해 지면으로부터 높이 정보를 쉽게 획득할 수 있다. 이렇게 사전에 관심지점의 지면으로부터 높이 정보를 알고 있을 때 해당 값을 할당해준다.In one embodiment of the method of obtaining height information from the ground of a point of interest in the present invention, a height value is obtained from the ground for the point of interest in advance and the corresponding value is assigned to each point of interest. For example, in an indoor department store or underground shopping mall, signboard information for companies that are points of interest exists at a certain height from the ground, and height information can be easily obtained from the ground through the facility manager. In this way, when the height information of the point of interest is known in advance, the corresponding value is assigned.
지면으로부터 높이 정보를 획득하는 방법의 다른 실시예는, 상기 3차원 지도가 지리적 정보에 근거하여 SfM(Structure from Motion) 또는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 통해 점군 정보가 주어졌을 때, 점군 정보로부터 평평한 지면에 해당하는 점군을 추출하고, 관심지점의 지리적 정보에 근거하여 관심지점의 위치로부터 해당 지면까지의 높이 정보를 계산한다. Another embodiment of the method of obtaining height information from the ground is when the 3D map is given point cloud information through SfM (Structure from Motion) or SLAM (Simultaneous Localization and Mapping) algorithm based on geographical information, point cloud information A point cloud corresponding to a flat ground is extracted from and height information from the location of the point of interest to the ground is calculated based on the geographical information of the point of interest.
지면으로부터 높이 정보를 획득하는 방법의 또 다른 실시예는, 3차원 관심지점 지도를 생성하기 위해 사전에 획득한 지도 정보가 카메라 또는 LiDAR 센서를 활용한 경우, 센서를 장착한 장비 혹은 탈것의 높이 정보를 활용할 수 있다. 예를 들어, 센서를 장착한 자동차가 도로를 주행하며 데이터를 획득하였고 SfM 또는 SLAM의 알고리즘을 통해 센서의 3차원 위치를 포함한 6자유도 자세 정보를 알고있다면, 관심지점 지도 상에서 각 관심지점에 대한 지면의 높이는 센서의 3차원 위치에서 센서의 높이 및 자동차의 높이 정보를 뺀 값이 된다. Another embodiment of a method of obtaining height information from the ground is, when map information previously obtained using a camera or LiDAR sensor to create a 3D point-of-interest map, height information of equipment or vehicles equipped with the sensor. You can use . For example, if a car equipped with a sensor acquires data while driving on the road and knows the 6-degree-of-freedom posture information including the 3D location of the sensor through the SfM or SLAM algorithm, the information for each point of interest on the point of interest map is known. The height of the ground is calculated by subtracting the sensor's height and the vehicle's height information from the sensor's 3D position.
즉, 관심지점에서 가까운 센서로부터 센서의 전역 높이에서 센서의 차량으로부터의 높이 및 차량의 높이 정보를 빼어 기준 지면의 전역 높이를 획득하면, 관심지점의 3차원 위치로부터 해당 기준 지면까지의 높이를 빼어 관심지점의 지면으로부터 높이 정보를 획득할 수 있다.In other words, if the global height of the reference ground is obtained by subtracting the sensor's height from the vehicle and the vehicle's height information from the global height of the sensor from the sensor close to the point of interest, the height from the 3D location of the point of interest to the reference ground is subtracted. Height information can be obtained from the ground at the point of interest.
지면으로부터 높이 정보를 획득하는 방법의 또 다른 실시예는, 지도api를 활용하여 관심지점의 2차원 지리적 위치에 해당하는 지면의 해발 고도 정보를 획득한다. 이때 3차원 관심지점의 위치 정보는 관심지점의 지리적 정보 및 고도 정보에 맞게 위치해 있어야 한다. 그러면 관심지점의 고도 정보로부터 지면의 해발 고도 정보를 빼어 지면으로부터 높이 정보를 획득할 수 있다.Another embodiment of a method for obtaining height information from the ground uses map API to obtain height information on the ground corresponding to the two-dimensional geographical location of a point of interest. At this time, the location information of the 3D point of interest must be located in accordance with the geographical information and altitude information of the point of interest. Then, height information can be obtained from the ground by subtracting the altitude information of the ground from the altitude information of the point of interest.
도 2는 본 발명의 실시예에 따른 증강현실서버의 구성도이다.Figure 2 is a configuration diagram of an augmented reality server according to an embodiment of the present invention.
도 2를 참조하면, 증강현실서버(100)는 관심지점지도수신부(110), 단말기정보수신부(120),전역높이정보산출부(130), 단말자세정합부(140), 통신부(150), 저장부(160), 제어부(170)로 구성된다.Referring to FIG. 2, the
관심지점지도수신부(110)는 관심지점지도제공서버(300)로부터 지리적위치에 기초하여 생성된 관심지점지도를 제공받을 수 있다. The point of
단말기정보수신부(120)는 단말기로부터 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 수신할 수 있다. 단말기정보수신부(120)는 단말기의 GPS 또는 WiFi, Bluetooth 등의 위치센서로부터 지리적 위치 정보를 획득할 수 있으며 방향 정보는 IMU 센서 정보를 활용한다. 전역 지도 및 관심지점 지도의 좌표계가 단말기의 2차원 지리적 위치 정보 및 방향 정보와 정합되도록 획득하였기 때문에 단말기정보수신부(120)는 1자유도인 높이 정보를 제외한 관심지점 지도의 좌표계와 정합된 5자유도 자세 정보를 단말기의 센서들로부터 획득할 수 있다. 상기 5자유도 자세 정보는 위치 정보 2자유도 및 방향 정보 3자유도를 의미한다.The
전역높이정보산출부(130)는 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 기준지면정보를 추출하고, 기준지면정보를 활용하여 단말기의 나머지 1 자유도에 해당하는 전역 높이 정보를 산출할 수 있다. 전역높이정보산출부(130)는 관심지점지도에서 추출한 기준지면정보와 단말기의 지면으로부터 높이 정보를 활용하여 단말기의 전역 높이를 계산한다. 전역높이정보산출부(130)가 지면정보를 추출하고 단말기의 전역높이정보를 산출하는 방법의 실시예는 다음과 같다. 전역높이정보산출부가 관심지점지도에서 단말기의 지리적 위치에 기초하여 근처에 존재하는 관심지점들의 지면으로부터 높이정보를 활용하여 전역 좌표계 상의 기준지면정보를 추출하고, 기준지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이를 더하여 단말기의 전역높이를 획득할 수 있다. 즉, 도 12의 실시예와 같이 관심지점의 지면으로부터 높이를 활용하여 기준지면정보를 추출했을 때, 단말기의 지면으로부터 높이를 기준지면정보의 전역 높이에 더함으로써 단말기의 좌표계에 존재하는 지면을 전역 좌표계에 존재하는 관심지점의 지면 위치로 정합하는 효과를 주어 단말기의 전역 높이를 획득할 수 있다. 즉, 이 방법은 단말기의 2차원 지리적 위치로부터 지역적으로 존재하는 관심지점들의 지면으로부터 높이 정보를 활용하기 때문에, 단말기가 어느 위치에 있던지 상관없이 관심지점 지도와 정합된 단말기의 전역 높이를 추정할 수 있다.The global height
전역높이산출부가 지면정보를 추출하고 단말기의 전역높이정보를 산출하는 방법의 또 다른 실시예는 도 14의 실시예와 같이 관심지점지도가 지형정보를 포함하고 있을 때 관심지점들의 2차원 지리적 위치를 포함하는 지형정보를 추출하고, 지형정보로부터 단말기의 2차원 지리적 위치에 대한 기준 지면을 추출하고, 기준 지면에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터의 높이를 더하여 단말기의 전역 높이 정보를 획득할 수 있다. 이 또한 지형정보를 활용하여 단말기의 위치가 어디에 있던지 상관없이 관심지점 지도와 정합된 단말기의 전역 높이를 추정할 수 있다.Another embodiment of the method by which the global height calculation unit extracts ground information and calculates global height information of the terminal is to calculate the two-dimensional geographical location of points of interest when the point of interest map includes topographic information, as in the embodiment of FIG. 14. Extract the included geographical information, extract the reference ground for the two-dimensional geographical location of the terminal from the geographical information, obtain the global height of the ground for the two-dimensional geographical location of the terminal from the reference ground, and obtain the height of the terminal from the ground. By adding , you can obtain the global height information of the terminal. This also utilizes topographic information to estimate the global height of the terminal matched with the point-of-interest map, regardless of where the terminal is located.
단말자세정합부(140)는 관심지점지도의 좌표계와 단말기의 6자유도 자세정보를 정합할 수 있다.The terminal
통신부(150)는 사용자단말과 관심지점제공서버와 유무선통신을 통해 정보를 송수신할 수 있다. 저장부(160)는 관심지점지도 정보와 단말기의 6자유도 자세정보 및 전역높이정보를 산출하기 위해 필요한 정보들과 각 구성에서 획득한 정보를 저장할 수 있다. 제어부(170)는 증강현실서버의 각 구성을 제어할 수 있다.The
도 3은 본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법을 설명하는 흐름도이다.Figure 3 is a flowchart explaining a point of interest map using ground information and a 6-degree-of-freedom terminal posture matching method according to an embodiment of the present invention.
도 3을 참조하면, 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법은 증강현실서버(100)의 관심지점지도수신부(110)가 관심지점지도 제공서버(300)로부터 관심지점지도를 수신한다(S101). 관심지점지도는 2차원 또는 3차원지도에 관심지점이 할당된 지도이다. Referring to FIG. 3, the point-of-interest map using ground information and the 6-degree-of-freedom terminal posture matching method involve the point-of-
단말기정보수신부(120)가 사용자단말(200)로부터 단말기의 지리적 위치 정보 ,방향 정보 및 단말기의 지면으로부터 높이 정보를 수신한다(S103). 단말기정보수신부(120)는 관심지점 지도의 좌표계와 정합된 단말기의 지리적 위치 정보, 방향 정보 및 단말기의 지면으로부터의 높이 정보를 획득할 수 있다.The
전역높이정보산출부(130)가 기준지면정보와 단말기높이정보에 기초하여 전역높이정보를 산출한다(S105). 전역높이정보산출부(130)는 단말기의 지면으로부터 높이 정보를 획득한다. 단말기의 지면으로부터 높이정보는 단말기의 영상센서, IMU, depth, lidar 중 적어도 하나의 센서로 SLAM 알고리즘을 수행하여 생성된 실측기반의 국부지도 내에 존재하는 지도 점군 정보로부터 지면을 평면검출 알고리즘으로 추출하고 지면으로부터 단말기까지의 수직거리를 계산한다. 전역높이정보산출부(130)는 SLAM으로 국부지도를 생성하기 어려운 경우, 평균적인 지면으로부터 높이 정보를 사전에 할당하여 활용할 수 있다. The global height
관심지점의 지면으로부터 높이 정보를 사전에 알고있는 경우, 사용자의 지정에 의해 지면으로부터 관심지점의 높이를 할당할 수 있다. 예를들어, 실내의 지하상가의 경우 2차원 도면 지도에서 각종 업체들의 간판은 모두 동일한 높이에 있다는 점을 활용하여 사전에 동일한 높이를 할당할 수 있다. 또한 꼭 같은 높이가 아니더라도, 사전에 관리자에 의해 알고 있거나 사전답사를 통하여 관심지점의 높이 정보를 획득할 수 있다. If the height information of the point of interest from the ground is known in advance, the height of the point of interest from the ground can be assigned by user designation. For example, in the case of an indoor underground shopping mall, the same height can be assigned in advance by taking advantage of the fact that the signs of various companies are all at the same height on the 2D map. In addition, even if the height is not necessarily the same, information on the height of the point of interest can be obtained in advance by the manager or through a preliminary field trip.
이때 만약 관심지점 지도가 2차원 지리적 위치 정보만을 포함하여 전역 높이 정보가 없을 경우, 지면으로부터 높이 정보가 3차원 관심지점 지도를 구성하기위한 전역 높이 정보로 보정된다.At this time, if the point of interest map contains only 2D geographical location information and does not have global height information, the height information from the ground is corrected with global height information to construct a 3D point of interest map.
단말자세정합부(140)가 관심지점지도의 좌표계와 사용자단말의 6자유도 자세정보를 정합한다(S107). The terminal
도 4는 본 발명의 실시예에 따른 관심지점지도 생성 방법을 설명하는 흐름도이다. 도 4를 참조하면, 관심지점지도 제공서버(300)가 적어도 하나의 관심지점을 포함하는 지도정보를 추출한다(S201). 관심지점지도 제공서버(300)는 적어도 하나의 관심지점을 포함하는 지도정보를 미리 저장하여 제공할 수 있다. 여기서 관심지점지도는 지리적 위치 정보가 포함된 2차원 평면 도면 또는 카메라, 라이다, IMU 센서 등 적어도 하나의 센서를 활용하여 SLAM(Simultaneous Localization and Mapping)이나 SfM(Structure from Motion), ICP(Iterative Closest Point) 등의 알고리즘으로 복원한 3차원 지도가 될 수 있으며, 실내외 구분 없이 현실 공간을 실측 기반으로 하여 표현한 지도 정보라면 특정한 지도에 한정되지 않는다. 여기서 말하는 지리적 위치 정보는 GPS또는 WiFi, Bluetooth 등의 센서로부터 획득되어지며 지도의 방위정보 또한 진북을 기준으로 위성에서 확인 가능한 실제 지도의 방향으로 정합되어있다. 이렇게 획득된 지도를 전역 지도로 활용하며, 전역 지도가 위치해 있는 좌표계를 전역 좌표계라 정의한다.Figure 4 is a flowchart explaining a method for generating a point of interest map according to an embodiment of the present invention. Referring to FIG. 4, the point of interest
관심지점지도 내의 관심지점들은 다음과 같이 지리적위치를 포함하며 추정될 수 있다. 사전에 관심지점의 위치를 알고있는 경우, 관심지점의 위치를 할당하여 저장할 수 있다. 예를들어, 지리적 위치 정보를 포함하는 2차원 평면 지도에서 사전에 관심지점의 지리적 위치를 알고있는 경우 그 값이 관심지점의 위치 정보로 지정될 수 있다. Points of interest in the map include geographical locations and can be estimated as follows. If you know the location of the point of interest in advance, you can assign and save the location of the point of interest. For example, if the geographic location of a point of interest is known in advance on a two-dimensional flat map including geographic location information, that value can be designated as the location information of the point of interest.
관심지점지도 제공서버(300)가 관심지점지도 내의 각 관심지점의 지리적 위치 정보를 추출한다(S203). The point of interest
관심지점지도 제공서버(300)가 각 관심지점의 지면으로부터 높이정보를 추출한다(S205). 3차원 지도에서도 마찬가지로 사전에 관심지점에 대한 지리적 위치 및 전역 높이 정보가 지정될 수 있다. 만약 관심지점의 위치를 사전에 알지 못하면, 관심지점의 위치 정보를 삼각 측량법 등의 일련의 알고리즘을 활용하여 복원할 수 있다. 이렇게 획득된 관심지점의 위치는 획득한 전역 지도를 기반으로 획득되었기에 전역 지도와 동일한 전역 좌표계 상에 존재한다.The point of interest
도 5는 본 발명의 실시예에 따른 전역높이정보 산출방법을 설명하는 흐름도이다.Figure 5 is a flowchart explaining a method of calculating global height information according to an embodiment of the present invention.
도 5를 참조하면, 단말기정보수신부가 단말기의 지면으로부터 높이 정보를 수신한다(S401).Referring to Figure 5, the terminal information receiver receives height information from the ground of the terminal (S401).
전역높이정보산출부가 관심지점지도에서 단말기의 지리적 위치에 기초하여 관심지점들의 지면으로부터 높이정보를 획득한다(S403). 관심지점지도에 존재하는 관심지점들은 지리적 위치를 포함하고 있으며, 단말기의 지리적 위치를 기준으로 임의의 반경 내에 존재하는 관심지점들을 필터링할 수 있다. 이렇게 필터링되어 획득된 관심지점들로부터 관심지점지도제공서버가 S205에서 추출한 각 관심지점들의 지면으로부터 높이 정보를 전역높이정보산출부가 획득할 수 있다. 전역높이정보산출부는 단말기의 지면으로부터 높이 정보를 수신한다. 단말기의 지면으로부터 높이정보는 다음과같이 획득할 수있다. 단말기의 영상센서와 IMU 또는 depth/lidar 적어도 하나의 센서로 SLAM 알고리즘을 수행하여 실측기반의 국부지도를 생성할 수 있다. 이 국부지도 내에 존재하는 지도 점군 정보로부터 지면을 평면검출 알고리즘으로 추출하고 지면으로부터 단말기까지의 수직거리를 계산한다. 만약 SLAM으로 국부지도를 생성하기 어렵다면, 평균적인 지면으로부터 높이 정보를 사전에 할당하여 활용할 수 있다. The global height information calculation unit obtains height information from the ground of points of interest based on the geographical location of the terminal on the point of interest map (S403). Points of interest existing in the point of interest map include geographical locations, and points of interest existing within a random radius can be filtered based on the geographical location of the terminal. From the points of interest obtained through filtering in this way, the global height information calculation unit can obtain height information from the ground of each point of interest extracted by the point of interest map providing server in S205. The global height information calculation unit receives height information from the ground of the terminal. Height information from the ground of the terminal can be obtained as follows. A local map based on ground truth can be generated by performing the SLAM algorithm with the terminal's video sensor and at least one IMU or depth/lidar sensor. The ground is extracted from the map point cloud information existing in this local map using a plane detection algorithm, and the vertical distance from the ground to the terminal is calculated. If it is difficult to create a local map with SLAM, height information from the average ground can be assigned and utilized in advance.
전역높이정보산출부가 기준 지면을 추출한다(S405). 전역높이정보산출부는 획득한 관심지점 지도에서 필터링된 관심지점 정보에 기초하여 획득된 관심지점들의 지면으로부터 높이 정보를 활용하여 기준지면정보를 추출한다. 관심지점들의 위치는 3차원 공간상에 특정화되어있으므로 각 관심지점의 3차원 위치 중 전역 높이에서 지면으로부터 높이 정보를 빼어 해당 관심지점이 위치한 지면의 전역 높이를 추정할 수 있고, 추정된 각 관심지점들에 대한 지면의 전역 높이들로 하여금 polygon, mesh화, 또는 보간법(interpolation) 등의 알고리즘을 통해 기준 지면정보를 생성 및 추출할 수 있다. 여기서의 추출은 추정, 검색 등 지면 정보를 인식하는 의미를 포함한다. The global height information calculation unit extracts the reference ground (S405). The global height information calculation unit extracts reference ground information using height information from the ground of the points of interest obtained based on point of interest information filtered from the acquired point of interest map. Since the locations of points of interest are specified in 3D space, the global height of the ground where the point of interest is located can be estimated by subtracting the height information from the ground from the global height of the 3D location of each point of interest. Based on the global heights of the ground, reference ground information can be generated and extracted through algorithms such as polygon, mesh, or interpolation. Extraction here includes the meaning of recognizing ground information, such as estimation and search.
전역높이정보산출부가 기준 지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이정보를 더하여 단말기의 전역높이정보를 산출한다(S407). 단말자세정합부는 단말기의 지면으로부터 높이정보와 추출한 관심지점들의 지면으로부터 높이정보를 활용하여, 관심지점 지도의 전역 좌표계와 정합된 단말기의 6자유도 자세 정보를 획득한다.The global height information calculation unit obtains the global height of the ground for the two-dimensional geographical location of the terminal from the reference ground information and calculates the global height information of the terminal by adding the height information from the ground of the terminal (S407). The terminal attitude matching unit uses the height information from the ground of the terminal and the height information from the ground of the extracted points of interest to obtain the 6 degrees of freedom attitude information of the terminal matched with the global coordinate system of the point of interest map.
도 6은 본 발명의 실시예에 따른 2차원 실내의 관심지점지도를 나타내는 예시도이다. 도 6을 참조하면, 2차원 지리적 위치만을 포함하는 관심지점 지도로부터 사전에 알고 있는 관심지점의 지면으로부터 높이를 관심지점의 전역 높이 정보로 보정하여 3차원 관심지점 지도를 구성한 예시도이다. 2차원 실내 지도의 한 예로, 각 알파벳이 적혀있는 노드들은 관심지점들을 나타내며 추출된 위치에 할당되어있다. 여기서 관심지점 지도는 관심지점 노드들로 구성되어있다.Figure 6 is an exemplary diagram showing a two-dimensional indoor point of interest map according to an embodiment of the present invention. Referring to FIG. 6, it is an example diagram of constructing a 3D point of interest map by correcting the height from the ground of a previously known point of interest from a point of interest map containing only 2D geographical locations with the global height information of the point of interest. As an example of a two-dimensional indoor map, nodes with each alphabet represent points of interest and are assigned to the extracted locations. Here, the point of interest map is composed of point of interest nodes.
도 7은 본 발명의 실시예에 따른 실내 2차원 지도에서 관심지점 높이 할당 및 3차원 위치 지정을 나타내는 예시도이다. 도 7을 참조하면, 2차원 지리적 위치만을 포함하는 관심지점 지도로부터 사전에 알고 있는 관심지점의 지면으로부터 높이를 관심지점의 전역 높이 정보로 보정하여 3차원 관심지점 지도를 구성할 수 있다.Figure 7 is an example diagram showing height allocation and 3D positioning of points of interest in an indoor 2D map according to an embodiment of the present invention. Referring to FIG. 7, a 3D point of interest map can be constructed by correcting the height from the ground of a previously known point of interest from a point of interest map containing only two-dimensional geographical locations with the global height information of the point of interest.
도 8은 본 발명의 실시예에 따른 3차원 지도에서 지면 및 높이 정보를 획득하는 예시도이다. Figure 8 is an example diagram of obtaining ground and height information from a 3D map according to an embodiment of the present invention.
도 8을 참조하면, 3차원 지도에서는 관심지점의 지면으로부터 높이정보를 사전에 모르는 경우, 지면을 검출하여 관심지점의 위치로부터 지면까지의 수직거리를 획득할 수 있다. 예를 들어, 3차원 지도의 경우, 도 7과 같이 지도에 존재하는 점군정보로부터 평면추출 알고리즘을 통하여 지면을 검출할 수 있다. 또는 단말기의 고도 값에서 지면의 고도 값을 차분하여 높이 정보를 획득할 수 있다.Referring to FIG. 8, in a 3D map, if the height information from the ground of the point of interest is not known in advance, the vertical distance from the location of the point of interest to the ground can be obtained by detecting the ground. For example, in the case of a 3D map, the ground can be detected through a plane extraction algorithm from the point cloud information existing on the map, as shown in FIG. 7. Alternatively, height information can be obtained by subtracting the altitude value of the ground from the altitude value of the terminal.
도 9는 본 발명의 실시예에 따른 3차원 국부지도로부터 평면을 추출하여 단말기의 지면으로부터 높이정보를 획득하는 예시도이다. Figure 9 is an example of obtaining height information from the ground of a terminal by extracting a plane from a 3D local map according to an embodiment of the present invention.
도 10은 본 발명의 실시예에 따른 단말기의 전역높이를 획득하는 예시도이다. 도 10을 참조하면, 이렇게 획득한 단말기의 6 자유도 자세 정보는 증강현실 기술로 활용되어, 관심지점 지도에 존재하는 관심지점들을 단말기의 자세로 투영하여 출력하였을 때 도 10의 예와 같이 출력될 수 있다.Figure 10 is an example diagram of obtaining the global height of a terminal according to an embodiment of the present invention. Referring to FIG. 10, the 6-degree-of-freedom posture information of the terminal obtained in this way is used in augmented reality technology, and when the points of interest existing on the point of interest map are projected and output as the posture of the terminal, they will be output as in the example in FIG. 10. You can.
도 11은 본 발명의 실시예에 따른 지역적인 관심지점의 정보로 어느 위치에서나 전역높이를 획득하는 예시도이다.Figure 11 is an example of obtaining global height at any location with information on local points of interest according to an embodiment of the present invention.
도 11을 참조하면, 3차원 공간상에서 관심지점의 전역 높이와 지면으로부터 높이가 다르기 때문에 관심지점들의 지면으로부터 높이 정보는 각 관심지점마다 상대적으로 다르지만, 각 관심지점들의 3차원 공간상에 특정화된 전역 높이에 따라 관심지점의 위치에 종속된 지면의 전역 높이가 할당될 수 있다. 따라서 각 관심지점에 대한 전역 높이를 갖는 지면을 기준으로하여 단말기의 지면으로부터 높이 정보를 더하였기 때문에 단말기의 위치가 어디있든지 상관없이 관심지점을 기준으로 단말기의 전역 높이 정보가 획득되는 것이다. 이렇게 획득된 전역 높이 정보와 단말기정보수신부에서 획득한 전역 좌표계와 정합된 단말기의 5자유도 자세 정보를 통해 전역 좌표계와 정합된 6자유도 자세 정보가 획득될 수 있다.Referring to FIG. 11, since the global height of the point of interest in 3D space is different from the height from the ground, the height information of the point of interest from the ground is relatively different for each point of interest, but the global height specified in the 3D space of each point of interest is relatively different. Depending on the height, a global height of the ground dependent on the location of the point of interest may be assigned. Therefore, since the height information is added from the ground of the terminal based on the ground having the global height for each point of interest, the global height information of the terminal is obtained based on the point of interest regardless of where the terminal is located. Through the global height information obtained in this way and the 5-degree-of-freedom attitude information of the terminal matched with the global coordinate system acquired from the terminal information receiver, 6-degree-of-freedom attitude information matched with the global coordinate system can be obtained.
도 12는 본 발명의 실시예에 따른 단말기의 위치에 상관없이 관심지점을 기준으로 단말기의 전역높이정보를 획득하는 예시도이다.Figure 12 is an example of obtaining global height information of a terminal based on a point of interest regardless of the location of the terminal according to an embodiment of the present invention.
도 12를 참조하면, 관심지점의 지면으로부터 높이정보를 활용하여 기준지면정보를 추출하고, 기준지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이를 전역 높이에 더하여 단말기의 전역 높이를 획득한다. 즉, 도 12와 같이 관심지점과 단말기의 지면으로부터 높이 정보를 각각 활용하여 관심지점과 단말기의 지면의 위치를 설정했을 때, 단말기의 지면을 전역 좌표계에 존재하는 관심지점의 지면 위치로 정합함으로써 단말기의 전역 높이를 획득할 수 있다.Referring to FIG. 12, reference ground information is extracted using height information from the ground of the point of interest, the global height of the ground for the two-dimensional geographical location of the terminal is obtained from the reference ground information, and the global height of the terminal is obtained from the ground. In addition to the height, the global height of the terminal is obtained. That is, when the position of the point of interest and the ground of the terminal are set using the height information from the ground of the point of interest and the terminal, as shown in Figure 12, the ground of the terminal is matched to the ground position of the point of interest existing in the global coordinate system, so that the terminal A global height of can be obtained.
도 13은 본 발명에서 관심지점지도가 지형정보를 포함하고 있을 때의 실시예에 따른 전역높이정보 산출방법을 설명하는 흐름도이다.Figure 13 is a flowchart explaining a method of calculating global height information according to an embodiment of the present invention when a point of interest map includes topographic information.
도 13을 참조하면, 도5의 S401과 마찬가지로 단말기정보수신부가 단말기의 지면으로부터 높이 정보를 수신한다(S501).Referring to FIG. 13, like S401 in FIG. 5, the terminal information receiver receives height information from the ground of the terminal (S501).
전역높이정보산출부가 관심지점지도가 포함하는 지형 정보를 획득한다(S503). 관심지점지도가 포함하는 지형 정보란 관심지점의 2차원 지리적 위치를 포함하는 좌표계와 정합된 고도맵(height map) 이미지, mesh, polygon, 지도 API 등 지형에 대한 정보를 획득할 수 있는 적어도 하나의 포맷을 활용하여 표현된 지형 정보로써 관심지점의 3차원 위치를 특정하는데 활용된 정보이다. The global height information calculation unit acquires topographic information included in the point of interest map (S503). The terrain information included in the point of interest map is at least one piece of information that can obtain information about the terrain, such as a height map image, mesh, polygon, map API, etc., aligned with a coordinate system containing the two-dimensional geographical location of the point of interest. This is information used to specify the 3D location of a point of interest as topographical information expressed using a format.
전역높이정보산출부가 S503에서 획득한 지형 정보에서 단말기의 2차원 지리적 위치에 대한 기준지면정보를 추출한다(S505). 관심지점 지도와 단말기의 2차원 지리적 위치를 동일한 좌표계(즉, WGS84 좌표계 또는 동일한 지도 좌표계)에서 추출하거나 동일한 좌표계가 되도록 정합하고나면 관심지점 지도가 포함하는 지형정보로부터 단말기의 2차원 지리적 위치에 대해 지면의 전역 높이를 추출할 수 있다. 이 전역 높이를 기준 지면의 전역 높이로 설정한다.The global height information calculation unit extracts reference ground information about the two-dimensional geographical location of the terminal from the terrain information acquired in S503 (S505). After extracting the point of interest map and the two-dimensional geographical location of the terminal from the same coordinate system (i.e., WGS84 coordinate system or the same map coordinate system) or matching them to the same coordinate system, the two-dimensional geographical location of the terminal can be obtained from the geographical information included in the point of interest map. The global height of the ground can be extracted. Set this global height to the global height of the reference ground.
전역높이정보산출부가 S407과 마찬가지로 기준지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이정보를 더하여 단말기의 전역높이정보를 산출한다(S507). As in S407, the global height information calculation unit obtains the global height of the ground for the two-dimensional geographical location of the terminal from the reference ground information and calculates the global height information of the terminal by adding the height information from the ground of the terminal (S507).
도 14는 본 발명의 도13의 실시예에 따른 관심지점지도가 지형정보를 포함할 때, 지형정보를 활용하여 관심지점지도의 좌표계와 정합된 단말기의 전역높이정보를 획득하는 예시도이다.Figure 14 is an example of obtaining global height information of the terminal matched with the coordinate system of the point of interest map using the topographic information when the point of interest map according to the embodiment of Figure 13 of the present invention includes topographic information.
도 14를 참조하면, 관심지점지도가 포함하는 지형정보로부터 단말기의 2차원 지리적 위치에 대한 기준지면정보를 추출하고, 기준지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이정보를 더하여 단말기의 전역 높이를 획득한다. 도 14에서, 관심지점지도와 단말기의 2차원 지리적 위치의 좌표계는 정합이 되었지만 높이 정보에 대해 정합이 되지 않은 상황에서, 단말기의 2차원 지리적 위치 정보에 기초하여 관심지점지도가 포함하는 지형정보로부터 정합을 위한 기준지면정보를 추출하고, 단말기의 2차원 지리적 위치에 대한 기준지면정보의 전역 높이 정보에 단말기의 지면으로부터 높이 정보를 더하여 단말기의 전역 높이를 획득하여 정합할 수 있다. Referring to FIG. 14, reference ground information for the two-dimensional geographic location of the terminal is extracted from the terrain information included in the point of interest map, and the global height of the ground for the two-dimensional geographic location of the terminal is obtained from the reference ground information, The global height of the terminal is obtained by adding height information from the ground of the terminal. In FIG. 14, in a situation where the coordinate system of the point of interest map and the two-dimensional geographical location of the terminal are matched, but the height information is not matched, the geographical information included in the point of interest map is based on the two-dimensional geographical location information of the terminal. The reference ground information for matching can be extracted, and the global height of the terminal can be obtained and matched by adding the height information from the ground of the terminal to the global height information of the reference ground information for the two-dimensional geographical location of the terminal.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. The present invention can also be implemented as computer-readable code on a computer-readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Additionally, computer-readable recording media can be distributed across networked computer systems so that computer-readable code can be stored and executed in a distributed manner.
발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.The invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true scope of technical protection of the present invention should be determined by the technical spirit of the attached registration claims.
100; 증강현실서버 200; 사용자단말
300; 관심지점지도제공서버 110; 관심지점지도수신부
120; 단말기정보수신부 130; 전역높이정보산출부
140; 단말자세정합부 150; 통신부
160; 저장부 170; 제어부 100; augmented
300; Point of interest
120;
140; Terminal
160;
Claims (5)
(a) 관심지점지도수신부가 관심지점지도제공서버로부터 지리적 위치에 기초하여 생성된 관심지점지도를 수신하는 단계;
(b) 단말기정보수신부가 사용자단말로부터 단말기의 지리적 위치 정보와 지면으로부터의 높이 정보 및 방향 정보를 수신하는 단계;
(c) 전역높이산출부가 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 추출한 기준지면정보와 단말기의 지면으로부터 높이 정보에 기초하여 단말기의 전역 높이 정보를 산출하는 단계;
(d) 단말자세정합부가 관심지점지도와 단말기의 6자유도 자세를 정합하되, 높이를 제외한 이동과 회전에 대해서는 단말기 정보에서 수신한 지리적 위치 정보와 회전 정보를 활용하고, 높이에 대해서는 전역높이산출부가 추출한 전역높이를 활용하는 단계;를 포함하고,
상기 (c) 단계에 있어서,
(c-1) 전역높이정보산출부가 관심지점지도에서 단말기의 지리적 위치 정보에 기초하여 관심지점들의 지면으로부터 높이 정보를 획득하는 단계;
(c-2) 전역높이정보산출부가 관심지점들의 지면으로부터 높이 정보를 활용하여 기준지면정보를 추출하는 단계; 및
(c-3) 전역높이정보산출부가 기준지면정보에서 단말기의 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이 정보를 더하여 단말기의 전역 높이 정보를 산출하는 단계를 포함하고,
상기 전역높이정보산출부는 관심지점의 전역 높이에서 지면으로부터의 높이를 사용하여 해당 관심지점이 위치한 지면의 전역 높이를 추출하고, 추출된 관심지점에 대한 지면의 전역 높이를 기초로 하여 기준지면정보를 추출하고,
상기 전역높이정보산출부가 획득하는 단말기의 지면으로부터 높이 정보는 단말기의 적어도 하나의 센서로 알고리즘을 수행하여 생성된 실측기반의 국부지도 내에 존재하는 지도 점군 정보로부터 지면을 평면검출 알고리즘으로 추출하고 지면으로부터 단말기까지의 수직거리를 계산한 것을 특징을 하는 관심지점지도와 6자유도 단말 자세 정합 방법.In the point-of-interest map and 6-degree-of-freedom terminal pose matching method using ground information,
(a) a point of interest map receiving unit receiving a point of interest map generated based on geographical location from a point of interest map providing server;
(b) a terminal information receiving unit receiving geographical location information of the terminal and height information and direction information from the ground from the user terminal;
(c) a global height calculation unit calculating global height information of the terminal based on reference ground information extracted from a point of interest map based on the geographical location information of the terminal and height information from the ground of the terminal;
(d) The terminal attitude matching unit matches the point of interest map and the terminal's 6-degree-of-freedom posture, but uses the geographic location information and rotation information received from the terminal information for movement and rotation excluding height, and calculates the global height for height. Including a step of utilizing the additionally extracted global height,
In step (c) above,
(c-1) a step of the global height information calculation unit acquiring height information from the ground of points of interest based on the geographical location information of the terminal in the point of interest map;
(c-2) a global height information calculation unit extracting reference ground information using height information from the ground at points of interest; and
(c-3) A global height information calculation unit obtains the global height of the ground for the geographical location of the terminal from the reference ground information, and calculates the global height information of the terminal by adding the height information from the ground of the terminal,
The global height information calculation unit extracts the global height of the ground where the point of interest is located using the height from the ground in the global height of the point of interest, and provides reference ground information based on the global height of the ground for the extracted point of interest. extract,
The height information from the ground of the terminal acquired by the global height information calculation unit is extracted from the ground using a plane detection algorithm from the map point cloud information existing in the ground truth-based local map generated by performing an algorithm with at least one sensor of the terminal and obtained from the ground. A point-of-interest map and a 6-degree-of-freedom terminal posture registration method that calculates the vertical distance to the terminal.
상기 관심지점지도제공서버는 적어도 하나의 관심지점의 지리적 위치 정보와 지면으로부터 높이 정보를 포함하는 관심지점지도를 제공하는 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법.According to paragraph 1,
The point of interest map providing server provides a point of interest map including geographical location information of at least one point of interest and height information from the ground. A point of interest map using ground information and a 6-degree-of-freedom terminal posture matching method.
상기 (c) 단계에 있어서,
(c-1) 전역높이정보산출부가 관심지점지도가 포함하는 지형정보에서 단말기의 지리적 위치에 대한 기준지면정보를 추출하는 단계; 및
(c-2) 전역높이정보산출부가 기준지면정보에서 단말기의 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이 정보를 더하여 단말기의 전역 높이 정보를 산출하는 단계를 포함하는 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법.According to paragraph 1,
In step (c) above,
(c-1) a step where the global height information calculation unit extracts reference ground information about the geographical location of the terminal from the terrain information included in the point of interest map; and
(c-2) Ground information including the step of the global height information calculation unit obtaining the global height of the ground for the geographical location of the terminal from the reference ground information and calculating the global height information of the terminal by adding the height information from the ground of the terminal. Point of interest map and 6-degree-of-freedom terminal pose matching method using .
관심지점지도와 정합된 단말기의 6자유도 자세정보를 사용자단말에 제공하는 증강현실서버;
상기 증강현실서버에 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 제공하는 사용자단말; 및
상기 증강현실서버에 지리적 위치에 기초하여 미리 생성된 관심지점을 포함하는 관심지점지도를 제공하는 관심지점지도제공서버를 포함하고,
상기 증강현실서버는,
상기 관심지점지도제공서버로부터 관심지점지도를 수신하는 관심지점지도수신부;
사용자단말로부터 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 수신하는 단말기정보수신부;
기준지면정보와 단말기의 높이 정보에 기초하여 전역 높이 정보를 산출하는 전역높이정보산출부; 및
관심지점지도의 좌표계와 단말기의 6자유도 자세정보를 정합하는 단말자세정합부를 포함하고,
상기 전역높이정보산출부는 관심지점의 전역 높이에서 지면으로부터의 높이를 사용하여 해당 관심지점이 위치한 지면의 전역 높이를 추출하고, 추출된 관심지점에 대한 지면의 전역 높이를 기초로 하여 기준지면정보를 추출하고,
상기 전역높이정보산출부가 획득하는 단말기의 지면으로부터 높이 정보는 단말기의 적어도 하나의 센서로 알고리즘을 수행하여 생성된 실측기반의 국부지도 내에 존재하는 지도 점군 정보로부터 지면을 평면검출 알고리즘으로 추출하고 지면으로부터 단말기까지의 수직거리를 계산한 것을 특징으로 하는 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템.
In the point-of-interest map and 6-degree-of-freedom terminal attitude matching system using ground information,
An augmented reality server that provides the user terminal with 6 degrees of freedom posture information of the terminal matched with the point of interest map;
A user terminal providing geographical location information, direction information, and height information from the ground of the terminal to the augmented reality server; and
A point-of-interest map providing server that provides a point-of-interest map including points-of-interest pre-generated based on geographical location to the augmented reality server,
The augmented reality server,
a point of interest map receiving unit that receives a point of interest map from the point of interest map providing server;
a terminal information receiver that receives geographical location information, direction information, and height information from the ground of the terminal from the user terminal;
A global height information calculation unit that calculates global height information based on reference ground information and height information of the terminal; and
It includes a terminal posture matching unit that matches the coordinate system of the point of interest map and the 6 degrees of freedom posture information of the terminal,
The global height information calculation unit extracts the global height of the ground where the point of interest is located using the height from the ground in the global height of the point of interest, and provides reference ground information based on the global height of the ground for the extracted point of interest. extract,
The height information from the ground of the terminal acquired by the global height information calculation unit is extracted from the ground using a plane detection algorithm from the map point cloud information existing in the ground truth-based local map generated by performing an algorithm with at least one sensor of the terminal and obtained from the ground. A point-of-interest map using ground information and a 6-degree-of-freedom terminal posture matching system that calculates the vertical distance to the terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210109259A KR102612216B1 (en) | 2021-08-19 | 2021-08-19 | Method and system for matching point of interest map using ground information and terminal attitude with 6 degrees of freedom |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210109259A KR102612216B1 (en) | 2021-08-19 | 2021-08-19 | Method and system for matching point of interest map using ground information and terminal attitude with 6 degrees of freedom |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230027456A KR20230027456A (en) | 2023-02-28 |
| KR102612216B1 true KR102612216B1 (en) | 2023-12-11 |
Family
ID=85326652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210109259A KR102612216B1 (en) | 2021-08-19 | 2021-08-19 | Method and system for matching point of interest map using ground information and terminal attitude with 6 degrees of freedom |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102612216B1 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101285360B1 (en) * | 2007-01-25 | 2013-07-11 | 삼성전자주식회사 | Point of interest displaying apparatus and method for using augmented reality |
| KR101570413B1 (en) * | 2009-06-29 | 2015-11-20 | 엘지전자 주식회사 | Method for displaying image for mobile terminal and apparatus thereof |
| KR20120069489A (en) * | 2010-12-20 | 2012-06-28 | 한국전자통신연구원 | Apparatus and method for measuring taget point in video |
| KR101952140B1 (en) * | 2017-07-10 | 2019-05-08 | 동아대학교 산학협력단 | Precision positioning system and method for smart device with automatic adjustment of the gps receiver height |
| KR102277503B1 (en) * | 2019-08-01 | 2021-07-15 | 주식회사 다비오 | Terminal devicem, service server and method for indoor positioning based on object detection |
| KR20210049527A (en) * | 2019-10-25 | 2021-05-06 | 에스케이텔레콤 주식회사 | Method for receiving map information from map generating server and user equipment performing method |
-
2021
- 2021-08-19 KR KR1020210109259A patent/KR102612216B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230027456A (en) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11386672B2 (en) | Need-sensitive image and location capture system and method | |
| US10949712B2 (en) | Information processing method and information processing device | |
| US9082008B2 (en) | System and methods for feature selection and matching | |
| EP2737279A1 (en) | Variable density depthmap | |
| US11232582B2 (en) | Visual localization using a three-dimensional model and image segmentation | |
| US11215462B2 (en) | Method, apparatus, and system for location correction based on feature point correspondence | |
| Ruotsalainen et al. | A two-dimensional pedestrian navigation solution aided with a visual gyroscope and a visual odometer | |
| CN104281840A (en) | Method and device for positioning and identifying building based on intelligent terminal | |
| US10679521B1 (en) | Generating a three-dimensional physical map using different data sources | |
| CN111788606A (en) | Position estimation device, tracker, position estimation method, and program | |
| US11941755B2 (en) | Method of generating map and visual localization system using the map | |
| Zhang et al. | Online ground multitarget geolocation based on 3-D map construction using a UAV platform | |
| US9372081B2 (en) | Method and system for geo-referencing at least one sensor image | |
| KR102249381B1 (en) | System for generating spatial information of mobile device using 3D image information and method therefor | |
| Alkan et al. | Geometric accuracy and information content of WorldView-1 images | |
| KR102130687B1 (en) | System for information fusion among multiple sensor platforms | |
| KR102612216B1 (en) | Method and system for matching point of interest map using ground information and terminal attitude with 6 degrees of freedom | |
| US11946757B2 (en) | Identifying and displaying smooth and demarked paths | |
| Wang et al. | Pedestrian positioning in urban city with the aid of Google maps street view | |
| US20230314171A1 (en) | Mapping apparatus, tracker, mapping method, and program | |
| US20230021556A1 (en) | Environmental map management apparatus, environmental map management method, and program | |
| US10878278B1 (en) | Geo-localization based on remotely sensed visual features | |
| JP2022023508A (en) | Information processing device, information processing method, program and data structure | |
| Menke et al. | Multi-modal indoor positioning of mobile devices | |
| US20230171570A1 (en) | Indoor localization based on detection of building-perimeter features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |