KR102551212B1 - Method and apparatus for providing augmented reality - Google Patents

Abstract

본 개시의 일 실시예에 따른 실시간 위치 식별 시스템(RTLS)을 이용한 증강 현실(AR; Augmented Reality) 제공 방법은, AR 단말기의 접속을 인지하는 단계, AR 단말기가 위치한 공간을 식별하는 단계, AR 단말기가 위치한 공간을 기초로 배경 데이터를 로딩하는 단계, AR 단말기의 상기 공간 내 위치 및 시야 방향을 파악하는 단계, 배경 데이터, AR 단말기의 위치 및 시야 방향에 기초하여 AR 콘텐츠를 생성하는 단계, 및 생성된 AR 콘텐츠를 AR 단말기로 전송하는 단계를 포함하는 것을 특징으로 한다.A method for providing augmented reality (AR) using a real-time location identification system (RTLS) according to an embodiment of the present disclosure includes recognizing a connection of an AR terminal, identifying a space where the AR terminal is located, and Loading background data based on the space where is located, figuring out the location and viewing direction of the AR terminal in the space, generating AR content based on the background data, the location and viewing direction of the AR terminal, and creating and transmitting the AR content to the AR terminal.

Description

증강 현실을 제공하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY}Method and apparatus for providing augmented reality {METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY}

본 개시는 실시간 위치 식별 시스템(RTLS)을 이용한 증강 현실(AR; Augmented Reality) 제공 방법에 관한 것이다.The present disclosure relates to a method for providing augmented reality (AR) using a real-time location identification system (RTLS).

증강 현실이란 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 사용자에게 하나의 통합된 영상으로 보여주는 기술로서, 위치 식별 기술, 센서 기술, 이미지 처리 기술, 디스플레이 기술, 및 통신 기술의 발달로 현실에서의 구현예가 증가하고 있는 기술이다.Augmented reality is a technology that overlays a 3D virtual image on a real image or background and displays it as an integrated image to the user. With the development of location identification technology, sensor technology, image processing technology, display technology, and communication technology, It is a technology whose implementation is increasing.

사용자 디바이스에서 증강 현실을 구현하기 위해선 일반적으로 지리 또는 위치 정보를 송수신할 수 있는 GPS 장치, 중력 센서, 위치 정보 시스템과 통신하기 위한 통신 장치, 가상 콘텐츠를 제공해주는 서버 등이 필요하다. In order to implement augmented reality in a user device, a GPS device capable of transmitting and receiving geographic or location information, a gravity sensor, a communication device for communicating with a location information system, and a server providing virtual content are generally required.

카메라가 장착되고, 다양한 센서를 포함한 통신가능한 스마트 디바이스의 대중화로 증강 현실을 응용한 서비스가 증가하고 있으며, 특허공개공보 제10-2020-0101235호와 같이 증강 현실 컨텐츠를 제공하기 위한 방법 및 전자 장치에 대한 연구가 활발히 이루어지고 있다.With the popularization of communicable smart devices equipped with cameras and equipped with various sensors, augmented reality-applied services are increasing, and methods and electronic devices for providing augmented reality contents, such as Patent Publication No. Research on is being actively conducted.

그러나, 현재까지의 증강 현실 기술에서는 한 사용자가 보고 있는 증강 현실 콘텐츠를 다수의 사용자가 볼 수 없었으며, 현실 세계에 있는 공간을 정확히 모델과 일치시켜 보다 실제적인 증강 현실 오브젝트를 구현하는데 어려움이 있었다.However, in the augmented reality technology to date, multiple users have not been able to see the augmented reality content that one user is viewing, and it has been difficult to accurately match the space in the real world with the model to implement a more realistic augmented reality object. .

따라서, 한 공간에 있는 다수의 사용자가 동일한 증강 현실 콘텐츠를 체험하게 하고, 실제 공간에 보다 정확하게 일치된 증강 현실 오브젝트를 구현할 수 있는 방법에 대한 필요가 제기되고 있다.Accordingly, there is a need for a method capable of enabling multiple users in one space to experience the same augmented reality content and implementing an augmented reality object more accurately matched to a real space.

한편, 전술한 선행기술은 발명자가 본 개시의 도출을 위해 보유하고 있었거나, 본 개시의 도출 과정에서 습득한 기술 정보로서, 반드시 본 개시의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-mentioned prior art is technical information that the inventor possessed for derivation of the present disclosure or acquired during the derivation process of the present disclosure, and cannot necessarily be referred to as known technology disclosed to the general public prior to filing the present disclosure. .

특허공개공보 제10-2020-0101235호(2020년 8월 27일 공개)Patent Publication No. 10-2020-0101235 (published on August 27, 2020)

본 개시의 실시예는 종래 기술에서 하나의 사용자만이 자신의 관점에 따른 AR 콘텐츠를 관람하고, 다수의 사용자가 각자의 관점에서 동시에 동일한 내용의 AR 콘텐츠를 체험할 수 없었던 문제점을 해결할 할 수 있다.Embodiments of the present disclosure can solve the problem in the prior art that only one user can view AR content according to his/her own point of view, and multiple users cannot simultaneously experience the same AR content from their respective points of view. .

또한, 본 개시의 실시예는 종래의 기술에서 실제 공간과 모델링 데이터의 차이로 인해 AR 오브젝트의 구현이 실제 공간에 정확하게 일체화되지 못하는 문제점을 해결할 수 있다..In addition, the embodiments of the present disclosure can solve the problem that the implementation of the AR object is not accurately integrated into the real space due to the difference between the real space and the modeling data in the prior art.

또한, 본 개시의 실시예는 실내 공간에서의 실시간 위치 식별의 어려움으로 정확한 위치 정보에 기반한 실시간 서비스를 제공하지 못하던 문제점을 해결할 수 있다.In addition, embodiments of the present disclosure can solve the problem of not being able to provide a real-time service based on accurate location information due to difficulty in real-time location identification in an indoor space.

본 개시의 일 실시예는 실시간 위치 식별 시스템을 이용하여 특정 공간에 있는 사용자 단말기의 위치를 확인하고, 실제 공간의 기준 위치에 설치된 위치 확인 태그를 이용하여 기저장된 특정 공간에 대한 모델링 데이터를 실제 공간에 일치하도록 조정하고, 조정된 모델링 데이터를 기반으로 AR 콘텐츠를 구현하는 구성을 제공한다.An embodiment of the present disclosure identifies the location of a user terminal in a specific space by using a real-time location identification system, and converts pre-stored modeling data for a specific space to a real space using a location tag installed at a reference location in the real space. and provides a configuration that implements AR content based on the adjusted modeling data.

본 개시의 일 실시예에 따른 실제 증강 현실 컨텐츠 제공 서버의 프로세서에 의해 수행되는, 실시간 위치 식별 시스템(RTLS)을 이용한 증강 현실(AR; Augmented Reality) 제공 방법으로서, AR 단말기의 접속을 인지하는 단계, AR 단말기가 위치한 공간을 식별하는 단계, AR 단말기가 위치한 공간을 기초로 배경 데이터를 로딩하는 단계, AR 단말기의 상기 공간 내 위치 및 시야 방향을 파악하는 단계, 배경 데이터, AR 단말기의 위치 및 시야 방향에 기초하여 AR 콘텐츠를 생성하는 단계, 및 생성된 AR 콘텐츠를 상기 AR 단말기로 전송하는 단계를 포함할 수 있다.A method for providing augmented reality (AR) using a real-time location identification system (RTLS), performed by a processor of an actual augmented reality content providing server, according to an embodiment of the present disclosure, comprising recognizing access of an AR terminal. , Identifying the space where the AR terminal is located, loading background data based on the space where the AR terminal is located, figuring out the location and viewing direction of the AR terminal in the space, background data, the location and field of view of the AR terminal It may include generating AR contents based on the direction, and transmitting the generated AR contents to the AR terminal.

여기서, 배경 데이터는, AR 단말기가 위치한 공간에 대한 1차 모델링 데이터, 공간 내에 배치된 복수의 중계기에 대한 정보, 및 공간 내에 배치되며, 1차 모델링 데이터의 기준점이 되는 기준 RTLS 태그에 대한 정보를 포함할 수 있다.Here, the background data includes primary modeling data for the space where the AR terminal is located, information about a plurality of repeaters disposed in the space, and information about a reference RTLS tag disposed in the space and serving as a reference point for the primary modeling data. can include

본 개시의 일 실시예에서, 배경 데이터를 로딩하는 단계는, 복수의 중계기와 기준 RTLS 태그 사이의 통신에 기초하여 1차 모델링 데이터의 기준점의 실제 공간 내 위치를 식별하는 단계, 및 기준점의 실제 공간 내 위치에 기초하여 1차 모델링 데이터를 실제 공간의 좌표에 일치시켜 2차 모델링 데이터를 생성하는 단계를 포함할 수 있다.In one embodiment of the present disclosure, loading the background data includes identifying a location in real space of a reference point of the primary modeling data based on communication between a plurality of repeaters and a reference RTLS tag, and a real space location of the reference point. The method may include generating secondary modeling data by matching primary modeling data to coordinates in a real space based on my location.

본 개시의 일 실시예에서, AR 단말기의 공간 내 위치 및 시야 방향을 파악하는 단계는, 2차 모델링 데이터, 및 복수의 중계기와 AR 단말기 사이의 통신에 기초하여 상기 AR 단말기의 공간 내의 위치를 결정하는 단계, 및 AR 단말기 내의 센서로부터 수집된 정보에 기초하여 AR 단말기의 시야 방향을 결정하는 단계를 포함할 수 있다.　In an embodiment of the present disclosure, the step of determining the position and viewing direction of the AR terminal in space includes determining the position of the AR terminal in space based on secondary modeling data and communication between a plurality of repeaters and the AR terminal. and determining a viewing direction of the AR terminal based on information collected from a sensor in the AR terminal.

본 개시의 다른 실시예에서, AR 단말기는 제 1 모바일 RTLS 태그 및 제 2 모바일 RTLS 태그를 포함하고, AR 단말기의 공간 내 위치 및 시야 방향을 파악하는 단계는, 2차 모델링 데이터, 및 복수의 중계기와 제 1 모바일 RTLS 태그 및 제 2 모바일 RTLS 태그 중 적어도 하나 사이의 통신에 기초하여 AR 단말기의 공간 내의 위치를 결정하는 단계, 및 복수의 중계기와 제 1 모바일 RTLS 태그 사이의 통신 및 복수의 중계기와 상기 제 2 모바일 RTLS 태그 사이의 통신에 기초하여 상기 AR 단말기의 시야 방향을 결정하는 단계를 포함할 수 있다.In another embodiment of the present disclosure, the AR terminal includes a first mobile RTLS tag and a second mobile RTLS tag, and the step of determining the location and viewing direction of the AR terminal in space includes secondary modeling data and a plurality of repeaters. determining a position in space of the AR terminal based on communication between the first mobile RTLS tag and at least one of the first mobile RTLS tag and the second mobile RTLS tag, and communication between the plurality of repeaters and the first mobile RTLS tag and the plurality of repeaters and determining a viewing direction of the AR terminal based on communication between the second mobile RTLS tags.

여기서, 1차 모델링 데이터는, 공간에 대한 설계도 및 상기 AR 단말기를 통해 스캔된 공간 데이터에 기초하여 구성될 수 있다.Here, the primary modeling data may be configured based on a blueprint for a space and spatial data scanned through the AR terminal.

본 개시의 또 다른 실시예에서, AR 단말기가 위치한 공간을 식별하는 단계는, AR 단말기가 취득한 마지막 GPS 정보 및 AR 단말기 내의 센서 정보를 기초로 AR 단말기의 위치를 추정하거나, 상기 AR 단말기가 접속하는 중계기의 ID를 기초로 AR 단말기의 위치를 추정하는 단계를 포함할 수 있다.In another embodiment of the present disclosure, the step of identifying the space where the AR terminal is located may include estimating the location of the AR terminal based on the last GPS information acquired by the AR terminal and sensor information in the AR terminal, or accessing the AR terminal. It may include estimating the location of the AR terminal based on the ID of the repeater.

본 개시의 또 다른 실시예에서, 상술된 배경 데이터를 로딩하는 단계 이후, AR 콘텐츠를 생성하는 단계 이전에, 2차 모델링 데이터에 기초하여 제작자가 AR 오브젝트 또는 이벤트를 생성할 수 있는 에디터를 제작자 단말기에 제공하는 단계, 및 에디터를 통해 수신되는 명령에 따라 상기 2차 모델링 데이터 상에 AR 오브젝트 또는 이벤트를 생성하는 단계를 더 포함할 수 있다.In another embodiment of the present disclosure, after the step of loading the above-described background data and before the step of generating AR content, an editor capable of generating an AR object or event by a creator based on secondary modeling data is installed in a producer terminal. and generating an AR object or event on the secondary modeling data according to a command received through an editor.

또한, 에디터는 2차 모델링 데이터에 기준 RTLS 태그의 위치 정보를 표시하고, AR 오브젝트의 생성 위치는 상기 기준 RTLS 태그의 위치 정보에 기초하여 결정될 수 있다.Also, the editor may display location information of the standard RTLS tag in the secondary modeling data, and the creation location of the AR object may be determined based on the location information of the standard RTLS tag.

본 개시의 또 다른 실시예에서, AR 단말기의 접속을 인지하는 단계는, 제 1 AR 단말기 및 제 2 AR 단말기의 접속을 인지하는 단계를 포함하고, AR 단말기가 위치한 공간을 식별하는 단계는, 제 1 AR 단말기 및 제 2 AR 단말기가 동일한 공간에 속하는지 판단하는 단계를 포함하고, 제 1 AR 단말기 및 제 2 AR 단말기가 동일한 공간에 속하는 경우, AR 단말기의 공간 내 위치 및 시야 방향을 파악하는 단계는, 동일한 공간 내에서 제 1 AR 단말기 및 제 2 AR 단말기 각각의 위치 및 시야 방향을 파악하는 단계를 포함할 수 있다.In another embodiment of the present disclosure, the step of recognizing the connection of the AR terminal includes the step of recognizing the connection of the first AR terminal and the second AR terminal, and the step of identifying the space where the AR terminal is located includes: Determining whether the first AR terminal and the second AR terminal belong to the same space, and if the first AR terminal and the second AR terminal belong to the same space, determining the location and viewing direction of the AR terminal in the space may include determining the location and viewing direction of each of the first AR terminal and the second AR terminal in the same space.

또한, AR 콘텐츠를 생성하는 단계는, 제 1 AR 단말기 및 제 2 AR 단말기 각각의 위치 및 시야 방향에 기초하여 제 1 AR 콘텐츠 및 제 2 AR 콘텐츠를 생성하는 단계를 포함하고, AR 단말기로 전송하는 단계는, 제 1 AR 콘텐츠를 제 1 AR 단말기로 전송하고, 상기 제 2 AR 콘텐츠를 상기 제 2 AR 단말기로 전송하는 단계를 포함할 수 있다.In addition, generating the AR content includes generating the first AR content and the second AR content based on the positions and viewing directions of the first AR terminal and the second AR terminal, respectively, and transmitting to the AR terminal The step may include transmitting the first AR content to the first AR terminal and transmitting the second AR content to the second AR terminal.

또한, 본 개시의 일 실시예에 따른 실시간 위치 식별 시스템(RTLS)을 이용한 증강 현실(AR; Augmented Reality) 제공하기 위한 컴퓨터 판독 가능 기록매체는 상술된 방법 중 어느 하나의 방법을 실행시키기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체일 수 있다.In addition, a computer readable recording medium for providing augmented reality (AR) using a real-time location identification system (RTLS) according to an embodiment of the present disclosure is a computer program for executing any one of the above-described methods. It may be a computer-readable recording medium in which this is stored.

본 개시의 실시예에 따른 실시간 위치 식별 시스템(RTLS)을 이용한 증강 현실(AR; Augmented Reality) 제공 장치는, 프로세서, 및 프로세서에 연결된 메모리를 포함하고, 메모리는, 프로세서를 통해 실행될 때, AR 단말기의 접속을 인지하고, AR 단말기가 위치한 공간을 식별하고, AR 단말기가 위치한 공간을 기초로 배경 데이터를 로딩하고, AR 단말기의 상기 공간 내 위치 및 시야 방향을 파악하고, 배경 데이터, AR 단말기의 위치 및 시야 방향에 기초하여 AR 콘텐츠를 생성하고, 생성된 AR 콘텐츠를 AR 단말기로 전송하는 동작을 수행하게 하는 명령들을 저장할 수 있다.An apparatus for providing augmented reality (AR) using a real-time location identification system (RTLS) according to an embodiment of the present disclosure includes a processor and a memory connected to the processor, and the memory, when executed through the processor, is an AR terminal. Recognize the connection of the AR terminal, identify the space where the AR terminal is located, load background data based on the space where the AR terminal is located, grasp the location and viewing direction of the AR terminal in the space, and determine the background data and the location of the AR terminal. and commands for generating AR content based on the viewing direction and transmitting the generated AR content to the AR terminal.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 개시의 실시예에 따른 증강 현실 제공 방법 및 장치는 사용자가 있는 공간 내의 정확한 위치에 AR 콘텐츠를 등장시키고 정교하게 이동시키는 이벤트를 발생시킬 수 있다.The method and apparatus for providing augmented reality according to an embodiment of the present disclosure may generate an event that causes AR content to appear in an accurate location in a space where a user is located and precisely move it.

또한, 본 개시의 실시예에 따른 증강 현실 제공 방법 및 장치는 하나의 사용자만이 아닌 다수의 사용자가 함께 동일한 내용의 AR 콘텐츠를 각자의 관점에서 동시에 체험할 수 있게 한다.In addition, the method and apparatus for providing augmented reality according to an embodiment of the present disclosure enable multiple users to simultaneously experience the same AR content from their respective viewpoints.

또한, 본 개시의 실시예에 따른 증강 현실 제공 방법 및 장치는 많은 사용자가 동시에 AR 콘텐츠를 관람하게 할 뿐 아니라, AR 콘텐츠와 인터랙션을 자유롭게 할 수 있어 멀티 AR 콘텐츠를 가능하게 해준다. In addition, the method and apparatus for providing augmented reality according to an embodiment of the present disclosure allow many users to view AR content at the same time and freely interact with AR content, enabling multi-AR content.

또한, 본 개시의 실시예에 따른 증강 현실 제공 방법 및 장치는 실제 존재하는 배경에 AR 콘텐츠를 정확하게 배치시키거나 이동시킬 수 있게 해주어 종래에는 가능하지 않았던 AR 콘텐츠 개발과 서비스를 가능하게 한다.In addition, the method and apparatus for providing augmented reality according to an embodiment of the present disclosure enable AR content development and service, which was not possible in the prior art, by allowing AR content to be accurately placed or moved on a background that actually exists.

본 개시의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present disclosure are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 개시의 실시예에 따른 증강 현실 제공 방법이 이루어지는 환경의 예시도이다.
도 2는 본 개시의 실시예에 따른 증강 현실 제공 장치를 설명하기 위한 블록도이다.
도 3은 본 개시의 실시예에 따른 증강 현실 콘텐츠가 제공되는 공간에서 RTLS(Real-Time Locating System) 태그의 위치를 식별하는 방식을 설명하기 위한 도면이다.
도 4는 본 개시의 실시예에 따른 증강 현실 콘텐츠가 제공되는 공간에서 사용자의 위치를 식별하는 방식을 설명하기 위한 도면이다.
도 5 는 본 개시의 실시예에 따른 증강 현실 콘텐츠가 제공될 사용자 디바이스를 도시한다.
도 6은 본 개시의 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 순서도를 도시한다.
도 7은 본 개시의 실시예에 따른 증강 현실 제공 방법에서 모델링 데이터가 현실 공간에 맞추어 조정되는 과정을 설명하기 위한 도면이다.
도 8은 본 개시의 실시예에 따른 증강 현실 제공 방법에서 모델링 데이터가 현실 공간에 맞추어 일체화되고, 일체화된 모델링 데이터를 기준으로 증강 현실 콘텐츠가 제공되는 과정을 설명하기 위한 도면이다.
도 9는 본 개시의 실시예에 따른 증강 현실 제공 방법에서 모델링 데이터를 현실 공간에 맞추어 일체화시키고, 일체화된 모델링 데이터를 기준으로 사용자의 움직임을 추적하는 과정을 설명하기 위한 도면이다.
도 10은 본 개시의 실시예에 따른 증강 현실 제공 방법에서 모델링 데이터를 실제 공간에 맞추어 배치하는 과정을 설명하기 위한 도면이다.
도 11은 본 개시의 실시예에 따른 증강 현실 제공 방법에서 AR 콘텐츠 제작자에게 제공되는 에디터를 설명하기 위한 도면이다.
도 12는 본 개시의 실시예에 따른 증강 현실 제공 방법에 따라서 특정 공간에서 AR 콘텐츠로 이루어진 게임을 제공하는 예시를 설명하기 위한 도면이다.1 is an exemplary diagram of an environment in which a method for providing augmented reality according to an embodiment of the present disclosure is performed.
2 is a block diagram illustrating an augmented reality providing apparatus according to an embodiment of the present disclosure.
3 is a diagram for explaining a method of identifying a location of a real-time locating system (RTLS) tag in a space where augmented reality content is provided according to an embodiment of the present disclosure.
4 is a diagram for explaining a method of identifying a user's location in a space where augmented reality content is provided according to an embodiment of the present disclosure.
5 illustrates a user device to be provided with augmented reality content according to an embodiment of the present disclosure.
6 is a flowchart illustrating a method for providing augmented reality according to an embodiment of the present disclosure.
7 is a diagram for explaining a process of adjusting modeling data to fit a real space in the method for providing augmented reality according to an embodiment of the present disclosure.
8 is a diagram for explaining a process in which modeling data is integrated to fit a real space and augmented reality content is provided based on the integrated modeling data in the augmented reality providing method according to an embodiment of the present disclosure.
9 is a diagram for explaining a process of integrating modeling data in a real space and tracking a motion of a user based on the integrated modeling data in the method for providing augmented reality according to an embodiment of the present disclosure.
10 is a diagram for explaining a process of arranging modeling data according to a real space in the method for providing augmented reality according to an embodiment of the present disclosure.
11 is a diagram for explaining an editor provided to an AR content producer in a method for providing augmented reality according to an embodiment of the present disclosure.
12 is a diagram for explaining an example of providing a game consisting of AR content in a specific space according to the augmented reality providing method according to an embodiment of the present disclosure.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 개시의 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 개시를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Advantages and features of the present disclosure, and methods of achieving them, will become clear with reference to the detailed description of embodiments in conjunction with the accompanying drawings. However, it should be understood that the present disclosure is not limited to the embodiments presented below, but may be implemented in a variety of different forms, and includes all conversions, equivalents, and substitutes included in the spirit and technical scope of the present disclosure. . The embodiments presented below are provided to make the disclosure of the present disclosure complete, and to fully inform those skilled in the art of the scope of the invention to which the present disclosure belongs. In describing the present disclosure, if it is determined that a detailed description of related known technologies may obscure the gist of the present disclosure, the detailed description will be omitted.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present disclosure. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded. Terms such as first and second may be used to describe various components, but components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another.

이하, 본 개시에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments according to the present disclosure will be described in detail with reference to the accompanying drawings, and in the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof are omitted. I'm going to do it.

도 1은 본 개시의 실시예에 따른 증강 현실 제공 방법이 이루어지는 환경의 예시도이다.1 is an exemplary diagram of an environment in which a method for providing augmented reality according to an embodiment of the present disclosure is performed.

본 개시의 실시예에 따라 증강 현실 콘텐츠가 제공되기 위한 환경은 사용자의 위치에 따라 증강 현실 데이터를 제공하는 증강 현실 콘텐츠 제공 서버(100), 사용자들이 착용하여 AR 콘텐츠를 재생하는 AR 단말기(200a, 200b, 200c), 공간의 기준점 또는 AR 오브젝트의 구현 위치 기준을 제공하기 위한 RTLS 태그들(400a, 400b, 400c, 400d, 400e), 사용자가 있는 공간에서 RTLS 태그들(400) 및 AR 단말기(200)와 통신하여, RTLS 태그들(200)의 위치 및 AR 단말기(200)를 착용한 사용자의 정확한 위치를 파악하기 위한 중계기들(300a, 300b, 300c, 300d)을 포함할 수 있다.According to an embodiment of the present disclosure, an environment for providing augmented reality content includes an augmented reality content providing server 100 that provides augmented reality data according to a user's location, an AR terminal 200a worn by users to play AR content, 200b, 200c), RTLS tags 400a, 400b, 400c, 400d, 400e) for providing a reference point in space or a reference point for the implementation location of an AR object, RTLS tags 400 in a space where a user is located, and an AR terminal 200 ) and repeaters 300a, 300b, 300c, and 300d to determine the location of the RTLS tags 200 and the exact location of the user wearing the AR terminal 200.

증강 현실 콘텐츠 제공 서버(100)는 공간에 대한 모델링 데이터, 해당 공간에 배치되는 중계기에 대한 데이터, 해당 공간에 배치되는 기준 RTLS 태그들에 대한 정보를 포함하는 배경 데이터를 저장할 수 있다.The augmented reality content providing server 100 may store modeling data for a space, data for a repeater disposed in the corresponding space, and background data including information on standard RTLS tags disposed in the corresponding space.

또한, 증강 현실 콘텐츠 제공 서버(100)는 공간에서 생성되기 위한 AR 콘텐츠에 대한 데이터를 저장할 수 있고, AR 단말기들(200), 중계기들(300), RTLS 태그들(400) 중 적어도 일부와 통신하여 AR 콘텐츠를 구현하기 위한 위치 정보를 확보할 수 있다.In addition, the augmented reality content providing server 100 may store data for AR content to be created in space, and communicate with at least some of the AR terminals 200, repeaters 300, and RTLS tags 400. By doing so, it is possible to secure location information for implementing AR content.

AR 단말기들(200)은 서버(200), 중계기(300) 및 RTLS 태그들(400) 중 적어도 일부와 통신하기 위한 통신부, GPS 등의 위치 감지 모듈, 자이로 센서, 가속도 센서, 중력 센서와 같은 AR 단말기의 동작을 인지하기 위한 센서, 공간을 촬영하기 위한 카메라, AR 콘텐츠를 재생하기 위한 디스플레이(예를 들어, 공간과 함께 콘텐츠를 재생하기 위한 투명 디스플레이), 음향을 재생하기 위한 스피커 등을 포함할 수 있다.The AR terminals 200 may include a communication unit for communicating with at least some of the server 200, the repeater 300, and the RTLS tags 400, a position detection module such as GPS, a gyro sensor, an acceleration sensor, and an AR such as a gravity sensor. It may include a sensor for recognizing the motion of the terminal, a camera for photographing the space, a display for playing AR content (eg, a transparent display for playing content along with the space), a speaker for playing sound, and the like. can

AR 단말기들(200)은 자체 센서 및 모듈에 의해 수집된 정보에 따라 위치 정보를 증강 현실 콘텐츠 제공 서버(100)로 전달하고, 증강 현실 콘텐츠 제공 서버(100)로부터 AR 단말기들(200)이 위치한 공간에 적합한 AR 콘텐츠를 수신하여 사용자에게 제공할 수 있다.The AR terminals 200 deliver location information to the augmented reality content providing server 100 according to information collected by their own sensors and modules, and the AR terminals 200 are located from the augmented reality content providing server 100. AR content suitable for the space may be received and provided to the user.

또한, AR 단말기들(200)에는 모바일 RTLS 태그들이 부착되어, AR 단말기들(200)의 위치가 정확하게 결정되도록 할 수 있다.In addition, mobile RTLS tags are attached to the AR terminals 200 so that the locations of the AR terminals 200 can be accurately determined.

AR 단말기(200)는 AR/VR/MR 환경을 구현하기 위해 연결된 5G 환경에서 빅데이터, 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 이용하여 AR/VR/MR 서비스를 제공하도록 구성될 수도 있다. The AR terminal 200 uses big data, artificial intelligence (AI) algorithms, and/or machine learning algorithms in a connected 5G environment to implement AR/VR/MR environments. It may also be configured to provide a service.

여기서, 인공 지능(artificial intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다. Here, artificial intelligence (AI) is a field of computer science and information technology that studies ways to enable computers to do thinking, learning, and self-development that can be done with human intelligence. It means being able to imitate intelligent behavior.

인공 지능은 인공 신경망에 의해 구현될 수 있으며, 인공 신경망은 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다. Artificial intelligence can be implemented by artificial neural networks, which include Deep Neural Network (DNN), Recurrent Neural Network (RNN), Bidirectional Recurrent Deep Neural Network (BRDNN), Multilayer Perceptron (MLP), and Convolutional Neural Network (CNN). It may include network models in the same way, but is not limited thereto.

AR 단말기(200)는 예를 들어, 개인용 컴퓨터, 스마트폰, 태블릿, 게임 콘솔, 웨어러블 기기 등 어떤 종류의 연산 디바이스든 될 수 있으며, AR 단말기(200)는 하나 이상의 프로세서들 및 메모리를 포함할 수 있다.The AR terminal 200 may be any type of computing device, such as a personal computer, smartphone, tablet, game console, or wearable device, for example, and the AR terminal 200 may include one or more processors and memory. there is.

중계기들(300)은 특정 공간의 특정 위치들에 설치되어, AR 단말기들(200)과 통신하여, AR 단말기들(200)의 위치를 파악할 수 있게 하거나, RTLS 태그들(400)과 통신하여, RTLS 태그들(400)의 위치를 파악할 수 있게 한다.The repeaters 300 are installed at specific locations in a specific space to communicate with the AR terminals 200 so that the location of the AR terminals 200 can be determined or to communicate with the RTLS tags 400, The location of the RTLS tags 400 can be identified.

중계기들(300)은 적어도 3 곳의 위치에 배치될 수 있으며, AR 단말기들(200) 또는 RTLS 태그들(400)과의 통신 신호와 삼각 측량법에 기초하여 위치 판단을 수행할 수 있다.The repeaters 300 may be placed in at least three locations, and position determination may be performed based on a communication signal with the AR terminals 200 or the RTLS tags 400 and triangulation.

공간의 기준 위치들에 배치되는 RTLS 태그들(400)은 AR 단말기(200)에 부착된 모바일 RTLS 태그들과 구별하여 기준 RTLS 태그들로 지칭될 수 있다. 공간의 모서리, 또는 AR 오브젝트가 구현되어야 할 특정 위치에 기준 RTLS 태그들(400)이 배치되고, 이러한 기준 RTLS 태그들(400)을 이용하여 공간에 대해 미리 취득된 모델링 데이터가 실제 공간의 위치, 방향, 크기에 맞도록 조정될 수 있다.The RTLS tags 400 disposed at reference positions in space may be referred to as reference RTLS tags to distinguish them from mobile RTLS tags attached to the AR terminal 200 . Reference RTLS tags 400 are placed at the corners of a space or at a specific location where an AR object is to be implemented, and modeling data obtained in advance for a space using these reference RTLS tags 400 is a location of an actual space, It can be adjusted to fit the orientation and size.

기준 RTLS 태그들(400)은 AR 콘텐츠 제공 서버(100)와 통신하여 실제 공간의 기준점들의 위치에 대한 정보를 제공함으로써 서버(100) 내에 기저장된 모델링 데이터가 AR 콘텐츠 재생을 위한 정확한 배경 데이터가 될 수 있도록 할 수 있다.The standard RTLS tags 400 communicate with the AR content providing server 100 to provide information on locations of reference points in real space so that modeling data pre-stored in the server 100 can become accurate background data for AR content reproduction. can make it possible

여기서, 기준점이란 특정 공간의 위치, 방향, 크기 등을 규정하는데 있어서 유용한 지점들로, 예를 들어, 바닥이 4각형인 방이라면 각 모서리 끝을 기준점으로 배정할 수 있다. 또한, 4각형 방에 대한 모델링 데이터에서도 각 모서리 끝을 기준점으로 설정할 수 있다.Here, the reference points are useful points in defining the location, direction, size, etc. of a specific space. For example, in the case of a room with a square floor, each end of each corner can be assigned as a reference point. In addition, even in the modeling data for a quadrangular room, the end of each corner can be set as a reference point.

AR 콘텐츠 제공 서버(100)에서는 기저장된 모델링 데이터의 기준점과 이에 대응하는 실제 공간 내의 기준점에 배치된 RTLS 태그들의 위치를 기준으로 기저장된 모델링 데이터가 실제 공간의 방향, 위치, 크기에 맞게 정확하게 1:1 매칭을 시킬 수 있다.In the AR content providing server 100, the pre-stored modeling data based on the reference point of the pre-stored modeling data and the positions of the RTLS tags disposed at the corresponding reference point in the real space are precisely 1: 1 can be matched.

기준점은 공간의 형태를 규정하는 특징점들 뿐만 아니라, 가구 등과 같이 AR 콘텐츠가 재생되는 기준점이 되거나, AR 콘텐츠가 사용자에게 보다 현실적으로 보이기 위해 AR 콘텐츠가 가려져서 표현되게 해야하는 물건들의 위치가 될 수도 있다.Reference points may be not only feature points that define the shape of a space, but also reference points where AR contents are reproduced, such as furniture, or locations of objects that need to be covered and displayed in order to make AR contents appear more realistic to users.

기준 RTLS 태그들(400) 중 일부는 기준 RTLS 태그(400e)와 같이 AR 콘텐츠가 구현되는 위치에 놓인 태그일 수 있다.Some of the reference RTLS tags 400 may be tags placed at locations where AR content is implemented, such as the reference RTLS tag 400e.

도 2는 본 개시의 실시예에 따른 증강 현실 제공 장치를 설명하기 위한 블록도이다.2 is a block diagram illustrating an augmented reality providing apparatus according to an embodiment of the present disclosure.

증강 현실 제공 장치인 증강 현실 콘텐츠 제공 서버(100)는 외부 기기들과 통신하기 위한 통신부(110), 공간들의 모델링 데이터, 각 공간에 배치된 중계기의 위치 및 중계기에 대한 정보, 각 공간에 배치된 RTLS 태그들의 위치, RTLS 태그들에 대한 정보 등을 저장하는 데이터 저장부(120), 데이터 저장부(120)에 배치된 기록들과, 통신부(110)를 통해 수신된 정보들에 기초하여 AR 콘텐츠를 생성하기 위한 프로세서(130)를 포함할 수 있다.The augmented reality content providing server 100, which is an augmented reality providing device, includes a communication unit 110 for communicating with external devices, modeling data of spaces, locations of repeaters disposed in each space and information on the repeaters, AR content based on the data storage unit 120 that stores the location of RTLS tags, information on the RTLS tags, etc., records arranged in the data storage unit 120, and information received through the communication unit 110 It may include a processor 130 for generating.

프로세서(130)는 증강 현실 콘텐츠 제공 서버(100)에 접속하는 AR 단말기(200)를 인지하기 위한 AR 단말기 인지부(130a), AR 단말기(200)가 위치한 곳이 어느 공간인지 식별학 위한 공간 식별부(130b), 공간의 모델링 데이터를 기초로 실제 공간의 형상을 재현하기 위한 배경 데이터 생성부(130c), 공간 내에서 AR 단말기(200)의 위치 및 시야방향을 판단하기 위한 AR 단말기 위치 및 시야방향 판단부(130d), AR 단말기(200)에 적합한 AR 콘텐츠를 생성하기 위한 AR 콘텐츠 생성부(130e)를 포함할 수 있다.The processor 130 includes an AR terminal recognition unit 130a for recognizing the AR terminal 200 accessing the augmented reality content providing server 100 and space identification for identifying a space where the AR terminal 200 is located. A unit 130b, a background data generation unit 130c for reproducing the shape of a real space based on modeling data of the space, and an AR terminal location and field of view for determining the location and viewing direction of the AR terminal 200 in the space. It may include a direction determination unit 130d and an AR contents generation unit 130e for generating AR contents suitable for the AR terminal 200 .

프로세서(130) 내의 각 모듈은 하드웨어적 또는 소프트웨어적으로 구현될 수 있다.Each module in the processor 130 may be implemented in hardware or software.

하나 이상의 프로세서들(130)은 데이터를 처리할 수 있는 모든 종류의 장치, 예를 들어 MCU를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. The one or more processors 130 may include any type of device capable of processing data, for example an MCU. Here, a 'processor' may refer to a data processing device embedded in hardware having a physically structured circuit to perform functions expressed by codes or instructions included in a program, for example.

이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로서, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다.As an example of such a data processing device built into hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) circuit) and a processing device such as a field programmable gate array (FPGA), but the scope of the present disclosure is not limited thereto.

데이터 저장부(120)는 RAM, ROM, EEPROM, EPROM, 플래시 메모리 디바이스들, 자기 디스크들, 등과 같은 하나 이상의 비-일시적(non-transitory) 저장 매체를 포함할 수 있다. 데이터 저장부(120)는 데이터 및 프로세서들(130)에 의해 실행되었을 때 AR 콘텐츠 제공 서버(100)로 하여금 동작들을 수행하도록 하는 인스트럭션들을 저장할 수 있다.Data storage 120 may include one or more non-transitory storage media, such as RAM, ROM, EEPROM, EPROM, flash memory devices, magnetic disks, and the like. The data storage unit 120 may store data and instructions that cause the AR content providing server 100 to perform operations when executed by the processors 130 .

데이터 저장부(120)에는 프로세서(130)가 수행해야하는 명령들이 저장되어 있으며, 이러한 명령들은 프로세서(130)로 하여금, AR 단말기(200)가 서버(100)로 접속하는 것을 인지하는 동작, AR 단말기(200)로부터의 위치 신호, 공간에 대한 이미지 데이터, 또는 중계기들(300)이 AR 단말기(200)와 통신한 결과에 기초해 결정되는 위치 신호를 이용하여 AR 단말기가 위치한 공간을 식별하는 동작, AR 단말기가 위치한 공간을 기초로 배경 데이터를 로딩하는 동작, AR 단말기의 공간 내 위치 및 시야 방향을 파악하는 동작, 배경 데이터, AR 단말기의 위치 및 시야 방향에 기초하여 AR 콘텐츠를 생성하는 동작, 생성된 AR 콘텐츠를 AR 단말기(200)로 전송하는 동작을 수행하도록 할 수 있다.Commands to be executed by the processor 130 are stored in the data storage 120, and these commands cause the processor 130 to recognize that the AR terminal 200 accesses the server 100, an operation to recognize that the AR terminal 200 is connected to the server 100, and an AR terminal An operation of identifying a space where an AR terminal is located using a location signal from 200, image data for a space, or a location signal determined based on a result of communication between repeaters 300 and AR terminal 200; Operation of loading background data based on the space where the AR terminal is located, operation of grasping the location of the AR terminal in space and direction of view, operation of generating AR content based on the background data, location of the AR terminal and direction of view, creation An operation of transmitting the AR content to the AR terminal 200 may be performed.

프로세서(130)에서 AR 단말기 인지부(130a)는 서버에 어떤 AR 단말기(200)가 접속하였는지 판단할 수 있으며, 공간 식별부(130b)는 AR 단말기(200)가 위치한 공간에 대해 판단을 할 수 있다. 예를 들어, AR 단말기(200)의 마지막 GPS 데이터가 A 건물의 입구 근처였고, AR 단말기(200) 내의 센서 데이터가 A 건물의 내부 방향으로의 도보 이동 데이터라면, 공간 식별부(130b)는 AR 단말기(200)가 A 건물 내부 공간에 있다고 판단할 수 있다.In the processor 130, the AR terminal recognition unit 130a can determine which AR terminal 200 has accessed the server, and the space identification unit 130b can determine the space where the AR terminal 200 is located. there is. For example, if the last GPS data of the AR terminal 200 was near the entrance of building A and the sensor data in the AR terminal 200 is walking movement data in the interior direction of building A, the space identification unit 130b detects the AR It may be determined that the terminal 200 is located inside the building A.

다른 예에서, 공간 식별부(130b)는 AR 단말기(200)가 촬영하여 전송된 공간 내부의 이미지들을 통해서도 AR 단말기(200)가 어떤 공간에 있는지 추정할 수 있다.In another example, the space identification unit 130b may estimate the space in which the AR terminal 200 is located even through images inside the space captured and transmitted by the AR terminal 200 .

배경 데이터 생성부(130c)는 공간에 대해 맞춰진 2차 모델링 데이터(서버에 기저장된 모델링 데이터를 1차 모델링 데이터라고 구별하여 지칭할 수 있음), 즉, AR 콘텐츠가 재생되기 위한 배경이 되는 데이터를 생성할 수 있다.The background data generator 130c generates secondary modeling data tailored to the space (modeling data previously stored in the server may be distinguished and referred to as primary modeling data), that is, background data for reproducing AR content. can create

AR 단말기 위치 및 시야방향 판단부(130d)는 AR 단말기(200) 식별된 공간 내에서 보다 정확하게 어디에 위치하는지, 그리고, AR 단말기(200)의 시야(투명 디스플레이 또는 카메라)가 향하는 방향은 어디인지를 판단할 수 있다.The AR terminal location and viewing direction determination unit 130d determines where the AR terminal 200 is more accurately located within the identified space and the direction in which the field of view (transparent display or camera) of the AR terminal 200 is facing. can judge

AR 단말기 위치 및 시야방향 판단부(130d)는 통신부(110)를 통해 수신되는 AR 단말기(200)의 위치 정보(중계기들과의 통신을 통해 결정된 위치) 및 센서 정보(자이로 센서, 가속도 센서 등으로부터 수집되는 AR 단말기(200)의 포지션 정보를 이용하여 AR 단말기(200)의 공간 내 위치 정보 및 시야 방향을 결정할 수도 있다. The AR terminal location and viewing direction determination unit 130d determines the location information of the AR terminal 200 received through the communication unit 110 (position determined through communication with repeaters) and sensor information (gyro sensor, acceleration sensor, etc.) Location information and viewing direction of the AR terminal 200 in space may be determined using the collected position information of the AR terminal 200 .

다른 예에서, AR 단말기(200)는 2개의 모바일 RTLS 태그들을 장착하고 있을 수 있고, 각각의 모바일 RTLS 태그의 위치가 결정되고 AR 단말기(200)의 어디에 RTLS 태그들이 위치하는지 미리 알고 있으며, AR 단말기(200)의 시야 방향도 결정될 수 있다. AR 콘텐츠 제공 서버(100)는 AR 단말기(200) 또는 중계기들(300)로부터 AR 단말기(200)에 부착된 제 1 모바일 RTLS 태그 및 제 2 모바일 RTLS 태그의 위치에 대한 정보를 수신하여 AR 단말기(200)의 위치 및 시야방향을 결정할 수 있다. In another example, the AR terminal 200 may be equipped with two mobile RTLS tags, the location of each mobile RTLS tag is determined and it is known in advance where the RTLS tags are located on the AR terminal 200, and the AR terminal The viewing direction of 200 may also be determined. The AR content providing server 100 receives information about the locations of the first mobile RTLS tag and the second mobile RTLS tag attached to the AR terminal 200 from the AR terminal 200 or the repeaters 300 to the AR terminal ( 200) can be determined.

실시예에 따라서, AR 단말기(200)에 부착되는 모바일 RTLS 태그들은 2개 이상이 될 수도 있으며, AR 콘텐츠 제공 서버(100)는 이들에 대한 위치 정보를 AR 단말기(200) 또는 중계기들(300)로부터 수신하여 AR 단말기(200)의 위치 및 시야방향을 보다 정확하게 결정할 수도 있다.Depending on the embodiment, there may be two or more mobile RTLS tags attached to the AR terminal 200, and the AR content providing server 100 transmits location information about them to the AR terminal 200 or the relays 300. The location and viewing direction of the AR terminal 200 may be more accurately determined by receiving the information from the AR terminal 200 .

도 2에서 도시되는 바와 같은 실시간 위치 식별 시스템(RTLS)을 이용한 증강 현실(AR; Augmented Reality) 제공 장치는, 프로세서 및 프로세서에 연결된 메모리(데이터 저장부)를 포함하고, 메모리는, 프로세서를 통해 실행될 때, AR 단말기의 접속을 인지하고, AR 단말기가 위치한 공간을 식별하고, AR 단말기가 위치한 공간을 기초로 배경 데이터를 로딩하고, AR 단말기의 공간 내 위치 및 시야 방향을 파악하고, 배경 데이터, AR 단말기의 위치 및 시야 방향에 기초하여 AR 콘텐츠를 생성하고, 생성된 AR 콘텐츠를 AR 단말기로 전송하는 동작을 수행하게 하는 명령들을 저장할 수 있다.An apparatus for providing augmented reality (AR) using a real-time location identification system (RTLS) as shown in FIG. 2 includes a processor and a memory (data storage unit) connected to the processor, and the memory is to be executed through the processor. When the AR terminal is connected, the space where the AR terminal is located is identified, the background data is loaded based on the space where the AR terminal is located, the location of the AR terminal in space and the viewing direction are identified, and the background data, AR Commands for creating AR content based on the location and viewing direction of the terminal and transmitting the created AR content to the AR terminal may be stored.

도 3은 본 개시의 실시예에 따른 증강 현실 콘텐츠가 제공되는 공간에서 RTLS(Real-Time Locating System) 태그의 위치를 식별하는 방식을 설명하기 위한 도면이다.3 is a diagram for explaining a method of identifying a location of a real-time locating system (RTLS) tag in a space where augmented reality content is provided according to an embodiment of the present disclosure.

본 개시의 기술을 구현하기 위해서는 AR 콘텐츠를 연출하려는 장소에 RTLS 무선 통신 시설이 설비되어야 한다.In order to implement the technology of the present disclosure, an RTLS wireless communication facility must be installed in a place where AR content is to be presented.

도 3에서 도시된 바와 같이 AR 콘텐츠 제공 서버(100)에 접속한 AR 단말기(200)가 위치한 공간에는 적어도 3개의 중계기(300a, 300b, 300c)가 배치되어 있고, 해당 공간 내부의 기준점 또는 AR 콘텐츠 구현의 기준물(40a)에는 기준 RTLS 태그(400a)가 배치될 수 있다.As shown in FIG. 3, at least three repeaters 300a, 300b, and 300c are disposed in the space where the AR terminal 200 connected to the AR content providing server 100 is located, and a reference point or AR content within the space is located. A reference RTLS tag 400a may be placed on the reference object 40a of the implementation.

RTLS에는 UWB, WIFI, Bluetooth 등 다양한 방법이 사용될 수 있으며, 본 개시의 일 실시예에서는 위치 오차가 수 cm로 가장 작은 UWB를 사용하는 것으로 한다. RTLS는 RSSI 기반, Finger print, 지자기, PDR, TDOA,SDS-TWR, AOA, AOD 등등 다양한 방식으로 구성될 수 있으며, 특히, 본 개시의 일 실시예에서는 TDOA(Time Difference of Arrival) 방식을 이용할 수 있다.Various methods such as UWB, WIFI, and Bluetooth may be used for RTLS, and in an embodiment of the present disclosure, UWB with the smallest position error of several cm is used. RTLS may be configured in various ways such as RSSI-based, finger print, geomagnetic, PDR, TDOA, SDS-TWR, AOA, AOD, etc. In particular, in an embodiment of the present disclosure, a Time Difference of Arrival (TDOA) method may be used. there is.

UWB로 위치를 파악하는 방식은 AR 콘텐츠가 구현되는 공간에 미리 설치된 앵커들 또는 중계기들(300)과 UWB 태그 또는 RTLS 태그 간의 무선 통신 시간을 측정하여 삼각 측량으로 위치를 파악하는 방식이다.A method of determining a location by UWB is a method of determining a location by triangulation by measuring a wireless communication time between anchors or repeaters 300 pre-installed in a space where AR content is implemented and a UWB tag or RTLS tag.

AR 콘텐츠 제공 서버(100)는 중계기들(300)이 기준 RTLS 태그(400a)와 통신한 정보를 통해 공간 내에서 RTLS 태그(400a)의 위치를 결정할 수 있다. The AR content providing server 100 may determine the location of the RTLS tag 400a in space through information communicated with the reference RTLS tag 400a by the relays 300 .

도 3의 예에서 기준 RTLS 태그(400a)는 공간 내에 위치한 테이블에 부착되어 있으며, 이에 따라 테이블이 옮겨지더라도 AR 콘텐츠 제공 서버(100)가 테이블의 위치를 추적할 수 있고, 테이블의 위치를 고려하여 AR 콘텐츠를 생성할 수 있다.In the example of FIG. 3 , the standard RTLS tag 400a is attached to a table located in the space, and accordingly, even if the table is moved, the AR content providing server 100 can track the position of the table and consider the position of the table. to create AR content.

예를 들어, AR 단말기(200)를 착용한 사용자에게 커피 및 디저트를 고르게 하는 AR 콘텐츠라면 AR 콘텐츠 제공 서버(100)는 기준 RTLS 태그(400a)의 위치를 기준으로 테이블 위에 커피 및 디저트가 보여지도록 할 수 있다.For example, if it is AR content that allows a user wearing the AR terminal 200 to choose coffee and dessert, the AR content providing server 100 displays the coffee and dessert on the table based on the position of the reference RTLS tag 400a. can do.

다른 예로서, AR 단말기(200)의 위치를 기준으로 테이블 건너에 숨는 움직이는 아이와 숨바꼭질을 하는 AR 콘텐츠라면, AR 콘텐츠 제공 서버(100)는 AR 단말기(200)의 위치 및 시야방향과, 테이블의 위치 및 형상, 보여질 AR 오브젝트인 어린이의 형상에 기초하여 어린이의 움직임에 따라 AR 오브젝트의 적어도 일부가 테이블에 의해 가려지는 효과가 나타나도록 할 수 있다. 이에 따라, 본 개시는 보다 현실적인 AR 체험을 제공할 수 있다.As another example, if it is AR content that plays hide-and-seek with a moving child hiding across the table based on the location of the AR terminal 200, the AR content providing server 100 determines the location of the AR terminal 200, the direction of view, and the location of the table. And based on the shape and the shape of the child, which is the AR object to be shown, an effect in which at least a part of the AR object is covered by the table according to the movement of the child may be displayed. Accordingly, the present disclosure may provide a more realistic AR experience.

도 4는 본 개시의 실시예에 따른 증강 현실 콘텐츠가 제공되는 공간에서 사용자의 위치를 식별하는 방식을 설명하기 위한 도면이다.4 is a diagram for explaining a method of identifying a user's location in a space where augmented reality content is provided according to an embodiment of the present disclosure.

도 4는 도 3과 동일하게 중계기들(300a, 300b, 300c)이 실치된 공간에서 AR 단말기(200a)를 착용한 사용자(20a)의 위치를 식별하는 방식을 보여준다. 중계기들(300)은 AR 단말기(200a)의 통신 모듈과 직접 통신할 수도 있고, AR 단말기(200a)에 부탁된 모바일 RTLS 태그(들)와 통신할 수도 있다. 이러한 통신 결과에 따라 중계기들(300)이 AR 콘텐츠 제공 서버(100)에 AR 단말기(200a)의 공간 내 위치 및 시야방향을 전달할 수 있다. FIG. 4 shows a method of identifying a location of a user 20a wearing an AR terminal 200a in a space where repeaters 300a, 300b, and 300c are installed, as in FIG. 3 . The repeaters 300 may communicate directly with the communication module of the AR terminal 200a or may communicate with mobile RTLS tag(s) attached to the AR terminal 200a. According to the communication result, the repeaters 300 may transmit the AR terminal 200a's position in space and the viewing direction to the AR content providing server 100.

다른 예에서는 AR 단말기(200a)에서 중계기들(300)과의 통신 결과에 기초하여 AR 단말기(200a)의 공간 내 위치에 대한 정보를 직접 AR 콘텐츠 제공 서버(100)로 전송할 수도 있다.In another example, based on a communication result between the AR terminal 200a and the repeaters 300, information about the location of the AR terminal 200a in space may be directly transmitted to the AR content providing server 100.

이러한 경우 AR 단말기(200a)의 통신 모듈은 기기에 부착된 모바일 RTLS 태그들과 통신하여 중계기들(300)과 주고받는 신호를 수신할 수도 있다.In this case, the communication module of the AR terminal 200a may receive signals exchanged with the repeaters 300 by communicating with mobile RTLS tags attached to the device.

도 4의 공간에 설치된 중계기들(300) 및 RTLS 태그들(400)에 의해 구축된 RTLS 환경 내에서 공간 내의 AR 단말기(200)의 위치가 AR 단말기 제공 서버(100)에 의해 실시간으로 추적될 수 있다.In the RTLS environment built by the repeaters 300 and RTLS tags 400 installed in the space of FIG. 4, the location of the AR terminal 200 in the space can be tracked in real time by the AR terminal providing server 100. there is.

또한, AR 단말기(200a)는 자이로 센서, 가속도 센서, 중력 센서를 포함할 수 있고, AR 단말기(200a)는 자체 센서로부터 수집된 정보에 기초하여 AR 단말기(200a)가 어느 방향을 향하고 있는지에 대한 정보를 제공할 수 있다. AR 단말기(200a)가 향하고 있는 방향이 사용자(20a)가 보고 있는 시야방향으로 이해될 수 있다.In addition, the AR terminal 200a may include a gyro sensor, an acceleration sensor, and a gravity sensor, and the AR terminal 200a determines which direction the AR terminal 200a is facing based on information collected from its own sensors. can provide information. The direction in which the AR terminal 200a is facing may be understood as a viewing direction in which the user 20a is looking.

도 5 는 본 개시의 실시예에 따른 증강 현실 콘텐츠가 제공될 사용자 디바이스를 도시한다.5 illustrates a user device to be provided with augmented reality content according to an embodiment of the present disclosure.

사용자 디바이스인 AR 단말기(200)는 AR 콘텐츠가 재생되고 주변 환경을 볼 수 있는 디스플레이(210), 사용자의 머리에 착용될 수 있도록 잡아주는 고정부(220), 통신 모듈, 이미지 처리부 및 각종 센서들이 포함된 헤드부(230), 제 1 모바일 RTLS 태그(240) 및 제 2 모바일 RTLS 태그(250)를 포함할 수 있다.The AR terminal 200, which is a user device, includes a display 210 through which AR content is played and the surrounding environment can be viewed, a fixing unit 220 holding the user so that it can be worn on the user's head, a communication module, an image processing unit, and various sensors. It may include an included head unit 230, a first mobile RTLS tag 240 and a second mobile RTLS tag 250.

디스플레이(210)는 AR 콘텐츠 제공 서버(100)로부터 수신한 AR 콘텐츠를 재생할 뿐 아니라, 사용자가 주변 환경을 볼 수 있도록 투명 디스플레이로 구현될 수도 있다.The display 210 not only reproduces the AR content received from the AR content providing server 100, but may also be implemented as a transparent display so that the user can view the surrounding environment.

헤드부(230)에는 외부 기기들과 통신할 수 있는 통신 모듈, GPS 모듈과, 이미지 처리 프로세서, 자이로 센서, 가속도 센서, 중력 센서 등 AR 단말기(200)의 동작을 위한부품들이 포함될 수 있다. 또한, 헤드부(230)로부터 뒤쪽으로 연결되는 연장부에는 AR 단말기(200)에 전원을 공급하기 위한 배터리가 배치될 수도 있다.The head unit 230 may include components for operating the AR terminal 200, such as a communication module capable of communicating with external devices, a GPS module, an image processing processor, a gyro sensor, an acceleration sensor, and a gravity sensor. In addition, a battery for supplying power to the AR terminal 200 may be disposed in the extension part connected backward from the head part 230 .

AR 단말기(200)는 자체 통신 모듈을 통해 공간 내의 중계기들(300)과 통신하여 현재 위치를 파악할 수 있고, 이렇게 파악된 공간 내 현재 위치를 AR 콘텐츠 제공 서버(100)로 전송할 수 있다.The AR terminal 200 can communicate with the repeaters 300 in the space through its own communication module to determine its current location, and can transmit the current location in the space to the AR content providing server 100.

다른 실시예에서, AR 단말기(200)에 배치되는 제 1 및 제 2 RTLS 태그들을 이용하여 AR 단말기(200)의 위치가 판단될 수도 있다. AR 단말기(200)에는 한 개의 RTLS 태그만이 배치되어 AR 단말기(200)의 위치를 파악하도록 할 수도 있지만, 두 개의 RTLS 태그가 배치되는 경우 AR 단말기(200)가 향하는 방향이 자체 센서의 도움 없이도 결정될 수 있다.In another embodiment, the location of the AR terminal 200 may be determined using the first and second RTLS tags disposed in the AR terminal 200 . Only one RTLS tag may be placed on the AR terminal 200 to determine the location of the AR terminal 200, but when two RTLS tags are placed, the direction in which the AR terminal 200 is facing is determined without the help of its own sensor. can be determined

또한, 도 5에서는 도시되지 않았지만 AR 단말기(200)는 전방을 향해 배치된 카메라를 포함할 수 있으며, 카메라는 주변 환경의 이미지를 촬영하는데 사용될 수 있다.Also, although not shown in FIG. 5 , the AR terminal 200 may include a camera disposed toward the front, and the camera may be used to capture an image of a surrounding environment.

도 6은 본 개시의 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 순서도를 도시한다.6 is a flowchart illustrating a method for providing augmented reality according to an embodiment of the present disclosure.

AR 단말기(200)가 특정 공간 내에 진입하여 AR 서비스를 받고자 하는 경우, AR 단말기(200)는 AR 애플리케이션을 통해 AR 콘텐츠 제공 서버(100)에 접속할 수 있다.When the AR terminal 200 enters a specific space and wishes to receive an AR service, the AR terminal 200 may access the AR content providing server 100 through an AR application.

AR 콘텐츠 제공 서버(100)가 AR 단말기(200)의 접속을 인지하면(S100) 서버(100)는 AR 단말기(200)가 위치한 공간을 식별하기 위한 정보를 요청하여 수신할 수 있다. 예를 들어, AR 단말기(200)는 GPS 신호에 의해 획득된 현재 위치의 정보, 특정 공간 내 중계기(300)와 통신하여 얻어진 현재 위치의 정보(AR 콘텐츠 서버는 중계기의 ID를 통해 해당 공간이 어디인지 알 수 있음), 또는 현재 공간 내에서 촬영된 이미지 데이터를 AR 콘텐츠 제공 서버(100)로 송신할 수 있고, 이러한 정보에 기초하여 AR 콘텐츠 제공 서버(100)는 AR 단말기(200)가 어디에 있는지 개략적인 위치, 또는 개략적인 공간에 대한 추정을 할 수 있다.When the AR content providing server 100 recognizes the access of the AR terminal 200 (S100), the server 100 may request and receive information for identifying a space where the AR terminal 200 is located. For example, the AR terminal 200 provides information on the current location obtained by GPS signals and information on the current location obtained by communicating with the repeater 300 in a specific space (the AR content server determines where the corresponding space is located through the ID of the repeater). ), or image data captured in the current space can be transmitted to the AR contents providing server 100, and based on this information, the AR contents providing server 100 determines where the AR terminal 200 is. You can make an estimate of a coarse position, or a coarse space.

또 다른 예로, AR 단말기(200)가 실내에 있어 GPS 정보가 획득되지 않는다면, AR 단말기(200)가 취득한 마지막 GPS 정보와 GPS 신호를 놓친 시점부터 AR 단말기(200)의 자체 센서(도보 센서 또는 가속도 센서)에 의해 획득된 이동 정보를 이용하여 AR 단말기(200)의 개략적인 위치가 추정될 수 있다.As another example, if the AR terminal 200 is indoors and GPS information is not obtained, the AR terminal 200's own sensor (walking sensor or acceleration) from the time when the AR terminal 200 misses the last GPS information and GPS signal acquired by the AR terminal 200 A rough location of the AR terminal 200 may be estimated using movement information obtained by a sensor).

또한, GPS 정보 또는 AR 단말기(200)의 자체 센서에 의해 획득된 정보에 AR 단말기(200)에 의해 촬용된 주변 이미지들까지 추가적으로 고려하여 AR 단말기(200)의 위치가 정해질 수 있다.In addition, the location of the AR terminal 200 may be determined by additionally considering the GPS information or the information acquired by the AR terminal 200's own sensor and the surrounding images captured by the AR terminal 200.

AR 콘텐츠 제공 서버(100)는 AR 단말기(200)로부터 획득된 위치 정보에 기초하여 또는 위치 정보와 공간 내 이미지들을 결합하여 AR 단말기(200)가 위치한 공간을 식별할 수 있다(S200).The AR content providing server 100 may identify the space where the AR terminal 200 is located based on the location information obtained from the AR terminal 200 or by combining the location information and images within the space (S200).

AR 콘텐츠 제공 서버(100) 내의 데이터 저장부(120)는 다양한 공간들에 대한 설계도 또는 모델링 데이터를 가지고 있을 수 있다. 예를 들어, AR 단말기(200)의 위치 정보가 서울 중구 을지로 12 인근을 가리키고, AR 단말기(200)에 의해 촬영된 이미지가 구 서울시청 청사의 이미지와 일치한다면 AR 콘텐츠 제공 서버(100)는 AR 단말기(200)가 서울 광장의 공간에 위치한다고 판단할 수 있다.The data storage unit 120 in the AR content providing server 100 may have design drawings or modeling data for various spaces. For example, if the location information of the AR terminal 200 points to the vicinity of 12 Eulji-ro, Jung-gu, Seoul, and the image captured by the AR terminal 200 matches the image of the old Seoul City Hall, the AR content providing server 100 provides AR It may be determined that the terminal 200 is located in the space of Seoul Plaza.

AR 콘텐츠 제공 서버(100)는 AR 단말기(200)가 위치한 공간을 식별한 후, AR 콘테츠 또는 AR 오브젝트가 구현되기 위한 제한 또는 기준이 되는 배경으로서의 배경 데이터를 로딩할 수 있다(S300).After identifying the space where the AR terminal 200 is located, the AR content providing server 100 may load background data as a limit or standard background for implementing AR content or AR objects (S300).

배경 데이터를 로딩하는 단계에서 AR 콘텐츠 제공 서버(100)는 대략적으로 AR 단말기(200)가 위치한 공간을 식별한 후, 해당 공간에 대한 설계도 또는 모델링 데이터가 있는지 검색할 수 있다. 위의 경우에서, AR 콘텐츠 제공 서버(100)는 구 서울시청 청사와 서울광장까지 포함한 설계도 또는 모델링 데이터가 있는지 검색할 수 있다. 여기서 AR 콘텐츠 제공 서버(100)는 내장된 데이터 저장부(120) 뿐만 아니라, 외부 서버에 접속하여 해당 자료가 있는지 검색할 수 있다. 여기서 모델링 데이터는 3D 모델링 데이터일 수 있으며, 실제 공간의 크기, 위치, 방향에 매칭되도록 조절되기 전에 기저장되어 있던 모델링 데이터로서 1차 모델링 데이터라고 지칭될 수 있다. 여기서, 1차 모델링 데이터는, 해당 공간에 대한 설계도 및 AR 단말기(200)를 통해 스캔된 공간 데이터에 기초하여 구성될 수도 있고, 미리 구성되어 저장된 3D 모델링 데이터일 수도 있다.In the step of loading the background data, the AR content providing server 100 may roughly identify a space where the AR terminal 200 is located, and then search for blueprints or modeling data for the space. In the above case, the AR content providing server 100 may search for blueprints or modeling data including the old Seoul City Hall and Seoul Plaza. Here, the AR content providing server 100 may connect to an external server as well as the built-in data storage unit 120 to search for corresponding data. Here, the modeling data may be 3D modeling data, and may be referred to as primary modeling data as modeling data previously stored before being adjusted to match the size, position, and direction of a real space. Here, the primary modeling data may be configured based on a blueprint for the corresponding space and spatial data scanned through the AR terminal 200, or may be 3D modeling data configured and stored in advance.

AR 콘텐츠 제공 서버(100) 내의 데이터 저장부(120) 또는 외부 서버에서 구 서울시청 청사와 서울광장의 설계도 또는 모델링 데이터가 찾아지면, AR 콘텐츠 제공 서버(100)는 설계도 또는 모델링 데이터를 AR 단말기(200)가 위치한 실제 공간과 1:1로 매칭시키고 일치시키는 동작을 수행해야 한다.When design drawings or modeling data of the old Seoul City Hall and Seoul Plaza are found in the data storage unit 120 in the AR content providing server 100 or in an external server, the AR content providing server 100 transfers the blueprints or modeling data to the AR terminal ( 200) must be matched 1:1 with the actual space where it is located, and an operation to be matched must be performed.

AR 콘텐츠 제공 서버(100)의 프로세서는 공간 내에 배치된 복수의 중계기에 대한 정보를 추출하고, 공간 내에 배치되며, 모델링 데이터의 기준점이 되는 기준 RTLS 태그에 대한 정보를 추출할 수 있다. The processor of the AR content providing server 100 may extract information about a plurality of repeaters disposed in the space and extract information about a reference RTLS tag disposed in the space and serving as a reference point of modeling data.

공간 내에 배치된 복수의 중계기에 대한 정보는, 모델링의 대상이 된 공간에서 중계기가 배치된 위치, 중계기의 사양, 중계기의 개수 등의 정보를 포함할 수 있다.The information on the plurality of repeaters arranged in the space may include information such as a position where the repeater is placed in a space that is a modeling object, a specification of the repeater, and the number of repeaters.

기준 RTLS 태그에 대한 정보는 모델링되는 공간의 특징을 나타내는 기준점에 배치되는 RTLS 태그의 경우에는, 태그 ID, 모델링되는 공간의 어느 위치에 배치된 태그인지, RTLS 태그의 사양, 공간의 특징을 규정하는 기준점에 배치된 RTLS 태그의 개수 등의 정보를 포함할 있고, AR 오브젝트가 생성되기 위한 기준점으로서 기능하는 RTLS 태그의 걍우에는, 태그 ID, 태그가 부착된 사물의 종류, 규격, 사물의 속성(이동가능여부, 서비스 기능) 등을 포함할 수 있다.In the case of an RTLS tag disposed at a reference point representing the characteristics of a space to be modeled, the information on the reference RTLS tag includes the tag ID, the location of the tag in the space to be modeled, the specifications of the RTLS tag, and the characteristics of the space. The RTLS tag, which may include information such as the number of RTLS tags arranged at the reference point and functions as a reference point for creating an AR object, includes the tag ID, the type of the tagged object, the specification, and the attribute of the object ( movability, service function), and the like.

배경 데이터를 로딩하는 단계는, 공간에 배치된 복수의 중계기와 기준 RTLS 태그 사이의 통신에 기초하여 모델링 데이터의 기준점의 실제 공간 내 위치를 식별하는 단계와 기준점의 실제 공간 내 위치에 기초하여 1차 모델링 데이터를 실제 공간의 좌표에 일치시켜 2차 모델링 데이터를 생성하는 단계를 포함할 수 있다.The step of loading the background data includes the step of identifying the position in real space of the reference point of the modeling data based on the communication between a plurality of repeaters arranged in space and the reference RTLS tag, and the first step based on the position in real space of the reference point. It may include generating secondary modeling data by matching modeling data to coordinates in real space.

예를 들어, 1차 모델링 데이터에 구 서울시청 청사의 맨 왼쪽 창문의 중심과 맨 오른쪽 창문의 중심, 중앙 시계의 중심이 기준점으로 표시되어 있고, 실제 구 서울시청 청사의 맨 왼쪽 창문의 중심과 맨 오른쪽 창문의 중심, 중앙 시계의 중심에 기준 RTLS 태그가 부착되어 있다면, 근방에 설치된 중계기들을 통해 각 태그들의 위치가 정확하게 결정되고, AR 콘텐츠 제공 서버(100)의 프로세서는 검색된 1차 모델링 데이터의 기준점이 실제 공간에서 매칭되는 태그에 대응되도록 1차 모델링 데이터를 조절할 수 있다.For example, in the primary modeling data, the center of the leftmost window, the center of the rightmost window, and the center of the central clock of the old Seoul City Hall are marked as reference points, and the center of the leftmost window and the If reference RTLS tags are attached to the center of the right window and the center of the central clock, the position of each tag is accurately determined through repeaters installed nearby, and the processor of the AR content providing server 100 determines the reference point of the searched primary modeling data. The primary modeling data may be adjusted to correspond to a matching tag in this real space.

이렇게 크기, 위치, 방향이 1:1로 3차원 좌표상에서 매칭되도록 조절된 모델링 데이터는 2차 모델링 데이터로 지칭될 수 있다.Modeling data adjusted so that the size, position, and direction are matched on 3D coordinates in a 1:1 ratio may be referred to as secondary modeling data.

또한, 기준 RTLS 태그는 구 시청청사라는 구조물에 열고 닫히도록 이동가능하게 결합된 정문에 배치될 수도 있고, 이러한 경우 1차 모델링 데이터 및 정문에 배치된 기준 RTLS 태그의 위치에 따라 구 시청청사 모델을 문이 닫힌 상태로 또는 열린 상태로 구현할지 결정할 수 있다. In addition, the standard RTLS tag may be disposed at the main gate movably coupled to open and close the structure of the old city hall. You can decide whether to implement the door closed or open.

도 7에서는 본 개시의 실시예에 따른 증강 현실 제공 방법에서 모델링 데이터가 현실 공간에 맞추어 조정되는 과정을 볼 수 있다.In FIG. 7 , a process in which modeling data is adjusted according to a real space in the method for providing augmented reality according to an embodiment of the present disclosure can be seen.

AR 콘텐츠 서비스를 수신하려는 AR 단말기(200)가 위치하는 공간에 실제 존재하는 배경이 있고, 이 공간의 3D 모델링 데이터가 AR 콘텐츠 제공 서버(100)에 기저장되어 있거나, 외부 서버에서 발견된 경우, 위와 같은 방식을 통해 실제 존재하는 배경에 맞도록 모델링 데이터가 변경될 수 있다.If there is a background that actually exists in the space where the AR terminal 200 to receive the AR content service is located, and 3D modeling data of this space is pre-stored in the AR content providing server 100 or found in an external server, Through the above method, modeling data may be changed to match the actually existing background.

도 8은 본 개시의 실시예에 따른 증강 현실 제공 방법에서 모델링 데이터가 현실 공간에 맞추어 일체화되고, 일체화된 모델링 데이터를 기준으로 증강 현실 콘텐츠가 제공되는 과정을 설명하기 위한 도면이다.8 is a diagram for explaining a process in which modeling data is integrated to fit a real space and augmented reality content is provided based on the integrated modeling data in the augmented reality providing method according to an embodiment of the present disclosure.

도 8에서는 배경 데이터가 정확하게 로딩되어야 하는 이유를 볼 수 있다. AR 콘텐츠 또는 AR 오브젝트가 구현될 수 있는 한계 또는 기준이 배경 데이터이므로, 배경 데이터가 정확하게 로딩될 때 보다 현실적인 AR 환경 구현이 가능하다.In Fig. 8, it can be seen why the background data must be accurately loaded. Since the limit or criterion by which AR contents or AR objects can be implemented is the background data, a more realistic AR environment can be implemented when the background data is accurately loaded.

예를 들어, 도 8에서와 같이 구조물에 실제로 존재하는 2층 침대에서 일어나는 AR 캐릭터를 실제적으로 구현하려면 2층 침대를 AR로 구현할 필요는 없으나, AR 캐릭터가 구현되는 한계와 기준으로 2층 침대의 위치, 크기 및 형태가 실제 2층 침대에 정확히 매칭되도록 구현되어야 한다.For example, as shown in FIG. 8, in order to actually implement an AR character that occurs in a bunk bed that actually exists in a structure, it is not necessary to implement a bunk bed in AR, but the limits and standards for AR characters to be implemented include the use of a bunk bed. The location, size and shape must be implemented to exactly match the actual bunk bed.

상술된 방식에 따라 모델링 데이터를 실제 구조물에 1:1로 3차원 좌표 상에서 매칭시킬 수 있음에 따라 본 개시의 AR 콘텐츠 제공 방식 및 장치는 사용자에게 보다 현실적인 AR 콘텐츠를 체험할 수 있도록 한다.As modeling data can be matched 1:1 with real structures on three-dimensional coordinates according to the above-described method, the AR content providing method and apparatus of the present disclosure allow users to experience more realistic AR content.

한편, 1차 모델링 데이터 및 2차 모델링 데이터는 한계점 또는 충돌 지점을 알려줄 수 있도록 대략적인 외관 그래프 또는 프레임 형태로만 구현되면 된다.On the other hand, the primary modeling data and the secondary modeling data only need to be implemented in the form of a rough external graph or frame so as to inform a limit point or a collision point.

도 6으로 다시 돌아와서, AR 콘텐츠 제공 서버(100)의 프로세서는 배경 데이터를 실제 공간에 매칭되게 로딩한 후, AR 단말기(200)의 공간 내 위치 및 시야 방향을 파악하는 동작을 수행할 수 있다.Returning to FIG. 6 , the processor of the AR content providing server 100 may load the background data to match the real space, and then perform an operation to determine the location and viewing direction of the AR terminal 200 in the space.

AR 단말기(200)의 공간 내 위치 및 시야 방향을 파악하기 위해 프로세서는 2차 모델링 데이터, 및 복수의 중계기(300)와 AR 단말기(200) 사이의 통신에 기초하여 AR 단말기(200)의 공간 내의 위치를 결정할 수 있다.In order to determine the location and viewing direction of the AR terminal 200 in space, the processor determines the secondary modeling data and communication between the plurality of repeaters 300 and the AR terminal 200 in the space of the AR terminal 200. location can be determined.

이후, AR 단말기(200) 내의 센서로부터 수집된 정보에 기초하여 AR 단말기(200)의 시야 방향을 결정할 수 있다. 여기서, AR 단말기(200)는 제 1 모바일 RTLS 태그 및 제 2 모바일 RTLS 태그를 포함하고, 복수의 중계기(300)와 제 1 모바일 RTLS 태그 사이의 통신 및 복수의 중계기(300)와 제 2 모바일 RTLS 태그 사이의 통신에 기초하여 AR 단말기(200)의 시야 방향을 결정할 수 있다.Thereafter, the viewing direction of the AR terminal 200 may be determined based on information collected from a sensor in the AR terminal 200 . Here, the AR terminal 200 includes a first mobile RTLS tag and a second mobile RTLS tag, and communication between the plurality of repeaters 300 and the first mobile RTLS tag and communication between the plurality of repeaters 300 and the second mobile RTLS tag The viewing direction of the AR terminal 200 may be determined based on communication between tags.

한편, AR 콘텐츠 제공 서버(100)의 프로세서는 2차 모델링 데이터, 복수의 중계기(300)와 제 1 모바일 RTLS 태그 및 제 2 모바일 RTLS 태그 중 적어도 하나 사이의 통신에 기초하여 상기 AR 단말기(200)의 상기 공간 내의 위치를 결정할 수 있다.Meanwhile, the processor of the AR content providing server 100 transmits the AR terminal 200 based on secondary modeling data and communication between the plurality of repeaters 300 and at least one of a first mobile RTLS tag and a second mobile RTLS tag. It is possible to determine the location of the space in the space.

AR 단말기(200)에 제 1 모바일 RTLS 태그 및 제 2 모바일 RTLS 태그가 어떤 상대적 위치를 가지고 부착되었는지, 그들과 AR 단말기(200)의 전면부(사용자가 착용시 앞을 바로보게 되는 방향의 부분)의 위치 관계가 어떠한지 AR 단말기(200) 식별 과정에서 AR 콘텐츠 제공 서버(100)에 알려져 있을 수 있고, 이에 따라 AR 단말기(200)의 시야 방향이 결정될 수 있다.The relative positions of the first mobile RTLS tag and the second mobile RTLS tag are attached to the AR terminal 200, and the front part of the AR terminal 200 (the part in the direction the user looks straight ahead when worn) The positional relationship of may be known to the AR content providing server 100 in the process of identifying the AR terminal 200, and accordingly, the viewing direction of the AR terminal 200 may be determined.

다른 예에서, AR 단말기(200)의 시야 방향은 AR 단말기(200) 자체에 포함된 자이로 센서, 가속도 센서 및 중력 센서들로부터 수집된 정보에 의해 결정될 수도 있다.In another example, the viewing direction of the AR terminal 200 may be determined by information collected from gyro sensors, acceleration sensors, and gravity sensors included in the AR terminal 200 itself.

이들 센서들로부터 수집된 정보와 모바일 RTLS 태그를 이용해 결정된 AR 단말기(200)의 위치 정보를 조합하여 AR 단말기(200)의 위치 및 시야 방향이 결정될 수 있다.The location and viewing direction of the AR terminal 200 may be determined by combining the information collected from these sensors and the location information of the AR terminal 200 determined using the mobile RTLS tag.

AR 콘텐츠 제공 서버(100)의 프로세서는 AR 단말기(200)의 공간 내 위치 및 시야 방향에 기초하여 적합한 AR 콘텐츠를 생성할 수 있다(S500). AR 단말기(200)의 사양 정보에는 시야각에 대한 정보도 포함될 수 있으며, 이에 따라 서버(100)의 프로세서는 적절한 범위의 AR 콘텐츠를 생성할 수 있다. 즉, AR 콘텐츠 제공 서버(100)의 프로세서는 배경 데이터, AR 단말기(200)의 위치 및 시야 방향에 기초하여 AR 콘텐츠를 생성할 수 있다.The processor of the AR content providing server 100 may generate appropriate AR content based on the location of the AR terminal 200 in space and the viewing direction (S500). The specification information of the AR terminal 200 may also include information on the viewing angle, and accordingly, the processor of the server 100 may generate AR content within an appropriate range. That is, the processor of the AR content providing server 100 may generate AR content based on the background data, the location of the AR terminal 200, and the viewing direction.

상술된 방식에 따라 생성된 AR 콘텐츠는 AR 콘텐츠 제공 서버(100)의 통신부를 통해 각각의 AR 단말기(200)로 전송될 수 있다(S600).AR contents generated according to the above method may be transmitted to each AR terminal 200 through a communication unit of the AR contents providing server 100 (S600).

한편, 상술된 방식에 따라 생성되는 AR 콘텐츠는 해당 공간에 있는 복수의 AR 단말들(200)을 착용한 복수의 사용자들에게 공통된 체험을 제공할 수 있다. AR 콘텐츠 제공 서버(100)는 각각의 AR 단말기(200)의 위치를 파악하고 해당 단말기(200)에 적합한 AR 콘텐츠의 부분을 제공하므로, 동일 공간의 AR 단말기 사용자들은 공통의 AR 콘텐츠를 체험할 수 있다. Meanwhile, the AR content generated according to the above method can provide a common experience to a plurality of users wearing the plurality of AR terminals 200 in the corresponding space. Since the AR content providing server 100 identifies the location of each AR terminal 200 and provides a portion of AR content suitable for the corresponding terminal 200, AR terminal users in the same space can experience common AR content. there is.

복수의 AR 단말기(200)에 대해 AR 콘텐츠를 서비스할 때, AR 콘텐츠 제공 서버(100)는 AR 단말기의 접속을 인지하는 단계에서 제 1 AR 단말기 및 제 2 AR 단말기의 접속을 인지하고, AR 단말기가 위치한 공간을 식별하는 단계에서, 제 1 AR 단말기 및 제 2 AR 단말기가 동일한 공간에 속하는지 판단하는 단계를 포함할 수 있다.When servicing AR contents for a plurality of AR terminals 200, the AR contents providing server 100 recognizes the connection of the first AR terminal and the second AR terminal in the step of recognizing the connection of the AR terminal, The step of identifying the space where is located may include determining whether the first AR terminal and the second AR terminal belong to the same space.

즉, AR 콘텐츠 제공 서버(100)는 복수의 AR 단말기(200)가 접속한 경우 해당 단말기들이 동일 공간에 있는지를 먼저 판단하여 동일한 공간에 있는 단말기들에 대해 공통 공간에 대한 배경 데이터를 로딩할 수 있다.That is, when a plurality of AR terminals 200 are connected, the AR content providing server 100 can load background data for a common space for terminals in the same space by first determining whether the corresponding terminals are in the same space. there is.

제 1 AR 단말기 및 제 2 AR 단말기가 동일한 공간에 속하는 경우, AR 콘텐츠 제공 서버(100)의 프로세서는 AR 단말기들의 공통 공간 내 위치 및 시야 방향을 파악하는 단계에서, 동일한 공간 내에서 제 1 AR 단말기 및 제 2 AR 단말기 각각의 위치 및 시야 방향을 파악하는 단계를 수행할 수 있다.When the 1st AR terminal and the 2nd AR terminal belong to the same space, the processor of the AR content providing server 100 detects the positions and viewing directions of the AR terminals in the common space, and detects the 1st AR terminal in the same space and determining the location and viewing direction of each of the second AR terminals.

AR 콘텐츠를 생성하는 단계에서, AR 콘텐츠 제공 서버(100)는 제 1 AR 단말기 및 제 2 AR 단말기 각각의 위치 및 시야 방향에 기초하여 제 1 AR 콘텐츠 및 제 2 AR 콘텐츠를 생성할 수 있다.In the step of generating AR contents, the AR contents providing server 100 may generate the first AR contents and the second AR contents based on the positions and viewing directions of the first AR terminal and the second AR terminal, respectively.

그리고, AR 콘텐츠 제공 서버(100)는 AR 단말기로 전송하는 단계에서, 제 1 AR 콘텐츠를 제 1 AR 단말기로 전송하고, 제 2 AR 콘텐츠를 제 2 AR 단말기로 전송할 수 있다.And, in the step of transmitting the AR contents to the AR terminal, the AR contents providing server 100 may transmit the first AR contents to the first AR terminal and the second AR contents to the second AR terminal.

도 9는 본 개시의 실시예에 따른 증강 현실 제공 방법에서 모델링 데이터를 현실 공간에 맞추어 일체화시키고, 일체화된 모델링 데이터를 기준으로 사용자의 움직임을 추적하는 과정을 설명하기 위한 도면이다.9 is a diagram for explaining a process of integrating modeling data in a real space and tracking a motion of a user based on the integrated modeling data in the method for providing augmented reality according to an embodiment of the present disclosure.

AR 콘텐츠 제공 서버(100)에서는 상술된 과정에 따라 실제 환경에 매칭된 모델링 데이터를 구현하고, 구현된 모델링 데이터 내에서 AR 단말기(200)가 어디에 있는지 실시간으로 파악할 수 있다.The AR content providing server 100 implements modeling data matched to the real environment according to the above-described process, and can recognize where the AR terminal 200 is located within the implemented modeling data in real time.

예를 들어, 도 9와 같이 모델링된 지역 안에서 모바일 RTLS 태그가 부착된 AR 단말기(200)가 이동하면 AR 콘텐츠 제공 서버(100)의 프로세서는 중계기(300)를 통해 또는 AR 단말기(200)의 통신 모듈과의 통신을 통해 실시간으로 AR 단말기(200)의 이동 경로를 파악할 수 있다.For example, when the AR terminal 200 to which the mobile RTLS tag is attached moves within the modeled area as shown in FIG. Through communication with the module, the moving path of the AR terminal 200 can be grasped in real time.

또한, 의자, 트레이와 같이 가볍고 움직이는 가구에 기준 RTLS 태그가 부착되어 있다면, 이러한 가구들이 움직이는 것에 대해서도 AR 콘텐츠 제공 서버(100)에서 파악이 가능하고, 이러한 움직임을 모델링 데이터에 반영하여 AR 콘텐츠를 생성할 수 있다.In addition, if standard RTLS tags are attached to light and moving furniture such as chairs and trays, the AR content providing server 100 can also identify the movement of these furniture, and reflect these movements to modeling data to generate AR content. can do.

도 10은 본 개시의 실시예에 따른 증강 현실 제공 방법에서 모델링 데이터를 실제 공간에 맞추어 배치하는 과정을 설명하기 위한 도면으로서, 특정 지역에 대한 지역 모델링과 이동할 수 있는 설비들이 배치되어 있는 공간이 서로 매치되어 모델링 데이터가 실제 공간에 맞추어 배치되는 것을 보여준다. 10 is a diagram for explaining a process of arranging modeling data according to a real space in an augmented reality providing method according to an embodiment of the present disclosure, in which area modeling for a specific area and a space where movable facilities are arranged are mutually exclusive. It is matched to show that the modeling data is arranged according to the actual space.

상술된 방식들을 수행하면 도 10과 같이 실제 공간에 정확하게 매칭되는 모델링이 구현될 수 있고, 이에 따라 보다 정확한 AR 콘텐츠가 사용자에게 제공될 수 있다.If the above methods are performed, modeling that accurately matches the real space can be implemented, as shown in FIG. 10 , and thus more accurate AR content can be provided to the user.

도 11은 본 개시의 실시예에 따른 증강 현실 제공 방법에서 AR 콘텐츠 제작자에게 제공되는 에디터를 설명하기 위한 도면이다.11 is a diagram for explaining an editor provided to an AR content producer in a method for providing augmented reality according to an embodiment of the present disclosure.

본 개시의 실시예에 따른 증강 현실 제공 방법은 현실 공간에 모델링 데이터가 매칭되도록 배경 데이터를 로딩한 이후에, AR 콘텐츠를 생성하기 전에, AR 콘텐츠 제작자로 하여금 배경 데이터를 기준으로 AR 이벤트 및 오브젝트를 제작할 수 있는 툴을 제공할 수 있다.A method for providing augmented reality according to an embodiment of the present disclosure allows an AR content creator to set an AR event and an object based on background data after loading background data so that modeling data matches a real space and before generating AR content. We can provide you with the tools to create it.

AR 콘텐츠 제공 서버(100)는 현실 공간에 모델링 데이터가 매칭되도록 조정된 2차 모델링 데이터에 기초하여 제작자가 AR 오브젝트 또는 이벤트를 생성할 수 있는 에디터를 제작자 단말기에 제공할 수 있다. The AR content providing server 100 may provide an editor through which the creator can create an AR object or event based on the secondary modeling data adjusted to match the modeling data to the real space to the producer terminal.

제작자 단말기는 AR 콘텐츠 제공 서버(100)에 연결되어 있을 수도 있고 무선으로 통신을 할 수도 있다.The producer terminal may be connected to the AR content providing server 100 or may communicate wirelessly.

제작자는 제공된 에디터를 통해서 모델링 데이터에 원하는 AR 이벤트 및 오브젝트를 생성, 삭제, 수정, 편집할 수 있다. AR 콘텐츠 제공 서버(100)는 에디터를 통해 수신되는 명령에 따라 2차 모델링 데이터 상에 AR 오브젝트 또는 이벤트를 생성할 수 있다.Creators can create, delete, modify, and edit desired AR events and objects in modeling data through the provided editor. The AR content providing server 100 may generate an AR object or event on secondary modeling data according to a command received through an editor.

여기서, AR 단말기(200)는 이벤트 에디터에서의 카메라 역할을 수행할 수 있어, 콘텐츠 제작자는 AR 단말기(200)가 보게될 화면을 보고 사용자의 관점에서 AR 컨텐츠를 수정할 수 있다. 도 10의 왼쪽 그림은 전체적인 관점에서 보는 AR 콘텐츠 구현 환경이고, 도 10의 오른쪽 그림은 AR 단말기(200)에서 보이게 되는 AR 콘텐츠를 보여준다.Here, the AR terminal 200 can perform a camera role in the event editor, so the content producer can view the screen to be viewed by the AR terminal 200 and modify the AR content from the user's point of view. The figure on the left of FIG. 10 is an AR content realization environment viewed from the overall point of view, and the figure on the right of FIG. 10 shows the AR content viewed from the AR terminal 200.

도 11에서 도시된 바와 같이 에디터는 AR 단말기(200)의 좌표상 위치(예를 들어, 30, 10, 50)와 AR 오브젝트가 있는 위치(예를 들어, 40, 5, 20)를 표시할 수 있으며, 이러한 좌표에 따라 제작자는 정확한 위치를 알 수 있다.As shown in FIG. 11, the editor can display the coordinate position of the AR terminal 200 (eg, 30, 10, 50) and the location of the AR object (eg, 40, 5, 20). And, according to these coordinates, the manufacturer can know the exact location.

에디터는 2차 모델링 데이터에 기준 RTLS 태그의 위치 정보를 표시할 수 있고, AR 오브젝트의 생성 위치는 기준 RTLS 태그의 위치 정보에 기초하여 결정될 수도 있다.The editor may display location information of the standard RTLS tag in the secondary modeling data, and the creation location of the AR object may be determined based on the location information of the standard RTLS tag.

도 12는 본 개시의 실시예에 따른 증강 현실 제공 방법에 따라서 특정 공간에서 AR 콘텐츠로 이루어진 게임을 제공하는 예시를 설명하기 위한 도면이다.12 is a diagram for explaining an example of providing a game consisting of AR content in a specific space according to the augmented reality providing method according to an embodiment of the present disclosure.

도 12는 도 11의 에디터에 의해 제작된 AR 서비스의 예시로서, 사용자는 실제 공간에서 게임을 수행할 수 있다. AR 콘텐츠 서비스를 제공하는 주체는 전체 공간에 대한 지도와 그 안에서 게임을 수행하고 있는 사용자의 위치를 확인할 수 있고, 특정한 이벤트가 수행되게 할 수 있다.FIG. 12 is an example of an AR service created by the editor of FIG. 11, and a user can play a game in a real space. An entity providing an AR content service may check a map of the entire space and a location of a user playing a game therein, and may cause a specific event to be performed.

특정한 이벤트들은 제작자가 미리 정한 규칙에 따라 발생될 수도 있다. 도 12에서 도시된 바와 같이 사용자가 특정 지역으로 움직이면 몬스터가 생성되는 이벤트가 발생할 수 있다. 본 개시의 실시예에 따른 증강 현실 제공 방법은 실시간으로 사용자의 위치 추적이 가능하므로 이와 같은 서비스가 가능하다.Certain events may be generated according to rules pre-determined by the manufacturer. As shown in FIG. 12 , when a user moves to a specific area, an event in which a monster is created may occur. Since the method for providing augmented reality according to an embodiment of the present disclosure can track a user's location in real time, such a service is possible.

본 개시의 실시예에 의한 증강 현실 제공 방법 및 장치에 따르면, 상술된 바와 같이 현실 공간에 정확히 매칭되는 AR 콘텐츠가 제공될 수 있고, 다수의 사용자가 함께 체험하는 AR 서비스가 가능하게 된다.According to the method and apparatus for providing augmented reality according to an embodiment of the present disclosure, as described above, AR content accurately matched to a real space can be provided, and an AR service that multiple users can experience together is possible.

이상 설명된 본 개시에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Embodiments according to the present disclosure described above may be implemented in the form of a computer program that can be executed on a computer through various components, and such a computer program may be recorded on a computer-readable medium. At this time, the medium is a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magneto-optical medium such as a floptical disk, and a ROM hardware devices specially configured to store and execute program instructions, such as RAM, flash memory, and the like.

한편, 상기 컴퓨터 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present disclosure, or may be known and usable to those skilled in the art of computer software. An example of a computer program may include not only machine language code generated by a compiler but also high-level language code that can be executed by a computer using an interpreter or the like.

본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. In the specification of the present disclosure (particularly in the claims), the use of the term "above" and similar indicating terms may correspond to both singular and plural. In addition, when a range is described in the present disclosure, as including the invention to which individual values belonging to the range are applied (unless otherwise stated), each individual value constituting the range is described in the detailed description of the invention Same as

본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.Unless an order is explicitly stated or stated to the contrary for steps comprising a method according to the present disclosure, the steps may be performed in any suitable order. The present disclosure is not necessarily limited to the order of description of the steps. The use of all examples or exemplary terms (eg, etc.) in this disclosure is simply to explain the present disclosure in detail, and the scope of the present disclosure is limited due to the examples or exemplary terms unless limited by the claims. it is not going to be In addition, those skilled in the art can appreciate that various modifications, combinations and changes can be made according to design conditions and factors within the scope of the appended claims or equivalents thereof.

따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present disclosure should not be limited to the above-described embodiments, and not only the claims to be described later, but also all ranges equivalent to or equivalent to these claims are within the scope of the spirit of the present disclosure. will be said to belong to

Claims (11)

증강 현실 콘텐츠 제공 서버의 프로세서에 의해 수행되는, 실시간 위치 식별 시스템(RTLS)을 이용한 증강 현실(AR; Augmented Reality) 제공 방법으로서,
AR 단말기의 접속을 인지하는 단계;
상기 AR 단말기가 위치한 공간을 식별하는 단계;
상기 AR 단말기가 위치한 공간을 기초로 배경 데이터를 로딩하는 단계;
상기 AR 단말기의 상기 공간 내 위치 및 시야 방향을 파악하는 단계;
상기 배경 데이터, 상기 AR 단말기의 위치 및 시야 방향에 기초하여 AR 콘텐츠를 생성하는 단계; 및
생성된 AR 콘텐츠를 상기 AR 단말기로 전송하는 단계를 포함하고,
상기 배경 데이터를 로딩하는 단계는,
상기 AR 단말기가 위치한 공간에 대한 1차 모델링 데이터를 검색하는 단계;
상기 공간 내에 배치된 복수의 중계기에 대한 정보를 추출하는 단계; 및
상기 공간 내에 배치되며, 상기 1차 모델링 데이터의 기준점이 되는 기준 RTLS 태그에 대한 정보를 추출하는 단계를 포함하며,
상기 배경 데이터를 로딩하는 단계는,
상기 복수의 중계기와 상기 기준 RTLS 태그 사이의 통신에 기초하여 상기 1차 모델링 데이터의 기준점의 실제 공간 내 위치를 식별하는 단계; 및
상기 기준점의 실제 공간 내 위치에 기초하여 상기 1차 모델링 데이터를 실제 공간의 좌표에 일치시켜 2차 모델링 데이터를 생성하는 단계를 포함하는,
증강 현실 제공 방법.
A method for providing augmented reality (AR) using a real-time location identification system (RTLS), performed by a processor of an augmented reality content providing server, comprising:
Recognizing the access of the AR terminal;
identifying a space where the AR terminal is located;
loading background data based on a space where the AR terminal is located;
figuring out the location and viewing direction of the AR terminal in the space;
generating AR content based on the background data, the location of the AR terminal, and the viewing direction; and
Transmitting the generated AR content to the AR terminal,
The step of loading the background data,
Retrieving primary modeling data for a space where the AR terminal is located;
extracting information about a plurality of repeaters disposed in the space; and
Extracting information about a reference RTLS tag disposed in the space and serving as a reference point of the primary modeling data;
The step of loading the background data,
identifying a location in real space of a reference point of the primary modeling data based on communication between the plurality of repeaters and the reference RTLS tag; and
Comprising the step of generating secondary modeling data by matching the primary modeling data to coordinates in real space based on the location of the reference point in real space,
Augmented reality delivery method.
삭제delete 삭제delete 제 1 항에 있어서,
상기 파악하는 단계는,
상기 2차 모델링 데이터, 및 상기 복수의 중계기와 상기 AR 단말기 사이의 통신에 기초하여 상기 AR 단말기의 상기 공간 내의 위치를 결정하는 단계; 및
상기 AR 단말기 내의 센서로부터 수집된 정보에 기초하여 상기 AR 단말기의 시야 방향을 결정하는 단계를 포함하는,
증강 현실 제공 방법.
　According to claim 1,
The step of figuring out the
determining a position of the AR terminal in the space based on the secondary modeling data and communication between the plurality of repeaters and the AR terminal; and
Determining a viewing direction of the AR terminal based on information collected from a sensor in the AR terminal,
Augmented reality delivery method.
제 1 항에 있어서,
상기 AR 단말기는 제 1 모바일 RTLS 태그 및 제 2 모바일 RTLS 태그를 포함하고,
상기 파악하는 단계는,
상기 2차 모델링 데이터, 및 상기 복수의 중계기와 상기 제 1 모바일 RTLS 태그 및 제 2 모바일 RTLS 태그 중 적어도 하나 사이의 통신에 기초하여 상기 AR 단말기의 상기 공간 내의 위치를 결정하는 단계; 및
상기 복수의 중계기와 상기 제 1 모바일 RTLS 태그 사이의 통신 및 상기 복수의 중계기와 상기 제 2 모바일 RTLS 태그 사이의 통신에 기초하여 상기 AR 단말기의 시야 방향을 결정하는 단계를 포함하는,
증강 현실 제공 방법.
　According to claim 1,
The AR terminal includes a first mobile RTLS tag and a second mobile RTLS tag,
The step of figuring out the
determining a position of the AR terminal within the space based on the secondary modeling data and communication between the plurality of repeaters and at least one of the first mobile RTLS tag and the second mobile RTLS tag; and
Determining a viewing direction of the AR terminal based on communication between the plurality of repeaters and the first mobile RTLS tag and communication between the plurality of repeaters and the second mobile RTLS tag,
Augmented reality delivery method.
제 1 항에 있어서,
상기 1차 모델링 데이터는, 상기 공간에 대한 설계도 및 상기 AR 단말기를 통해 스캔된 공간 데이터에 기초하여 구성되는,
증강 현실 제공 방법.
　According to claim 1,
The primary modeling data is configured based on the blueprint for the space and the spatial data scanned through the AR terminal.
Augmented reality delivery method.
제 1 항에 있어서,
상기 AR 단말기가 위치한 공간을 식별하는 단계는,
상기 AR 단말기가 취득한 마지막 GPS 정보 및 상기 AR 단말기 내의 센서 정보를 기초로 상기 AR 단말기의 위치를 추정하거나, 상기 AR 단말기가 접속하는 중계기의 ID를 기초로 상기 AR 단말기의 위치를 추정하는 단계를 포함하는,
증강 현실 제공 방법.
　According to claim 1,
In the step of identifying the space where the AR terminal is located,
Estimating the location of the AR terminal based on the last GPS information acquired by the AR terminal and sensor information in the AR terminal, or estimating the location of the AR terminal based on the ID of a relay connected by the AR terminal doing,
Augmented reality delivery method.
제 1 항에 있어서,
상기 배경 데이터를 로딩하는 단계 이후, 상기 AR 콘텐츠를 생성하는 단계 이전에,
상기 2차 모델링 데이터에 기초하여 제작자가 AR 오브젝트 또는 이벤트를 생성할 수 있는 에디터를 제작자 단말기에 제공하는 단계; 및
상기 에디터를 통해 수신되는 명령에 따라 상기 2차 모델링 데이터 상에 AR 오브젝트 또는 이벤트를 생성하는 단계를 더 포함하고,
상기 에디터는 상기 2차 모델링 데이터에 상기 기준 RTLS 태그의 위치 정보를 표시하고, 상기 AR 오브젝트의 생성 위치는 상기 기준 RTLS 태그의 위치 정보에 기초하여 결정되는,
증강 현실 제공 방법.
　According to claim 1,
After the step of loading the background data and before the step of generating the AR content,
providing an editor capable of creating an AR object or event to a producer terminal based on the secondary modeling data; and
Further comprising generating an AR object or event on the secondary modeling data according to a command received through the editor,
The editor displays location information of the reference RTLS tag in the secondary modeling data, and the creation location of the AR object is determined based on the location information of the reference RTLS tag.
Augmented reality delivery method.
제 1 항에 있어서,
상기 AR 단말기의 접속을 인지하는 단계는, 제 1 AR 단말기 및 제 2 AR 단말기의 접속을 인지하는 단계를 포함하고,
상기 AR 단말기가 위치한 공간을 식별하는 단계는, 상기 제 1 AR 단말기 및 제 2 AR 단말기가 동일한 공간에 속하는지 판단하는 단계를 포함하고,
상기 제 1 AR 단말기 및 제 2 AR 단말기가 동일한 공간에 속하는 경우, 상기 AR 단말기의 상기 공간 내 위치 및 시야 방향을 파악하는 단계는, 상기 동일한 공간 내에서 상기 제 1 AR 단말기 및 제 2 AR 단말기 각각의 위치 및 시야 방향을 파악하는 단계를 포함하고,
상기 AR 콘텐츠를 생성하는 단계는, 상기 제 1 AR 단말기 및 제 2 AR 단말기 각각의 위치 및 시야 방향에 기초하여 제 1 AR 콘텐츠 및 제 2 AR 콘텐츠를 생성하는 단계를 포함하고,
상기 AR 단말기로 전송하는 단계는, 상기 제 1 AR 콘텐츠를 상기 제 1 AR 단말기로 전송하고, 상기 제 2 AR 콘텐츠를 상기 제 2 AR 단말기로 전송하는 단계를 포함하는,
증강 현실 제공 방법.
　According to claim 1,
Recognizing the connection of the AR terminal includes recognizing the connection of a first AR terminal and a second AR terminal;
The step of identifying the space where the AR terminal is located includes determining whether the first AR terminal and the second AR terminal belong to the same space;
When the first AR terminal and the second AR terminal belong to the same space, the step of determining the location and viewing direction of the AR terminal in the space includes: Including the step of determining the location and viewing direction of
The generating of the AR contents includes generating first AR contents and second AR contents based on positions and viewing directions of the first AR terminal and the second AR terminal, respectively;
The transmitting to the AR terminal includes transmitting the first AR content to the first AR terminal and transmitting the second AR content to the second AR terminal.
Augmented reality delivery method.
컴퓨터를 이용하여 제 1 항, 제 4항 내지 제 9 항의 방법 중 어느 한 항의 방법을 실행시키기 위한 컴퓨터 프로그램이 저장된 판독 가능한 기록 매체.
　A readable recording medium storing a computer program for executing the method of any one of claims 1, 4 to 9 using a computer.
실시간 위치 식별 시스템(RTLS)을 이용한 증강 현실(AR; Augmented Reality) 제공 장치로서,
프로세서; 및
상기 프로세서에 연결된 메모리를 포함하고,
상기 메모리는, 상기 프로세서를 통해 실행될 때,
AR 단말기의 접속을 인지하고,
상기 AR 단말기가 위치한 공간을 식별하고,
상기 AR 단말기가 위치한 공간을 기초로 배경 데이터를 로딩하고,
상기 AR 단말기의 상기 공간 내 위치 및 시야 방향을 파악하고,
상기 배경 데이터, 상기 AR 단말기의 위치 및 시야 방향에 기초하여 AR 콘텐츠를 생성하고, 생성된 AR 콘텐츠를 상기 AR 단말기로 전송하는 동작을 수행하게 하는 명령들을 저장하며,
상기 배경 데이터를 로딩 시, 상기 AR 단말기가 위치한 공간에 대한 1차 모델링 데이터를 검색하고, 상기 공간 내에 배치된 복수의 중계기에 대한 정보를 추출하며, 상기 공간 내에 배치되며, 상기 1차 모델링 데이터의 기준점이 되는 기준 RTLS 태그에 대한 정보를 추출하고,
상기 배경 데이터 로딩 시, 상기 복수의 중계기와 상기 기준 RTLS 태그 사이의 통신에 기초하여 상기 1차 모델링 데이터의 기준점의 실제 공간 내 위치를 식별하고, 상기 기준점의 실제 공간 내 위치에 기초하여 상기 1차 모델링 데이터를 실제 공간의 좌표에 일치시켜 2차 모델링 데이터를 생성하는 동작을 수행하게 하는 명령들을 저장하는,
증강 현실 제공 장치.

An augmented reality (AR) providing device using a real-time location identification system (RTLS),
processor; and
a memory coupled to the processor;
The memory, when executed through the processor,
Recognize the connection of the AR terminal,
Identifying a space where the AR terminal is located;
loading background data based on the space where the AR terminal is located;
Grasp the location and viewing direction of the AR terminal in the space;
storing commands for generating AR content based on the background data, the location and viewing direction of the AR terminal, and transmitting the generated AR content to the AR terminal;
When the background data is loaded, primary modeling data for the space where the AR terminal is located is searched, information on a plurality of relays disposed in the space is extracted, disposed in the space, and the primary modeling data Extract information about the reference RTLS tag that becomes the reference point,
When the background data is loaded, a position in real space of a reference point of the primary modeling data is identified based on communication between the plurality of repeaters and the reference RTLS tag, and the primary modeling data is identified based on the position in real space of the reference point. To store commands that perform an operation of generating secondary modeling data by matching modeling data to coordinates in real space,
Augmented reality presentation device.

Images