KR20180102969A - The Method And Apparatus for Indoor Navigation Using Augmented Reality - Google Patents

The Method And Apparatus for Indoor Navigation Using Augmented Reality Download PDF

Info

Publication number
KR20180102969A
KR20180102969A KR1020170029764A KR20170029764A KR20180102969A KR 20180102969 A KR20180102969 A KR 20180102969A KR 1020170029764 A KR1020170029764 A KR 1020170029764A KR 20170029764 A KR20170029764 A KR 20170029764A KR 20180102969 A KR20180102969 A KR 20180102969A
Authority
KR
South Korea
Prior art keywords
information
communication terminal
mobile communication
unit
location
Prior art date
Application number
KR1020170029764A
Other languages
Korean (ko)
Other versions
KR101957446B1 (en
Inventor
김야일
강동화
구원겸
Original Assignee
주식회사 아트뷰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아트뷰 filed Critical 주식회사 아트뷰
Priority to KR1020170029764A priority Critical patent/KR101957446B1/en
Publication of KR20180102969A publication Critical patent/KR20180102969A/en
Application granted granted Critical
Publication of KR101957446B1 publication Critical patent/KR101957446B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)

Abstract

Disclosed are a method and an apparatus for an indoor navigation using augmented reality. The indoor navigation method using augmented reality in a mobile communication terminal, which includes a positioning unit, a local communication unit, a camera unit, and a display unit, includes the following steps: executing an application embedded in the mobile communication terminal; a location information collection step of collecting location information including information on a wireless access point adjacent to the local communication unit and information collected by the positioning unit on the moving direction or the movement between layers of the mobile communication terminal, by the application; calculating a current location of the mobile communication terminal by using the location information; a movement path generation step of generating movement route information according to the current location at a predetermined constant cycle; generating guide information corresponding to the current location from the movement route information by the application, upon intention to return to the vehicle; and displaying a combined image on the display unit by receiving an image photographed from the camera and combining the generated guide information with the image, by the application.

Description

증강현실을 이용한 실내 내비게이션 방법 및 장치 {The Method And Apparatus for Indoor Navigation Using Augmented Reality}Technical Field [0001] The present invention relates to an indoor navigation system and an indoor navigation system using an augmented reality,

본 실시예는 증강현실을 이용한 실내 내비게이션 방법 및 장치에 관한 것이다.The present embodiment relates to an indoor navigation method and apparatus using an augmented reality.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute the prior art.

대형 실내 또는 지하 주차장을 보유한 건물이나 쇼핑센터를 방문하여 차량을 주차하는 경우 GPS(Global Positioning System)를 통한 위치확인이 이루어질 수 없고, 다시 주차된 차량으로 되돌아 오는 경우 주차된 차량의 위치를 주차시에 기억해 두지 않는다면 자신의 차량을 찾기가 곤란한 경우가 종종 발생한다. When a vehicle is parked in a building or shopping center with a large indoor or underground parking lot, the position can not be confirmed through GPS (Global Positioning System). When returning to a parked vehicle, It is often difficult to find your own vehicle if you do not remember it.

최근에는 이러한 경우 대비하여 실내 내비게이션 서비스를 제공하는 대형 쇼핑몰이 생겨나고 있으나 그 정확도가 높지 않을 뿐더러 이러한 실내 내비게이션 안내를 제공하기 위해서는 실내 지도가 구축되어야 가능하고 실내 지도가 구축되지 않은 곳에서는 실내 내비게이션 안내를 제공하기 곤란하다는 문제가 있다.In recent years, a large shopping mall that provides indoor navigation service has been created, but the accuracy is not high. In order to provide such indoor navigation guidance, an indoor map can be constructed. In an indoor navigation map, Which is difficult to provide.

본 실시예는 실내 지도가 없더라도 실내 주차장을 보유한 건물에서 실내에 차량을 주차하고 쇼핑 혹은 업무를 보고 난 후 다시 주차된 차량으로 되돌아 올 때 증강현실을 이용하여 되돌아오는 경로를 안내하는 실내 내비게이션 방법 및 장치를 제공하는 데 목적이 있다.The present embodiment is directed to an indoor navigation method for guiding a return route using augmented reality when parking a vehicle in a building having an indoor parking lot and returning to a parked vehicle after shopping or work, The purpose of the device is to provide.

본 실시예의 일 측면에 의하면, 위치측위부, 근거리통신부, 카메라부 및 디스플레이부를 포함하는 이동통신단말기에 있어서, 상기 이동통신단말기에 내장된 애플리케이션이 실행되는 단계; 상기 애플리케이션은 상기 근거리통신부로부터 인접해 있는 AP(Access Point, 무선 액세스 포인트) 정보 및 상기 위치측위부가 수집한 상기 이동통신단말기의 이동 방향 또는 층간 이동 정보를 포함하는 위치측위정보를 수집하는 위치정보수집 단계; 상기 위치측위정보를 이용하여 상기 이동통신단말기의 현위치를 계산하는 단계; 기 설정된 일정한 주기로 상기 현위치에 따른 이동경로 정보를 생성하는 이동경로생성 단계; 상기 차량으로 되돌아가고자 하는 경우, 상기 애플리케이션이 상기 이동경로 정보에서 상기 현위치에 대응하는 안내정보를 생성하는 단계; 및 상기 애플리케이션이 상기 카메라로부터 촬영된 영상을 수신하고, 생성된 안내정보를 상기 영상에 결합하여 상기 디스플레이부에 표시하는 단계를 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 방법을 제공한다.According to an aspect of the present invention, there is provided a mobile communication terminal including a position locating unit, a local communication unit, a camera unit, and a display unit, the mobile communication terminal including an application embedded in the mobile communication terminal; The application includes location information collecting location location information including AP (Access Point) information adjacent to the local communication unit and location information including movement direction or inter-floor movement information of the mobile communication terminal, step; Calculating a current location of the mobile communication terminal using the location location information; A movement path generation step of generating movement path information according to the current position at a predetermined constant cycle; The application generating guiding information corresponding to the current location in the route information, when the user desires to return to the vehicle; And receiving the image photographed from the camera by the application, and combining the generated guide information with the image, and displaying the combined information on the display unit.

또한, 본 실시예의 다른 측면에 의하면, 이동통신단말기에 있어서, 상기 이동통신단말기의 이동방향 및 층간이동을 측위할 수 있는 위치측위부; AP로부터 AP 식별정보 및 무선수신 강도 지수 정보를 수신할 수 있는 근거리통신부; 카메라부; 상기 위치측위부로부터 수신한 이동방향 및 층간이동 정보와 상기 근거리통신부로부터 수신한 AP 정보로부터 상기 이동통신단말기의 현위치를 계산하고, 상기 카메라부로부터 수신한 영상 정보를 결합하는 실내에서 내비게이션 안내를 생성하는 애플리케이션; 및 상기 애플리케이션부터부터 안내정보를 수신하여 화면에 표시하는 디스플레이부를 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 장치를 제공한다.According to another aspect of the present invention, there is provided a mobile communication terminal, comprising: a positioning unit capable of positioning a moving direction and an interlayer movement of the mobile communication terminal; A short range communication unit capable of receiving AP identification information and radio reception strength index information from the AP; A camera section; A current position of the mobile communication terminal is calculated from the moving direction and the inter-floor movement information received from the position locating section and the AP information received from the local communication section, and a navigation guide in the room for combining the video information received from the camera section An application to generate; And a display unit for receiving the guidance information from the application and displaying the guidance information on a screen. The indoor navigation apparatus using the augmented reality is provided.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면 실내 지도가 없더라도 실내 내비게이션 안내가 가능하다. 종래의 실내 내비게이션 서비스는 실내 지도를 기반으로 내비게이션 서비스를 제공하고 있었으나, 대부분의 대형 지하 주차장이나 주차 건물을 보유한 쇼핑센터 등은 실내 지도를 보유하지 있지 않아 현실적인 내비게이션 서비스를 제공하기 어렵다는 문제가 있다. 또한 이러한 실내 지도를 구축하기 위해서는 상당한 비용이 소요되는 문제가 있다. As described above, according to the embodiment of the present invention, indoor navigation guidance is possible even without an indoor map. Conventional indoor navigation services provide navigation services based on indoor maps. However, most large underground parking lots and shopping centers having parking buildings do not have indoor maps, which makes it difficult to provide a realistic navigation service. In addition, there is a problem that it takes a considerable expense to construct such an indoor map.

본 실시예에 의하면 실내 지도가 없더라도 고객이 차량을 지하 주차장에 주차하고 자신이 주차한 장소를 기억하지 않고 이동하고, 엘리베이터나 에스컬레이트를 이용하여 이동하더라도 다시 주차된 장소까지 되돌아 갈 수 있는 방법을 제공할 할 수 있다.According to this embodiment, even if there is no indoor map, the customer can park the vehicle in the underground parking lot, move the vehicle without memorizing the parking place, and return to the parked place even if the vehicle is moved using the elevator or escalator I can do it.

도 1a는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션을 제공할 수 있는 이동통신단말기를 개략적으로 나타낸 블럭 구성도이다.
도 1b는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션을 제공하기 위한 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션을 제공할 수 있는 이동통신단말기에 내장된 애플리케이션을 개략적으로 나타낸 블럭 구성도이다.
도 3a는 본 실시예에 따른 AP에서 이동방향을 계산하는 로직을 개략적으로 나타낸 도면이다.
도 3b는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션 안내를 제공하기 위한 로직을 개략적으로 나타낸 도면이다.
도 4는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션 안내를 제공하는 예이다.
도 5는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션 안내를 제공하는 개략적인 과정을 나타낸 순서도이다.
1A is a block diagram schematically illustrating a mobile communication terminal capable of providing indoor navigation using an augmented reality according to the present embodiment.
1B is a block diagram schematically showing a system for providing indoor navigation using an augmented reality according to the present embodiment.
2 is a block diagram schematically illustrating an application embedded in a mobile communication terminal capable of providing indoor navigation using an augmented reality according to the present embodiment.
3A is a diagram schematically illustrating logic for calculating a moving direction in an AP according to the present embodiment.
FIG. 3B is a diagram schematically illustrating logic for providing an indoor navigation guidance using an augmented reality according to the present embodiment.
4 is an example of providing indoor navigation guidance using the augmented reality according to the present embodiment.
5 is a flowchart illustrating a schematic process of providing an indoor navigation guidance using an augmented reality according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 1a는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션을 제공할 수 있는 이동통신단말기를 개략적으로 나타낸 블럭 구성도이다.1A is a block diagram schematically showing a mobile communication terminal capable of providing indoor navigation using an augmented reality according to the present embodiment.

증강현실을 이용한 실내 내비게이션을 제공하기 위한 이동통신단말기(100)는 위치측위부(110), 카메라부(120), 저장부(130), 근거리통신부(140) 및 디스플레이부(150)를 포함한다. 이동통신단말기(100)의 각 구성요소는 버스(BUS), 유무선 통신 장치에 의해 서로 연결될 수 있고, 각 연결되는 구성요소는 서로 다른 형태에 의해 연결될 수 있다. 다만 이동통신단말기(100)의 구성요소는 이에 한정되는 것은 아니고 다양한 형태의 구성요소를 더 포함할 수 있다.The mobile communication terminal 100 for providing indoor navigation using an augmented reality includes a position locating unit 110, a camera unit 120, a storage unit 130, a local communication unit 140, and a display unit 150 . Each component of the mobile communication terminal 100 can be connected to each other by a bus (BUS), a wired / wireless communication device, and each connected component can be connected by different forms. However, the components of the mobile communication terminal 100 are not limited thereto, and may further include various types of components.

증강현실(Augmented Reality)이란 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여는 것을 말한다. Augmented Reality (Augmented Reality) is a technique of superimposing virtual objects on the real world that the user sees. It is a visualization of the virtual worlds with additional information in real time on the real world.

증강현실을 이용한 실내 내비게이션을 제공하기 위한 이동통신단말기(100)는 증강현실과 실내 내비게이션 서비스를 하나로 결합하기 위한 애플리케이션(200)을 포함한다. 이동통신단말기(100)에 포함된 애플리케이션(200)은 도 2에서 상세하게 설명하기로 한다.The mobile communication terminal 100 for providing indoor navigation using an augmented reality includes an application 200 for combining an augmented reality and an indoor navigation service into one. The application 200 included in the mobile communication terminal 100 will be described in detail with reference to FIG.

증강현실을 이용한 실내 내비게이션을 제공하기 위한 이동통신단말기(100)는 사용자의 키 조작에 따라 네트워크를 경유하여 각종 데이터를 송수신할 수 있는 전자기기를 의미한다. 이동통신단말기(110)는 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. 이동통신단말기(100)는 네트워크를 이용하여 음성 또는 데이터 통신을 수행하는 전자 장치를 의미한다. 이동통신단말기(100)는 네트워크를 경유하여 AP(410), 차량 및 위치확인서버(500)와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. The mobile communication terminal 100 for providing indoor navigation using an augmented reality means an electronic device capable of transmitting and receiving various data via a network in accordance with a key operation of a user. The mobile communication terminal 110 may be a tablet PC, a laptop, a personal computer (PC), a smart phone, a personal digital assistant (PDA) (Mobile Communication Terminal) or the like. The mobile communication terminal 100 refers to an electronic device that performs voice or data communication using a network. The mobile communication terminal 100 includes a memory for storing a program or a protocol for communicating with the AP 410, the vehicle and the location confirmation server 500 via a network, a microprocessor for executing and controlling the corresponding program And a mobile terminal.

이동통신말기(100)는 각기 (ⅰ) 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.The mobile terminal 100 includes a communication device such as (i) a communication modem for performing communication with various devices or wired / wireless communication networks, (ii) a memory for storing various programs and data, (iii) And a microprocessor for controlling the operation of the apparatus. According to at least one embodiment, the memory may be a computer such as a random access memory (RAM), a read only memory (ROM), a flash memory, an optical disk, a magnetic disk, or a solid state disk Readable recording / storage medium. According to at least one embodiment, a microprocessor can be programmed to selectively perform one or more of the operations and functions described in the specification. In accordance with at least one embodiment, the microprocessor may be implemented in hardware, such as an Application Specific Integrated Circuit (ASIC), in wholly or partially of a particular configuration.

위치측위부(110)는 지자기 센서(Magnetic Sensor), 자이로 센서(Gyro Sensor), 고도 센서(Barometer) 및 가속도 센서(Acceleration Sensor) 중 적어도 하나를 포함한다. 이동통신단말기(100)가 GPS 신호를 수신할 수 없는 대형 지하 주차장 또는 주차 건물에 있을 경우, 위치측위부(110)는 지자기 센서, 가속도 센서 및 자이로 센서 중 적어도 하나에 의해 이동통신단말기(100)가 이동하는 이동 방향을 측위할 수 있고, 고도 센서, 지자기 센서 중 적어도 하나에 의해 층간 이동을 측위할 수 있다.The position determination unit 110 includes at least one of a magnetic sensor, a gyro sensor, a barometer, and an acceleration sensor. When the mobile communication terminal 100 is located in a large underground parking lot or a parking building where GPS signals can not be received, the position locating unit 110 may detect the position of the mobile communication terminal 100 by at least one of a geomagnetic sensor, And the interlayer movement can be positioned by at least one of the altitude sensor and the geomagnetic sensor.

카메라부(120)는 이동통신단말기(100)가 증강현실을 이용한 실내 내비게이션을 제공하기 위하여 이동통신단말기(100)가 이동하는 전방의 영상을 촬영하고, 촬영된 영상을 애플리케이션(200)에 전달하여 애플리케이션(200)이 증강현실을 이용한 실내 내비게이션을 구현할 수 있도록 한다. The camera unit 120 captures an image of the front of the mobile communication terminal 100 in order to provide indoor navigation using the augmented reality and transmits the captured image to the application 200 So that the application 200 can implement indoor navigation using an augmented reality.

저장부(130)는 애플리케이션(200)이 저장되고 이동통신단말기(100)의 메인 메모리에 애플리케이션(200)이 로딩(Loading)되어 실행될 수 있도록 하며 차량이 주차된 후 목적지까지 이동통신단말기(100)의 이동하는 경로정보가 저장될 수 있다.The storage unit 130 stores the application 200 and loads and executes the application 200 in the main memory of the mobile communication terminal 100. After the vehicle is parked, Can be stored.

근거리통신부(140)는 Wi-Fi, 블루투스(Bluetooth), NFC(Near Frequency Communication) 및 비콘(Beacon) 장치 중 적어도 하나를 포함한다. 근거리통신부(140)는 AP(Access Point) 또는 비콘(Beacon)과 무선신호를 송수신하여 이동통신단말기(100)의 무선통신이 가능하도록 한다.The local communication unit 140 includes at least one of Wi-Fi, Bluetooth, Near Frequency Communication (NFC), and a beacon device. The short-range communication unit 140 transmits / receives a radio signal to / from an access point (AP) or a beacon to enable wireless communication of the mobile communication terminal 100.

근거리통신부(140)는 AP로부터 AP 식별정보 및 AP로부터 수신한 무선신호의 강도 지수 정보인 RSSI(Received Signal Strength Indication) 정보를 애플리케이션(200)에 전달한다. AP 식별정보(Identification)는 AP의 맥 주소(MAC Address), IP(Internet Protocol) 주소 및 고유번호 중 어느 하나로 이동통신단말기(100)는 AP 식별자를 통하여 AP가 설치된 위치를 위치확인서버(500)에 조회할 수 있다. The short-range communication unit 140 transmits the AP identification information and received signal strength indication (RSSI) information, which is intensity index information of a radio signal received from the AP, to the application 200 from the AP. The AP identification information indicates the location of the AP installed in the location confirmation server 500 through the AP identifier, using either the MAC address, the IP address, or the unique number of the AP. .

근거리통신부(140)는 실시간으로 무선신호 강도 지수 정보를 애플리케이션(200)에 전달한다. AP(410)로부터 수신한 무선신호의 강도는 이동통신단말기(100)와 AP 사이의 거리는 반비례 관계에 있어 이를 이용하여 이동통신단말기(100)와 AP 사이의 거리를 측정하는 것도 가능하다. The short-range communication unit 140 transmits the radio signal strength index information to the application 200 in real time. The strength of the radio signal received from the AP 410 is inversely proportional to the distance between the mobile communication terminal 100 and the AP so that the distance between the mobile communication terminal 100 and the AP can be measured.

또한 근거리통신부(140)가 복수의 AP(410)로부터 무선신호를 수신하는 경우 삼각측량법을 이용하여 이동통신단말기(100)의 정확한 위치를 측위하는 것도 가능하다. 이동통신단말기(100)가 무선신호를 수신한 AP의 정확한 위치를 위치측위서버(500)를 통해 수신하고, 각각의 무선신호 수신 강도 정보에 따라 거리를 계산한다면 이동통신단말기(100)의 위치를 정확하게 계산할 수 있게 된다.Also, when the short range communication unit 140 receives a radio signal from a plurality of APs 410, it is also possible to determine the exact position of the mobile communication terminal 100 using the triangulation method. If the mobile communication terminal 100 receives the precise position of the AP receiving the radio signal through the position location server 500 and calculates the distance according to the respective radio signal reception strength information, So that it can be accurately calculated.

근거리통신부(140)는 이동통신단말기(100)와 차량(300)을 무선으로 연결한다. 차량(300)의 시동이 꺼지는 경우, 차량(300)은 무선통신을 이용하여 이동통신단말기로 '전원 꺼짐(OFF)' 신호를 전송하고, 근거리통신부(140)를 이용하여 전원 꺼짐 신호를 수신한 이동통신단말기(100)는 저장부(130)에 있는 애플리케이션(200)을 실행한다. 근거리통신부(140)는 차량(300)으로부터 전원 꺼짐 신호를 수신하는 경우 애플리케이션을 구동하도록 하기 위하여 애플리케이션 구동부를 포함할 수 있다.The short-range communication unit 140 wirelessly connects the mobile communication terminal 100 and the vehicle 300. When the start of the vehicle 300 is turned off, the vehicle 300 transmits a 'power off' signal to the mobile communication terminal using the wireless communication, and receives the power off signal using the local communication unit 140 The mobile communication terminal 100 executes the application 200 in the storage unit 130. [ The short-range communication unit 140 may include an application driver for driving an application when receiving a power-off signal from the vehicle 300. [

애플리케이션(200)은 근거리통신부(140)를 통하여 수신한 AP 정보와 위치측위부(110)를 통하여 취득한 이동방향 및 층간 이동 내지 고도(높이) 정보를 하나로 합쳐 이동통신단말기(100)의 현위치와 현위치에서 이동하는 방향의 정북 방위각 내지 현위치를 기준으로 현위치 이전과 이후의 상대 방위각을 이용하여 이동방향 정보를 얻을 수 있다.The application 200 combines the AP information received through the short distance communication unit 140 with the moving direction and the inter-layer movement or altitude (height) information acquired through the location positioning unit 110, The moving direction information can be obtained using the relative azimuth angle before and after the current position with reference to the northward azimuth angle or the current position in the moving direction of the current position.

디스플레이부(150)는 카메라부(120)로부터 수신한 영상에 위치측위부(110)로부터 수신한 이동통신단말기(100)가 이동할 방향 정보를 결합하여 하나의 영상을 생성하고 이를 화면에 표시한다. 이동통신단말기(100)의 전방을 촬영한 영상에 이동경로 정보에서 안내정보를 추출하여 이를 영상과 함께 표시되도록 하여 자신이 이동할 방향을 현실과 동일한 화면에 표시하도록 하는 것이다.The display unit 150 combines the direction information of the mobile communication terminal 100 received from the position locating unit 110 with the image received from the camera unit 120 to generate a single image and display it on the screen. The guidance information is extracted from the movement route information on the image photographed in front of the mobile communication terminal 100 and is displayed together with the image so that the direction in which the mobile communication terminal 100 moves is displayed on the same screen as the reality.

이때 애플리케이션(200)은 카메라부(120)로부터 촬영된 영상의 화각, 해상도를 포함하는 영상메타정보를 수신하여 안내정보를 표시할 영상 내에서의 위치정보를 계산할 수 있다.At this time, the application 200 may receive the image meta information including the angle of view and resolution of the photographed image from the camera unit 120, and calculate the position information in the image to display the guide information.

도 1b는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션을 제공하기 위한 시스템을 개략적으로 나타낸 블럭 구성도이다.1B is a block diagram schematically showing a system for providing indoor navigation using an augmented reality according to the present embodiment.

도 1b는 이동통신단말기(100)가 AP(410)을 이용하여 위치를 확인하는 과정을 설명하기 위한 예이다. 본 실시예에 따른 증강현실을 이용한 실내 내비게이션 시스템은 이동통신단말기(100), 근거리무선통신 장치를 구비한 차량(300), 적어도 하나의 무선(Wireless) AP 및 위치확인서버(500)를 포함할 수 있다. 다만 본 발명의 기술적 사상에 의하면 위치확인서버(500)가 없더라 증강현실을 이용한 실내 내비게이션이 가능할 수 있으나, 위치확인서버(500)는 AP(410) 또는 비콘의 위치를 정확하게 알 수 있어 보다 이동통신단말기(100)의 위치측위의 정확도를 더 높이는 것이 가능하다.1B is an example for explaining a process of confirming the location of the mobile communication terminal 100 using the AP 410. Referring to FIG. The indoor navigation system using the augmented reality according to the present embodiment includes a mobile communication terminal 100, a vehicle 300 having a short range wireless communication device, at least one wireless AP, and a location confirmation server 500 . However, according to the technical idea of the present invention, indoor navigation using an augmented reality may be possible without the location confirmation server 500, but the location confirmation server 500 can accurately know the location of the AP 410 or the beacon, It is possible to further improve the accuracy of positional positioning of the terminal 100. [

이동통신단말기(100)의 근거리통신부(140)는 차량(300)이 시동이 꺼지면 차량(300)에 구비된 근거리무선통신 장치로부터 시동 꺼짐 신호를 수신하고 이동통신단말기(100)에 내장되어 있는 증강현실을 이용한 실내 내비게이션 애플리케이션(200)이 자동적으로 실행되도록 할 수 있다. 애플리케이션(100)이 실행되면 애플리케이션은 AP(410)로부터 무선신호를 수신한 근거리통신부(140)로부터 무선신호 강도가 가장 강한 AP의 식별정보와 무선신호 강도 지수 정보를 수신하고 이를 저장부(130)에 저장하거나, 근거리통신부(140)가 수신한 각 AP 식별정보와 각 AP의 무선신호 강도 지수 정보를 함께 저장하는 방식이 사용될 수 있다. 이동통신단말기(100)의 이동지점을 식별하기 위해서 이동통신단말기(100)가 수신한 복수의 AP의 MAC 주소와 각 AP의 무선신호 강도 지수 정보(RSSI)의 무선신호의 강도의 순위에 따른 배열로써 이동통신단말기(100)의 이동지점을 특정하는 고유한 식별정보를 부여하는 것이 가능하다. 다시 말해 근거리통신부(140)는 무선신호가 수신된 복수의 AP의 MAC 주소 및 각 AP의 무선신호 강도 지수 정보의 배열로써 현위치를 특정할 수 있다.The short range communication unit 140 of the mobile communication terminal 100 receives the start off signal from the short range wireless communication apparatus provided in the vehicle 300 when the vehicle 300 is turned off and transmits the start up signal to the mobile communication terminal 100 The indoor navigation application 200 using the reality can be automatically executed. When the application 100 is executed, the application receives the identification information of the AP having the strongest radio signal strength and the radio signal strength index information from the local communication unit 140 that received the radio signal from the AP 410, Or a method of storing the AP identification information received by the short range communication unit 140 and the radio signal strength index information of each AP together can be used. In order to identify the moving point of the mobile communication terminal 100, an array (not shown) of the MAC addresses of the plurality of APs received by the mobile communication terminal 100 and the strength of the radio signal strength of RSSI It is possible to give unique identification information specifying the moving point of the mobile communication terminal 100. [ In other words, the short-range communication unit 140 can identify the current location as a sequence of MAC addresses of a plurality of APs receiving the radio signal and radio signal strength index information of each AP.

또한 애플리케이션(200)은 수신한 AP 식별정보를 위치확인서버(500)에 전송하고, 위치확인서버(500)는 AP를 관리하기 위한 데이터베이스를 조회하여 AP 식별정보에 대응하는 AP의 위치정보를 이동통신단말기(100)로 전송할 수 있다.In addition, the application 200 transmits the received AP identification information to the location confirmation server 500, and the location check server 500 inquires the database for managing the AP to move the location information of the AP corresponding to the AP identification information To the communication terminal (100).

도 2는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션을 제공할 수 있는 이동통신단말기에 내장된 애플리케이션을 개략적으로 나타낸 블럭 구성도이다.2 is a block diagram schematically illustrating an application embedded in a mobile communication terminal capable of providing indoor navigation using an augmented reality according to the present embodiment.

증강현실을 이용한 실내 내비게이션을 위한 애플리케이션(Application, 200)은 애플리케이션 스토어(Store)를 이용하여 다운로드된 후 설치될 수 있으며 이동통신단말기(100) 상에 탑재되는 OS(Operating System)에 임베디드(Embedded) 형태로 탑재되거나, 사용자의 조작 또는 명령에 의해 이동통신단말기(100) 내에서 인스톨되는 형태로 탑재될 수 있다.The application 200 for indoor navigation using the augmented reality can be installed after being downloaded using an application store and is embedded in an OS (Operating System) mounted on the mobile communication terminal 100. [ Or installed in the mobile communication terminal 100 by a user's operation or command.

증강현실을 이용한 실내 내비게이션을 위한 애플리케이션(200)은 이동통신단말기(100) 에 탑재되어, 이동통신단말기(100)에 구비된 각종 하드웨어를 이용하여 동작하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 별도의 장치로 구현되어 동작될 수도 있고, 이동통신단말기(100) 내에 기 설치된 다른 애플리케이션들과 연동하여 동작할 수 있다.The application 200 for indoor navigation using the augmented reality is preferably installed in the mobile communication terminal 100 and operated using various hardware provided in the mobile communication terminal 100. However, And may operate in conjunction with other applications installed in the mobile communication terminal 100. [

애플리케이션(200)은 AP정보 처리부(210), 위치정보계산부(220), 이동경로 생성부(230) 및 안내정보 생성부(240)를 포함할 수 있다. 다만 애플리케이션(200)의 구성요소가 이에 한정되는 것은 아니고 다양한 형태의 구성요소를 더 포함할 수 있다.The application 200 may include an AP information processing unit 210, a position information calculation unit 220, a movement path generation unit 230, and a guide information generation unit 240. However, the components of the application 200 are not limited thereto, and may further include various types of components.

AP정보 처리부(210)는 근거리통신부(140)로부터 AP 식별정보 및 무선신호 수신 강조 지수 정보를 전달받아 이를 저장부(130)에 저장하고, AP 식별정보를 위치확인서버(500)에 전송하여 AP의 위치정보를 조회할 수 있다. The AP information processing unit 210 receives the AP identification information and the radio signal reception emphasis index information from the short range communication unit 140 and stores it in the storage unit 130. The AP information processing unit 210 transmits the AP identification information to the location confirmation server 500, It is possible to inquire the location information of the terminal.

위치정보계산부(220)는 기 설정된 일정한 시간 간격마다 위치측위부(110)로부터 전달받은 이동통신단말기(100)의 이동방향 및 층간 이동 정보와 AP 정보 처리부(210)로부터 전달받은 이동통신단말기(100)에 가장 근접한 AP의 정보 및 무선신호 수신 강도 지수 정보를 이용하여 이동통신단말기(100)의 현위치를 계산하고, 이동통신단말기(100)가 목적지에 도착할 때까지 현위치 계산을 반복하며, 다시 차량이 주차된 위치까지 되돌아가는 경우에도 현위치 계산을 반복한다.The position information calculation unit 220 calculates the position information of the mobile communication terminal 100 and the movement direction and interlayer movement information of the mobile communication terminal 100 received from the position determination unit 110 at predetermined time intervals, 100 and the radio signal reception strength index information to calculate the current position of the mobile communication terminal 100 and repeat the current position calculation until the mobile communication terminal 100 arrives at the destination, The current position calculation is repeated even when the vehicle returns to the parked position.

또한 위치정보계산부(220)는 복수의 AP로부터 무선신호를 수신하는 경우 전술한 바와 같이 AP의 무선신호 수신 강도 지수 정보를 이용하여 이동통신단말기(100)의 정확한 위치를 계산할 수 있다. 다만 이동통신단말기(100)의 현위치는 가장 근접한 AP와 무선신호 수신 강도 지수, 이동방향 및 층간 이동 정보에 의해 특정될 수 있으며, 이동통신단말기(100)에 의해 AP의 무선신호 수신 강도 지수를 이용한 거리측정이 가능한 경우에는 더욱 정밀하게 이동통신단말기(100)의 현위치를 계산할 수 있다.In addition, when receiving a radio signal from a plurality of APs, the positional information calculation unit 220 may calculate an accurate position of the mobile communication terminal 100 using the radio signal reception strength index information of the AP as described above. However, the current location of the mobile communication terminal 100 can be specified by the closest AP, radio signal reception strength index, moving direction, and inter-floor movement information, and the mobile communication terminal 100 can calculate the radio signal reception strength index It is possible to calculate the current position of the mobile communication terminal 100 more accurately.

이동경로 생성부(230)는 기 설정된 일정한 주기에 따라 위치정보계산부(220)에서 계산한 현위치 정보를 시계열적 순서에 따라 이동경로 정보를 저장하기 위한 데이터베이스에 저장한다. 이동경로 정보를 위한 데이터베이스는 저장부(130)에 저장될 수 있다. The movement path generation unit 230 stores the current position information calculated by the position information calculation unit 220 according to a predetermined fixed period in a database for storing movement path information in a time series sequence. The database for the route information may be stored in the storage unit 130. [

안내정보 생성부(240)는 위치정보계산부(220)로부터 이동통신단말기(100)의 현위치 정보를 전달받고, 저장부(130)에 저장되어 있는 이동경로 정보에서 현위치 정보에 대응하는 위치를 검색하여 현위치에서 이동해야 하는 방향 또는 층간 이동의 여부를 계산한다. 이때 각 이동지점에 대한 식별은 AP의 MAC 주소,와 무선신호 강도 지수 정보의 배열로, 층간 이동은 고도 센서 또는 지자기 센서를 포함하는 위치측위부(110)에 의해 판단할 있다. The guide information generation unit 240 receives the current location information of the mobile communication terminal 100 from the location information calculation unit 220 and receives the location information corresponding to the current location information from the movement route information stored in the storage unit 130 And calculates whether to move in the current position or between the layers. At this time, the identification of each mobile point is determined by the location determination unit 110 including the MAC address of the AP, and the arrangement of radio signal strength index information, and the interlayer movement includes an altitude sensor or a geomagnetic sensor.

현위치에서 이동 방향 또는 층간 이동에 관한 정보는 디스플레이부(150)에 전달되어 카메라부(120)로부터 수신한 영상과 함께 표시된다. 현위치에서 이동 방향을 계산하는 방법에 대해서는 도3에서 상세하게 설명한다.Information about the movement direction or the interlayer movement at the current position is transmitted to the display unit 150 and displayed together with the image received from the camera unit 120. [ The method of calculating the moving direction at the current position will be described in detail in Fig.

도 3a는 본 실시예에 따른 AP에서 이동방향을 계산하는 로직을 개략적으로 나타낸 도면이다.3A is a diagram schematically illustrating logic for calculating a moving direction in an AP according to the present embodiment.

이동통신단말기(100)의 위치 식별은 AP 또는 비콘의 식별정보와 무선신호 강도 지수 정보(RSSI)의 세기별로 식별할 수 있다. 이동통신단말기(100)가 복수의 AP 식별정보를 검출하고, 각 AP의 무선신호 강도 지수 정보의 순위를 메긴다면 각 AP에서 상대적인 거리를 측정하는 것이 가능하다.The location identification of the mobile communication terminal 100 can be identified by the identification of the AP or beacon and the strength of the radio signal strength index (RSSI). If the mobile communication terminal 100 detects a plurality of AP identification information and carries the rank of the radio signal strength index information of each AP, it is possible to measure a relative distance in each AP.

차량(300)에서 하차한 후 이동통신단말기(100)에서 증강현실을 이용한 실내 내비게이션을 위한 애플리케이션(200)이 구동된 후, 지자기 센서(Magnetic Sensor), 자이로 센서(Gyro Sensor), 고도 센서(Barometer) 및 가속도 센서(Acceleration Sensor) 중 적어도 하나를 포함하는 위치측위부(110)로부터 이동통신단말기(100)의 이동방향 및 고도 정보를 전달받고, 근거리통신부(140)로부터 AP 식별정보 및 무선신호 강도 지수 정보(RSSI)를 수신하고, 위치계산부(220)가 이동통신단말기(100)가 이들 정보로부터 현위치 정보를 생성한다. 기 설정된 일정한 시간의 간격에 따라 위치계산부(220)는 현위치 정보를 이동경로 생성부(230)에 전달하여 이동통신단말기(230)의 이동경로 정보를 생성한다. After the application 200 for the indoor navigation using the augmented reality is driven in the mobile communication terminal 100 after getting off the vehicle 300, the mobile communication terminal 100 may be operated by using a geomagnetic sensor, a gyro sensor, a barometer ) And an acceleration sensor, receives the moving direction and altitude information of the mobile communication terminal 100 from the position locating unit 110 and receives the AP identification information and the radio signal strength from the short range communication unit 140 (RSSI) from the mobile communication terminal 100, and the position calculation unit 220 generates current position information from the information. The location calculation unit 220 transmits the current location information to the movement route generation unit 230 to generate movement route information of the mobile communication terminal 230 at predetermined intervals of time.

이때 현위치 정보는 AP 식별정보, 정북을 기준으로 한 방위각, 이전 위치로부터 현위치까지의 방위각에 대한 진행하는 방향의 상대 방위각 중 적어도 하나를 포함할 수 있다.At this time, the current location information may include at least one of AP identification information, an azimuth based on north-north, and an azimuth relative to the azimuth from the previous location to the current location.

도 3a의 본 실시예는 지점1에서부터 지점5까지 이동하는 경우 지점1에서는 이동방향을 계산할 수 없지만, 지점2부터는 이전 지점에서의 정북을 기준으로 한 방위각의 상대각을 계산하여 이동통신단말기(100)의 이동 방향을 계산하는 것이 가능하다. 애플리케이션(200)은 기 설정된 일정한 시간 간격으로 이와 같이 반복적으로 현위치를 계산하여 목적지에 도달할 때까지 이동경로 정보를 생성할 수 있다.In the embodiment of FIG. 3A, when the mobile terminal 100 is moved from the point 1 to the point 5, the moving direction can not be calculated at the point 1, but from the point 2, the relative angle of the azimuth with respect to the north at the previous point is calculated, Can be calculated. The application 200 may repeatedly calculate the current position at a predetermined time interval and generate movement route information until the destination is reached.

도 3b는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션 안내를 제공하기 위한 로직을 개략적으로 나타낸 도면이다.FIG. 3B is a diagram schematically illustrating logic for providing an indoor navigation guidance using an augmented reality according to the present embodiment.

본 발명의 기술적 사상에 따른 증강현실을 이용한 실내 내비게이션은 차량(300)에서 하차한 후 이동통신단말기(100)의 애플리케이션(200)이 자동적으로 실행되고, 애플리케이션은 AP로부터 수신한 정보 및 위치측위부(110)로부터 수신한 위치정보를 이용하여 현위치 정보를 생성하는 과정을 기 설정된 일정한 시간 간격에 따라 수행하여 목적지에 도달할 때까지 반복하여 이동경로 정보를 생성한다.In the indoor navigation using the augmented reality according to the technical idea of the present invention, the application 200 of the mobile communication terminal 100 is automatically executed after getting off the vehicle 300, and the application receives information received from the AP, Generates the current location information using the location information received from the mobile terminal 110 according to a predetermined time interval and repeatedly generates the mobile route information until the destination is reached.

도 3b는 각 지점에서 수신하는 AP의 식별정보를 무선신호 강도 지수 정보의 세기 순서에 따라 표시한 것이다. 지점 1에서 근거리통신부(140)는 AP 식별자 A, D, B, C 순으로 강한 무선신호를 수신한 예이다. 이동경로 생성부(230)는 적어도 하나의 AP 식별자 및 AP의 무선신호 강도 지수 정보를 함께 저장하여 위치정보로 사용할 수 있다. 이때 이동통신단말기(100)의 이동지점은 (A, A의 무선신호 강도), (D, D의 무선신호 강도), (B, B의 무선신호 강도), (C, C의 무선신호 강도)의 배열로써 이동지점을 특정할 수 있고, 경우에 따라서는 이에 대한 고유한 식별번호를 부여하여 관리하는 것이 가능하다.FIG. 3B shows identification information of APs received at each point according to the order of intensity of the radio signal strength indicator information. In point 1, the short-range communication unit 140 receives strong radio signals in the order of AP identifiers A, D, B, and C in this order. The movement path generation unit 230 may store at least one AP identifier and radio signal strength index information of the AP together as position information. At this time, a moving point of the mobile communication terminal 100 is a wireless signal strength of A and A, a wireless signal strength of D and D, a wireless signal strength of B and B, It is possible to specify the moving point as an array of the moving object and, in some cases, assign a unique identification number to the moving point.

다만 이동경로 정보를 생성할 때 이동통신단말기(100)가 왔던 길을 반복하여 되돌아가거나 헤매는 경우 이동경로 정보에서 중첩된 경로를 제거하는 기술이 필요하다. 이와 같이 중첩되는 경로를 제거하기 위하여 AP와 무선수신 강도 지수가 동일하게 반복되는 경우 이를 하나의 묶어 하나의 가상의 지점이 설정되도록 하여 중첩되는 정보를 제거하는 정규화(Normalize) 과정을 거칠 수 있다.However, there is a need for a technique for removing the superimposed path from the mobile route information when the mobile communication terminal 100 repeatedly goes back and forth when it generates the mobile route information. In order to eliminate the overlapped path, when the AP and the Rx index are repeated the same, a normalization process may be performed to remove the overlapped information by setting one virtual point as a bundle.

도 3b에서 이동통신단말기(100)가 지점2와 지점3 사이를 반복적으로 오고 가는 경우 이동경로 정보에서 지점2 내지 지점3 사이의 중첩되는 이동경로 정보는 반복하여 저장될 필요가 없을 것이다. 반복되어 저장되는 경우, 이동통신단말기(100)가 차량(300)으로 되돌아가기 위하여 이동경로 정보에 따라 디스플레이부(150)에 안내정보가 지점2 내지 지점3에서 반복하여 표시될 것이다. 이러한 정규화 과정을 거치게 된다면 이동통신단말기(100)가 지점5에서 지점1까지 이동하더라도 지점3 에서부터 지점2까지 사이에 반복되는 경로 안내를 방지할 수 있다.In FIG. 3B, when the mobile communication terminal 100 repeatedly goes between the point 2 and the point 3, the superimposed moving route information between the points 2 and 3 in the moving route information will not need to be repeatedly stored. When the mobile communication terminal 100 is repeatedly stored, the guide information will be repeatedly displayed at the point 2 to the point 3 on the display unit 150 according to the movement route information so that the mobile communication terminal 100 returns to the vehicle 300. Even if the mobile communication terminal 100 moves from point 5 to point 1, it is possible to prevent repeated route guidance from point 3 to point 2 if the normalization process is performed.

도 4는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션 안내를 제공하는 예이다.4 is an example of providing indoor navigation guidance using the augmented reality according to the present embodiment.

도 4는 본 실시예에 따른 이동통신단말기(100)에 이동경로에 따라 이동 방향이 표시되는 증강현실을 이용한 실내 내비게이션의 실행화면의 예이다. 안내정보 생성부(240)는 카메라부(120)로부터 수신한 영상에 되돌아가야하는 방향 정보, 방위각, 이동 시간을 포함하는 안내에 필요한 다양한 형태의 정보를 표시할 수 있다.4 is an example of an execution screen of indoor navigation using the augmented reality in which the moving direction is displayed in the mobile communication terminal 100 according to the present embodiment. The guide information generating unit 240 may display various types of information required for guidance including direction information, azimuth angle, and movement time to be returned to the image received from the camera unit 120. [

도 5는 본 실시예에 따른 증강현실을 이용한 실내 내비게이션 안내를 제공하는 개략적인 과정을 나타낸 순서도이다.5 is a flowchart illustrating a schematic process of providing an indoor navigation guidance using an augmented reality according to the present embodiment.

이동통신단말기(100)의 근거리통신부(140)가 차량(300)으로부터 시동 꺼짐 신호를 수신하고, 증강현실을 이용한 실내 내비게이션을 동작하기 위한 애플리케이션(200)을 실행한다(S510). 이동통신단말기(100)는 이동통신단말기(100)에 가장 근접한 AP의 AP 식별정보 및 무선신호 수신 강도 지수 정보를 전달받아 이동통신단말기(100)의 현위치를 계산하여(S520) 이를 이동경로 생성부(230)에 전달한다.The local communication unit 140 of the mobile communication terminal 100 receives the start-off signal from the vehicle 300 and executes the application 200 for operating indoor navigation using the augmented reality (S510). The mobile communication terminal 100 receives the AP identification information and the radio signal reception strength index information of the AP closest to the mobile communication terminal 100 and calculates the current position of the mobile communication terminal 100 in step S520, (230).

이동경로 생성부(230)는 현위치 정보를 시계열적인 순서에 따라 저장부(130)에 저장하여 이동경로 정보를 생성한다(S530). 이때 이동경로 생성부(230)는 이동통신단말기(100)의 경로에서 반복되는 구간이 발견되는 경우에 이를 제거하여 차량(300)으로 되돌아 갈 때 반복 안내를 방지하도록 한다.The movement path generation unit 230 stores the current position information in the storage unit 130 in a time series order to generate movement path information (S530). At this time, when a repeated section is found in the path of the mobile communication terminal 100, the movement path generating unit 230 removes the repeated section to prevent repeated guidance when returning to the vehicle 300. [

이동통신단말기(100)가 목적지에 도착하였다가 다시 차량(300)으로 되돌아가는 경우, 애플리케이션(200)은 위치측위부(110)로부터 현위치 정보를 수신하고 이를 이동경로 정보에 매칭한다(S540). 애플리케이션(200)은 현위치에 대등하는 이동경로 정보에서 이동 방향 또는 층간 이동 정보를 포함하는 안내 정보를 추출하고(S550), 카메라부(120)로부터 수신한 현위치의 영상 정보에 안내 정보를 결합하여 하나의 영상으로 디스플레이부(150)를 통해 화면에 표시한다(S560).When the mobile communication terminal 100 arrives at the destination and then returns to the vehicle 300, the application 200 receives the current location information from the location determination unit 110 and matches the current location information with the travel route information (S540) . The application 200 extracts guidance information including movement direction or inter-floor movement information from the movement path information corresponding to the current position (S550), and combines the guidance information with the video information of the current position received from the camera unit 120 And displays it as a single image on the screen through the display unit 150 (S560).

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100 이동통신단말기 110 위치측위부
120 카메라부 130 저장부
140 근거리통신부 150 디스플레이부
200 애플리케이션
300 차량
410 AP
500 위치확인서버
100 mobile communication terminal 110 Position positioning unit
120 camera unit 130 storage unit
140 Local communication part 150 Display part
200 applications
300 vehicles
410 AP
500 location server

Claims (9)

위치측위부, 근거리통신부, 카메라부 및 디스플레이부를 포함하는 이동통신단말기에 있어서,
상기 이동통신단말기에 내장된 애플리케이션이 실행되는 단계;
상기 애플리케이션은 상기 근거리통신부로부터 인접해 있는 AP(Access Point, 무선 액세스 포인트) 정보 및 상기 위치측위부가 수집한 상기 이동통신단말기의 이동 방향 또는 층간 이동 정보를 포함하는 위치측위정보를 수집하는 위치정보수집 단계;
상기 위치측위정보를 이용하여 상기 이동통신단말기의 현위치를 계산하는 단계;
기 설정된 일정한 주기로 상기 현위치에 따른 이동경로 정보를 생성하는 이동경로생성 단계;
상기 차량으로 되돌아가고자 하는 경우, 상기 애플리케이션이 상기 이동경로 정보에서 상기 현위치에 대응하는 안내정보를 생성하는 단계; 및
상기 애플리케이션이 상기 카메라부로부터 촬영된 영상을 수신하고, 생성된 안내정보를 상기 영상에 결합하여 상기 디스플레이부에 표시하는 단계
를 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 방법.
A mobile communication terminal including a position locating unit, a local communicating unit, a camera unit, and a display unit,
Executing an application embedded in the mobile communication terminal;
The application includes location information collecting location location information including AP (Access Point) information adjacent to the local communication unit and location information including movement direction or inter-floor movement information of the mobile communication terminal, step;
Calculating a current location of the mobile communication terminal using the location location information;
A movement path generation step of generating movement path information according to the current position at a predetermined constant cycle;
The application generating guiding information corresponding to the current location in the route information, when the user desires to return to the vehicle; And
The application receiving an image photographed from the camera unit, combining the generated guide information with the image and displaying the combined information on the display unit
The method of claim 1, further comprising:
제 1 항에 있어서
상기 애플리케이션이 실행되는 단계는,
상기 이동통신단말기가 차량으로부터 시동 꺼짐 신호를 수신하면 상기 애플리케이션이 구동되는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 방법.
The method of claim 1, wherein
Wherein the step of executing the application comprises:
And when the mobile communication terminal receives a start-off signal from the vehicle, the application is driven.
제 1 항에 있어서,
상기 위치정보수집 단계에서 수집하는 위치계산정보는 상기 AP의 무선신호 수신 강도 지수 정보(RSSI, Received Signal Strength Indication), 상기 이동통신단말기의 정북방향의 방위각, 상기 이동통신단말기의 상기 현위치에서 진행방향으로부터의 방위각 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 방법.
The method according to claim 1,
The location calculation information collected in the location information collection step may include at least one of received signal strength indication (RSSI) of the AP, azimuth of the mobile communication terminal in the north direction, Wherein the azimuth angle from the azimuthal direction is calculated from the azimuth angle from the azimuth direction.
제 1 항에 있어서,
상기 위치계산 단계에서 상기 이동통신단말기의 위치정보는 적어도 하나의 AP 식별정도, AP의 무선수신 강도 지수 정보, 상기 위치측위부로부터 수신한 방위각 및 이동 방향 정보를 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 방법.
The method according to claim 1,
Wherein the position information of the mobile communication terminal includes at least one AP identification degree, radio reception strength index information of the AP, azimuth angle and movement direction information received from the position determination unit, Indoor navigation method using.
제 1 항에 있어서,
상기 이동경로 안내 단계는 상기 이동경로 정보 상에서 상기 현위치에 대응하는 위치를 계산하는 단계;
상기 이동경로 정보로부터 상기 현위치에 대응하는 상기 이동경로 정보로부터 상기 이동통신단말기가 이동할 이동방향을 추출하는 단계; 및
상기 영상에 상기 이동방향을 표시하는 단계
를 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 방법.
The method according to claim 1,
The moving route guiding step may include calculating a position corresponding to the current position on the moving route information;
Extracting a movement direction in which the mobile communication terminal moves from the movement route information corresponding to the current position from the movement route information; And
Displaying the moving direction on the image
The method of claim 1, further comprising:
제 1 항에 있어서,
상기 이동경로생성 단계에서 이동경로 생성부가 이동경로 중 두 지점 사이의 경로가 반복되는 경우에 반복을 제거하는 이동경로 정규화 단계를 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 방법.
The method according to claim 1,
And a movement path normalization step of removing the repetition if a path between the two points of the movement path generation section is repeated in the movement path generation step.
제 1 항에 있어서,
상기 이동통신단말기는 무선신호를 수신한 AP의 식별정보를 위치확인서버에 전송하고, 상기 위치확인서버로부터 AP의 위치정보를 수신하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 방법.
The method according to claim 1,
Wherein the mobile communication terminal transmits the identification information of the AP that received the wireless signal to the location confirmation server and receives the location information of the AP from the location confirmation server.
이동통신단말기에 있어서,
상기 이동통신단말기의 이동방향 및 층간이동을 측위할 수 있는 위치측위부;
AP로부터 AP 식별정보 및 무선신호 수신 강도 지수 정보를 수신할 수 있는 근거리통신부;
카메라부;
상기 위치측위부로부터 수신한 이동방향 및 층간이동 정보와 상기 근거리통신부로부터 수신한 AP 정보로부터 상기 이동통신단말기의 현위치를 계산하고, 상기 카메라부로부터 수신한 영상 정보를 결합하는 실내에서 내비게이션 안내를 생성하는 애플리케이션; 및
상기 애플리케이션부터부터 안내정보를 수신하여 화면에 표시하는 디스플레이부
를 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 장치.
A mobile communication terminal,
A positioning unit capable of positioning the movement direction and interlayer movement of the mobile communication terminal;
A short range communication unit capable of receiving AP identification information and radio signal reception strength index information from the AP;
A camera section;
Calculates the current position of the mobile communication terminal from the moving direction and inter-layer movement information received from the position locating section and the AP information received from the local communication section, and provides navigation guidance in the room for combining the video information received from the camera section An application to generate; And
A display unit which receives guidance information from the application and displays the guide information on the screen,
And an indoor navigation device using the augmented reality.
제 8 항에 있어서,
상기 애플리케이션은,
상기 이동통신단말기에 가장 근접한 상기 AP로부터 AP 식별정보 및 무선수신 강도 지수 정보를 수신하는 AP 정보 처리부;
상기 위치측위부로부터 상기 이동통신단말기의 이동 방향 및 층간 이동 정보를 수신하고 상기 AP 정보 처리부로부터 수신한 AP 정보에 따라 상기 이동통신단말기의 현위치 정보를 생성하는 위치정보계산부;
기 설정된 일정한 주기로 상기 위치정보계산부로부터 수신한 현위치 정보에 따라 상기 이동통신단말기의 이동경로 정보를 생성하는 이동경로 생성부; 및
상기 카메라부로부터 수신한 영상과 상기 이동경로 정보에서 상기 현위치 정보에 대응하는 안내 정보를 생성하는 안내정보 생성부
를 포함하는 것을 특징으로 하는 증강현실을 이용한 실내 내비게이션 장치.

9. The method of claim 8,
The application comprises:
An AP information processing unit for receiving AP identification information and radio reception strength index information from the AP closest to the mobile communication terminal;
A position information calculation unit which receives the movement direction and inter-layer movement information of the mobile communication terminal from the position determination unit and generates current position information of the mobile communication terminal according to the AP information received from the AP information processing unit;
A movement path generation unit for generating movement path information of the mobile communication terminal according to current position information received from the position information calculation unit at a predetermined constant cycle; And
A guide information generating unit for generating guide information corresponding to the current position information from the image received from the camera unit and the movement route information,
And an indoor navigation device using the augmented reality.

KR1020170029764A 2017-03-08 2017-03-08 The Method And Apparatus for Indoor Navigation Using Augmented Reality KR101957446B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170029764A KR101957446B1 (en) 2017-03-08 2017-03-08 The Method And Apparatus for Indoor Navigation Using Augmented Reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170029764A KR101957446B1 (en) 2017-03-08 2017-03-08 The Method And Apparatus for Indoor Navigation Using Augmented Reality

Publications (2)

Publication Number Publication Date
KR20180102969A true KR20180102969A (en) 2018-09-18
KR101957446B1 KR101957446B1 (en) 2019-06-19

Family

ID=63718480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170029764A KR101957446B1 (en) 2017-03-08 2017-03-08 The Method And Apparatus for Indoor Navigation Using Augmented Reality

Country Status (1)

Country Link
KR (1) KR101957446B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110207701A (en) * 2019-04-16 2019-09-06 北京旷视科技有限公司 Method, apparatus, terminal device and the computer storage medium of indoor navigation

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102357138B1 (en) * 2019-08-22 2022-01-28 이준서 Augmented Reality Based Parking Guidance System
KR102447171B1 (en) 2022-03-18 2022-09-27 헬리오센 주식회사 Building touring guide marking system for metaverse

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012073326A1 (en) * 2010-11-30 2012-06-07 パイオニア株式会社 Information generating device, information generating method, and information generating program, and server
KR20150017792A (en) * 2013-08-07 2015-02-23 한국주차설비공업협동조합 Application program for providing return routes and parking location providing system therefor
KR101549144B1 (en) * 2014-11-28 2015-09-02 에이투엠 주식회사 Position recording device
KR101643292B1 (en) * 2016-05-30 2016-07-27 (주) 맑은생각 System for checking of parking positioning and method for checking of parking positioning using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012073326A1 (en) * 2010-11-30 2012-06-07 パイオニア株式会社 Information generating device, information generating method, and information generating program, and server
KR20150017792A (en) * 2013-08-07 2015-02-23 한국주차설비공업협동조합 Application program for providing return routes and parking location providing system therefor
KR101549144B1 (en) * 2014-11-28 2015-09-02 에이투엠 주식회사 Position recording device
KR101643292B1 (en) * 2016-05-30 2016-07-27 (주) 맑은생각 System for checking of parking positioning and method for checking of parking positioning using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110207701A (en) * 2019-04-16 2019-09-06 北京旷视科技有限公司 Method, apparatus, terminal device and the computer storage medium of indoor navigation

Also Published As

Publication number Publication date
KR101957446B1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
KR102009021B1 (en) Method for ensuring continuity of service of a personal navigation device and device thereof
KR101785161B1 (en) System and method for determining indoor position
CN103424113B (en) Indoor positioning and navigating method of mobile terminal based on image recognition technology
US9304970B2 (en) Extended fingerprint generation
CN106485934B (en) Method and device for finding target vehicle through reverse navigation
KR102197704B1 (en) Augmented Reality Based Parking Guidance System in Indoor Parking Lot
JP7436655B2 (en) Vehicle parking management method, electronic device, and computer storage medium
KR101694728B1 (en) Apparatus and method for gathering indoor reference point and heterogeneous wireless infra measurement information
CN108347691A (en) A kind of localization method and equipment
KR101465974B1 (en) Method and apparatus for position detecting and communication of device
CN106682970B (en) Method, client and system for opening shared traffic tool
JP2003111128A (en) Method of specifying present location, method of providing information on present location, method of guiding moving route, position information management system, and information communication terminal
KR101957446B1 (en) The Method And Apparatus for Indoor Navigation Using Augmented Reality
US20190147743A1 (en) Vehicle guidance based on location spatial model
KR20170104907A (en) Method for estimating indoor position and method for providing parking path using the same
KR20180094493A (en) Method and system for creating indoor map
KR102622585B1 (en) Indoor navigation apparatus and method
JP2020143901A (en) Moving body position measurement system
KR20140056441A (en) System, apparatus and method for servicing interior infra
CN112349127A (en) Method, terminal and analysis system for searching vehicle in parking lot
CN114554391A (en) Parking lot vehicle searching method, device, equipment and storage medium
CN113556680B (en) Fingerprint data processing method, medium and mobile robot
JP2011113245A (en) Position recognition device
CN113739784A (en) Positioning method, user equipment, storage medium and electronic equipment
CN105283873B (en) Method and system for discovering one or more persons passing by a vehicle

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant