KR20240021098A - Device and method for obtaining location information indoor space - Google Patents

Device and method for obtaining location information indoor space Download PDF

Info

Publication number
KR20240021098A
KR20240021098A KR1020230034113A KR20230034113A KR20240021098A KR 20240021098 A KR20240021098 A KR 20240021098A KR 1020230034113 A KR1020230034113 A KR 1020230034113A KR 20230034113 A KR20230034113 A KR 20230034113A KR 20240021098 A KR20240021098 A KR 20240021098A
Authority
KR
South Korea
Prior art keywords
information
electronic device
real
location
code
Prior art date
Application number
KR1020230034113A
Other languages
Korean (ko)
Inventor
류지훈
임하민
박성훈
이홍진
성기선
Original Assignee
주식회사 아이디씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이디씨티 filed Critical 주식회사 아이디씨티
Publication of KR20240021098A publication Critical patent/KR20240021098A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/077—Constructional details, e.g. mounting of circuits in the carrier
    • G06K19/07701—Constructional details, e.g. mounting of circuits in the carrier the record carrier comprising an interface suitable for human interaction
    • G06K19/07713—Constructional details, e.g. mounting of circuits in the carrier the record carrier comprising an interface suitable for human interaction the interface, upon reception of an interrogation signal, being capable of signaling to indicate its position to a user or a detection device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/06093—Constructional details the marking being constructed out of a plurality of similar markings, e.g. a plurality of barcodes randomly oriented on an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G06K7/10376—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable
    • G06K7/10386—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable the interrogation device being of the portable or hand-handheld type, e.g. incorporated in ubiquitous hand-held devices such as PDA or mobile phone, or in the form of a portable dedicated RFID reader
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/2753—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content
    • H04M1/2755—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content by optical scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Navigation (AREA)

Abstract

카메라; 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 카메라를 이용하여, 실시간 영상을 촬영하고, 상기 실시간 영상으로부터 실내 공간의 소정의 위치에 고정된 다면체 객체 상에 배치된 제1 비주얼 코드를 인식하고, 상기 제1 비주얼 코드에 대응하는 코드 위치 정보를 획득하고, 상기 제1 비주얼 코드에 대응하는 코드 위치 정보에 기초하여, 전자 장치의 실시간 위치 정보를 획득하고, 상기 실시간 위치 정보에 대응하는 상기 실내 공간의 지도 정보를 획득하고, 상기 디스플레이를 통해, 상기 획득된 지도 정보 상에 상기 실시간 위치 정보에 대응하는 위치 인디케이터를 디스플레이 하고, 상기 실내 공간의 복수의 위치에 각 위치 정보를 포함하는 비주얼 코드를 포함하는 복수의 다면체 객체가 배치되고, 각각의 다면체 객체의 복수의 면 각각에 상기 비주얼 코드가 배치되는, 전자 장치가 제공된다.camera; display; a memory storing at least one instruction; and at least one processor, wherein the at least one processor executes the at least one instruction to capture a real-time image using the camera and fix the image at a predetermined location in the indoor space from the real-time image. recognize the first visual code placed on the polyhedral object, obtain code location information corresponding to the first visual code, and based on the code location information corresponding to the first visual code, real-time location of the electronic device Obtain information, obtain map information of the indoor space corresponding to the real-time location information, display a location indicator corresponding to the real-time location information on the obtained map information through the display, and display the indoor space An electronic device is provided in which a plurality of polyhedral objects including a visual code including each location information are disposed at a plurality of positions, and the visual code is disposed on each of a plurality of faces of each polyhedral object.

Figure P1020230034113
Figure P1020230034113

Description

실내 공간에서 위치 정보를 획득하는 장치 및 방법 {Device and method for obtaining location information indoor space}Device and method for obtaining location information indoor space}

본 개시의 실시예들은 실내 공간에서 위치 정보를 획득하는 전자 장치, 전자 장치 제어 방법, 및 전자 장치 제어 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.Embodiments of the present disclosure relate to an electronic device for obtaining location information in an indoor space, a method for controlling an electronic device, and a computer-readable recording medium on which a program for performing the method for controlling the electronic device is recorded.

사용자의 위치 정보를 이용한 다양한 기능 및 서비스가 전자 장치에서 제공되고 있다. 예를 들면, 전자 장치는 사용자의 위치 정보를 이용하여, 네비게이션, 위치 맞춤 정보 제공, 광고 서비스 등을 수행할 수 있다. 위치 정보를 제공하는 대표적인 기술로 GNSS(Global Navigation Satellite System)이 널리 이용되고 있다. GNSS는 위성으로부터 수신된 정보를 바탕으로 전자 장치의 위치 정보를 산출하는 기술이다. GNSS는 실시간 위성 정보를 이용하여 높은 정확도의 위치 정보를 제공할 수 있다. 그런데 GNSS는 위성으로부터 수신된 정보를 이용하기 때문에, 실내 공간, 지하 시설 등과 같이 위성과의 적선 거리 통신(LOS, Line of Sight)에 장애가 있는 GNSS 음영 지역에서는 전자 장치의 위치를 파악하기 어려운 한계가 있다. 그런데 실내 공간에서도 위치 정보를 이용한 다양한 기능 및 서비스를 제공하고자 하는 다양한 요구가 있기 때문에, 실내 공간에서 위치 정보를 제공할 수 있는 기술이 요구되고 있다.Various functions and services using user location information are provided in electronic devices. For example, an electronic device can use the user's location information to perform navigation, provide location-customized information, and provide advertising services. GNSS (Global Navigation Satellite System) is widely used as a representative technology that provides location information. GNSS is a technology that calculates location information for electronic devices based on information received from satellites. GNSS can provide high accuracy location information using real-time satellite information. However, because GNSS uses information received from satellites, it is difficult to determine the location of electronic devices in GNSS shaded areas where there is an obstacle to line of sight (LOS) communication with satellites, such as indoor spaces and underground facilities. there is. However, because there are various demands for providing various functions and services using location information even in indoor spaces, there is a demand for technology that can provide location information in indoor spaces.

본 개시의 일 실시예의 일 측면에 따르면, 카메라; 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 카메라를 이용하여, 실시간 영상을 촬영하고, 상기 실시간 영상으로부터 실내 공간의 소정의 위치에 고정된 다면체 객체 상에 배치된 제1 비주얼 코드를 인식하고, 상기 제1 비주얼 코드에 대응하는 코드 위치 정보를 획득하고, 상기 제1 비주얼 코드에 대응하는 코드 위치 정보에 기초하여, 전자 장치의 실시간 위치 정보를 획득하고, 상기 실시간 위치 정보에 대응하는 상기 실내 공간의 지도 정보를 획득하고, 상기 디스플레이를 통해, 상기 획득된 지도 정보 상에 상기 실시간 위치 정보에 대응하는 위치 인디케이터를 디스플레이 하고, 상기 실내 공간의 복수의 위치에 각 위치 정보를 포함하는 비주얼 코드를 포함하는 복수의 다면체 객체가 배치되고, 각각의 다면체 객체의 복수의 면 각각에 상기 비주얼 코드가 배치되는, 전자 장치가 제공된다.According to one aspect of an embodiment of the present disclosure, a camera; display; a memory storing at least one instruction; and at least one processor, wherein the at least one processor executes the at least one instruction to capture a real-time image using the camera and fix the image at a predetermined location in the indoor space from the real-time image. recognize the first visual code placed on the polyhedral object, obtain code location information corresponding to the first visual code, and based on the code location information corresponding to the first visual code, real-time location of the electronic device Obtain information, obtain map information of the indoor space corresponding to the real-time location information, display a location indicator corresponding to the real-time location information on the obtained map information through the display, and display the indoor space An electronic device is provided in which a plurality of polyhedral objects including a visual code including each location information are disposed at a plurality of positions, and the visual code is disposed on each of a plurality of faces of each polyhedral object.

또한, 본 개시의 일 실시예에 따르면, 상기 코드 위치 정보는 위도와 경도에 대응하는 좌표 정보, 및 상기 실내 공간의 식별 정보를 포함하고, 상기 실내 공간의 지도 정보는, 상기 실내 공간의 식별 정보에 대응하는 지도 정보이고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 실내 공간의 식별 정보에 기초하여, 상기 실내 공간의 지도 정보를 획득하고, 상기 지도 정보 중 상기 좌표 정보에 대응하는 제1 지도 영역을 식별하고, 상기 위치 인디케이터를 상기 제1 지도 영역 상에서 상기 좌표 정보에 대응하는 위치에 디스플레이할 수 있다.Additionally, according to an embodiment of the present disclosure, the code location information includes coordinate information corresponding to latitude and longitude, and identification information of the indoor space, and the map information of the indoor space includes identification information of the indoor space. It is map information corresponding to, and the at least one processor acquires map information of the indoor space based on the identification information of the indoor space by executing the at least one instruction, and selects the coordinates of the map information. A first map area corresponding to the information may be identified, and the location indicator may be displayed at a position corresponding to the coordinate information on the first map area.

또한, 본 개시의 일 실시예에 따르면, 상기 코드 위치 정보는 위도와 경도에 대응하는 좌표 정보, 및 상기 실내 공간이 배치된 건축물 내에서의 층수를 나타낸 층수 정보를 포함하고, 상기 실내 공간의 지도 정보는, 상기 좌표 정보 및 상기 층수 정보의 조합에 대응하는 지도 정보이고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 실내 공간의 상기 좌표 정보 및 상기 층수 정보에 기초하여, 상기 실내 공간의 지도 정보를 획득하고, 상기 지도 정보 중 상기 좌표 정보에 대응하는 제1 지도 영역을 식별하고, 상기 위치 인디케이터를 상기 제1 지도 영역 상에서 상기 좌표 정보에 대응하는 위치에 디스플레이할 수 있다.In addition, according to an embodiment of the present disclosure, the code location information includes coordinate information corresponding to latitude and longitude, and floor number information indicating the number of floors in a building where the indoor space is located, and a map of the indoor space. The information is map information corresponding to a combination of the coordinate information and the floor number information, and the at least one processor executes the at least one instruction based on the coordinate information and the floor number information of the indoor space. , obtain map information of the indoor space, identify a first map area corresponding to the coordinate information among the map information, and display the location indicator at a position corresponding to the coordinate information on the first map area. there is.

또한, 본 개시의 일 실시예에 따르면, 상기 코드 위치 정보는, 해당 위치의 속성을 나타내는 위치 속성 정보를 포함하고, 상기 위치 속성 정보는, 주요 위치 인덱스, 분기점 인덱스, 또는 출입구 인덱스 중 적어도 하나를 포함하고, 상기 다면체 객체는 상기 실내 공간의 주요 위치, 분기점, 또는 출입구 중 적어도 하나에 배치될 수 있다.In addition, according to an embodiment of the present disclosure, the code location information includes location attribute information indicating properties of the location, and the location attribute information includes at least one of a main location index, a junction index, and an entrance index. Including, the polyhedral object may be placed at least one of a main location, a branch point, or an entrance of the indoor space.

또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 실시간 영상으로부터 상기 제1 비주얼 코드의 크기 정보를 획득하고, 상기 제1 비주얼 코드의 크기 정보에 기초하여, 상기 제1 비주얼 코드까지의 거리를 산출하고, 상기 제1 비주얼 코드의 코드 위치 정보, 및 상기 비주얼 코드까지의 거리에 기초하여, 상기 전자 장치의 상기 실시간 위치 정보를 획득할 수 있다.Additionally, according to an embodiment of the present disclosure, the at least one processor acquires size information of the first visual code from the real-time image by executing at least one instruction, and determines the size of the first visual code by executing at least one instruction. Based on the size information, calculate the distance to the first visual code, and obtain the real-time location information of the electronic device based on the code location information of the first visual code and the distance to the visual code. You can.

또한, 본 개시의 일 실시예에 따르면, 상기 다면체의 복수의 면의 각각에 배치된 비주얼 코드는 서로 다른 코드에 대응하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 복수의 면의 각각에 배치된 비주얼 코드의 조합에 기초하여, 상기 다면체에 대한 상기 전자 장치의 방향 정보를 획득하고, 상기 제1 비주얼 코드의 코드 위치 정보, 상기 거리 정보, 및 상기 방향 정보에 기초하여, 상기 전자 장치의 상기 실시간 위치 정보를 획득할 수 있다.Additionally, according to an embodiment of the present disclosure, visual codes arranged on each of the plurality of faces of the polyhedron correspond to different codes, and the at least one processor executes the at least one instruction, Obtaining direction information of the electronic device with respect to the polyhedron based on a combination of visual codes arranged on each of the plurality of faces, based on the code position information, the distance information, and the direction information of the first visual code Thus, the real-time location information of the electronic device can be obtained.

또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 카메라를 이용하여, 동영상 형태의 상기 실시간 영상을 반복적으로 촬영하고, 상기 실시간 영상으로부터 인식된 상기 제1 비주얼 코드의 크기 정보 및 상기 방향 정보를 반복적으로 업데이트하고, 상기 업데이트된 상기 크기 정보 및 상기 방향 정보에 기초하여 상기 실시간 위치 정보를 반복적으로 업데이트하고, 상기 업데이트 된 실시간 위치 정보에 기초하여, 상기 실시간 위치 정보에 대응하는 위치 인디케이터의 위치를 반복적으로 업데이트할 수 있다.In addition, according to an embodiment of the present disclosure, the at least one processor repeatedly captures the real-time image in the form of a video using the camera by executing at least one instruction, and Repeatedly updating the size information and the direction information of the recognized first visual code, repeatedly updating the real-time location information based on the updated size information and the direction information, and updating the real-time location information based on the updated real-time location information. Based on this, the location of the location indicator corresponding to the real-time location information can be repeatedly updated.

또한, 본 개시의 일 실시예에 따르면, 상기 전자 장치는, 기울기를 검출하는 기울기 센서를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 기울기 센서에 의해 검출된 기울기 정보에 기초하여, 상기 전자 장치가 중력 방향에 대해 제1 범위의 각도로 기울어진 제1 배치 상태 또는 상기 전자 장치가 상기 중력 방향에 대해 제2 범위의 각도로 기울어진 제2 배치 상태를 식별하고, 상기 제1 배치 상태에서, 상기 디스플레이의 제1 영역에, 상기 지도 정보 상에 상기 위치 인디케이터를 디스플레이한 제1 GUI(Graphic user interface) 뷰를 디스플레이하고, 상기 디스플레이의 제2 영역에 상기 실시간 영상 상에 인식된 상기 제1 비주얼 코드의 인디케이터를 나타낸 제2 GUI 뷰를 디스플레이하고, 상기 제2 배치 상태에서, 상기 디스플레이에 상기 제2 GUI 뷰 없이 상기 제1 GUI 뷰를 디스플레이할 수 있다.Additionally, according to an embodiment of the present disclosure, the electronic device further includes a tilt sensor that detects a tilt, and the at least one processor detects the tilt by the tilt sensor by executing the at least one instruction. Based on the tilt information, a first arrangement state in which the electronic device is tilted at an angle in a first range with respect to the direction of gravity or a second arrangement state in which the electronic device is tilted in an angle in a second range with respect to the direction of gravity. and, in the first arrangement state, display a first graphical user interface (GUI) view displaying the location indicator on the map information in a first area of the display, and display the first graphical user interface (GUI) view displaying the location indicator on the map information in a first area of the display. A second GUI view showing an indicator of the first visual code recognized on a real-time image may be displayed, and in the second arrangement state, the first GUI view may be displayed on the display without the second GUI view.

또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 실시간 영상 상에서 상기 제1 비주얼 코드를 지면에 프로젝션하여 생성된 지면 위치 인디케이터를 상기 실시간 영상 상에 디스플레이할 수 있다.In addition, according to an embodiment of the present disclosure, the at least one processor, by executing at least one instruction, displays a ground position indicator generated by projecting the first visual code on the real-time image onto the ground in the real-time. It can be displayed on video.

또한, 본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 기 적어도 하나의 인스트럭션을 실행함에 의해, 사용자에 의해 입력된 관심 객체의 위치 정보를 획득하고, 상기 실시간 위치 정보에 대응하는 위치로부터 상기 관심 객체의 위치로 이동하기 위한 이동 경로 정보를 생성하고, 상기 이동 경로 정보를 상기 실시간 영상 또는 상기 지도 정보 상에 디스플레이할 수 있다.Additionally, according to an embodiment of the present disclosure, the at least one processor acquires location information of the object of interest input by the user by executing at least one instruction, and determines the location corresponding to the real-time location information. Movement route information for moving to the location of the object of interest may be generated, and the movement route information may be displayed on the real-time image or the map information.

또한, 본 개시의 일 실시예에 따르면, 상기 복수의 다면체 객체 각각에 포함된 비주얼 코드는, ArUco 마커에 대응하고, 상기 비주얼 코드의 코드 위치 정보는 w3w(what3words) 방식에 의해 정의될 수 있다.Additionally, according to an embodiment of the present disclosure, the visual code included in each of the plurality of polyhedral objects corresponds to an ArUco marker, and the code location information of the visual code may be defined by the w3w (what3words) method.

또한, 본 개시의 일 실시예에 따르면, 상기 복수의 다면체 객체는 제1 시간 구간 동안 상기 제1 비주얼 코드를 디스플레이하고, 제2 시간 구간 동안 상기 제1 비주얼 코드와 상이한 추가 컨텐츠를 디스플레이하고, 상기 제1 시간 구간 및 상기 제2 시간 구간은 제1 주기로 반복되고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해, 상기 실시간 영상의 상기 제1 시간 구간의 프레임으로부터 상기 제1 비주얼 코드를 인식할 수 있다.Additionally, according to an embodiment of the present disclosure, the plurality of polyhedral objects display the first visual code during a first time period, display additional content different from the first visual code during a second time period, and The first time interval and the second time interval are repeated in a first period, and the at least one processor executes the at least one instruction to generate the first visual from a frame of the first time interval of the real-time video. The code can be recognized.

본 개시의 일 실시예의 일 측면에 따르면, 카메라를 이용하여, 실시간 영상을 촬영하는 단계; 상기 실시간 영상으로부터 실내 공간의 소정의 위치에 고정된 다면체 객체 상에 배치된 제1 비주얼 코드를 인식하는 단계; 상기 제1 비주얼 코드에 대응하는 코드 위치 정보를 획득하는 단계; 상기 제1 비주얼 코드에 대응하는 코드 위치 정보에 기초하여, 전자 장치의 실시간 위치 정보를 획득하는 단계; 상기 실시간 위치 정보에 대응하는 상기 실내 공간의 지도 정보를 획득하는 단계; 및 상기 디스플레이를 통해, 상기 획득된 지도 정보 상에 상기 실시간 위치 정보에 대응하는 위치 인디케이터를 디스플레이 하는 단계를 포함하고, 상기 실내 공간의 복수의 위치에 각 위치 정보를 포함하는 비주얼 코드를 포함하는 복수의 다면체 객체가 배치되고, 각각의 다면체 객체의 복수의 면 각각에 상기 비주얼 코드가 배치되는, 전자 장치 제어 방법이 제공된다.According to one aspect of an embodiment of the present disclosure, capturing a real-time image using a camera; Recognizing a first visual code arranged on a polyhedral object fixed at a predetermined location in an indoor space from the real-time image; Obtaining code location information corresponding to the first visual code; Obtaining real-time location information of an electronic device based on code location information corresponding to the first visual code; Obtaining map information of the indoor space corresponding to the real-time location information; and displaying, through the display, a location indicator corresponding to the real-time location information on the acquired map information, a plurality of devices including visual codes including each location information at a plurality of locations in the indoor space. A method of controlling an electronic device is provided in which polyhedral objects are arranged and the visual code is arranged on each of a plurality of faces of each polyhedral object.

본 개시의 일 실시예의 일 측면에 따르면, 전자 장치 제어 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to one aspect of an embodiment of the present disclosure, a computer-readable recording medium on which a program for performing an electronic device control method on a computer is recorded is provided.

도 1은 본 개시의 일 실시예에 따라 실내 공간에서 위치 정보를 획득하는 과정을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(100)의 구조를 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치 제어 방법을 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따른 다면체 객체 및 비주얼 코드를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 다라 비주얼 코드를 추출하는 과정을 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따라 비주얼 코드로부터 코드 위치 정보를 획득하는 과정을 나타낸 도면이다.
도 7은 본 개시의 일 실시예에 따라 비주얼 코드로부터 코드 위치 정보를 획득하는 과정을 나타낸 도면이다.
도 8은 본 개시의 일 실시예에 따라 실시간 위치 정보를 획득하는 과정을 나타낸 도면이다.
도 9는 본 개시의 일 실시예에 따라, 지도 정보를 획득하는 과정을 나타낸 도면이다.
도 10은 본 개시의 일 실시예에 따라 지도 정보로부터 제1 지도 영역을 추출하는 과정을 나타낸 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치의 구조를 나타낸 블록도이다.
도 12는 본 개시의 일 실시예에 따른 기울기 정보, 제1 배치 상태, 및 제2 배치 상태를 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따라, 제1 배치 상태와 제2 배치 상태에서의 GUI 뷰를 나타낸 도면이다.
도 14는 본 개시의 일 실시예에 따라 비주얼 코드의 위치를 실내 공간의 바닥으로 프로젝션하는 과정을 나타낸 도면이다.
도 15는 본 개시의 일 실시 예에 따라, 관심 객체를 설정하고, 관심 객체로의 경로를 안내하는 과정을 나타낸 도면이다.
도 16은 본 개시의 일 실시예에 따른 다면체 객체를 나타낸 도면이다.
도 17은 본 개시의 일 실시예에 따라 실시간 영상으로부터 비주얼 코드를 인식하는 과정을 나타낸 도면이다.1 is a diagram illustrating a process for acquiring location information in an indoor space according to an embodiment of the present disclosure.
FIG. 2 is a diagram showing the structure of an electronic device 100 according to an embodiment of the present disclosure.
FIG. 3 is a diagram illustrating a method for controlling an electronic device according to an embodiment of the present disclosure.
Figure 4 is a diagram showing a polyhedral object and visual code according to an embodiment of the present disclosure.
Figure 5 is a diagram showing a process for extracting a visual code according to an embodiment of the present disclosure.
FIG. 6 is a diagram illustrating a process for obtaining code location information from a visual code according to an embodiment of the present disclosure.
FIG. 7 is a diagram illustrating a process for obtaining code location information from a visual code according to an embodiment of the present disclosure.
Figure 8 is a diagram illustrating a process for acquiring real-time location information according to an embodiment of the present disclosure.
FIG. 9 is a diagram illustrating a process for acquiring map information according to an embodiment of the present disclosure.
FIG. 10 is a diagram illustrating a process for extracting a first map area from map information according to an embodiment of the present disclosure.
Figure 11 is a block diagram showing the structure of an electronic device according to an embodiment of the present disclosure.
FIG. 12 is a diagram for explaining tilt information, a first arrangement state, and a second arrangement state according to an embodiment of the present disclosure.
FIG. 13 is a diagram illustrating a GUI view in a first deployment state and a second deployment state, according to an embodiment of the present disclosure.
FIG. 14 is a diagram illustrating a process of projecting the location of a visual code onto the floor of an indoor space according to an embodiment of the present disclosure.
FIG. 15 is a diagram illustrating a process of setting an object of interest and guiding a route to the object of interest, according to an embodiment of the present disclosure.
Figure 16 is a diagram showing a polyhedral object according to an embodiment of the present disclosure.
FIG. 17 is a diagram illustrating a process for recognizing a visual code from a real-time video according to an embodiment of the present disclosure.

본 명세서는 본 개시의 청구항의 권리범위를 명확히 하고, 본 개시의 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시의 실시 예들을 실시할 수 있도록, 본 개시의 실시 예들의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.This specification clarifies the scope of the claims of the present disclosure and explains the principles of the embodiments of the present disclosure so that those skilled in the art can practice the embodiments of the present disclosure. And, embodiments are disclosed. The disclosed embodiments may be implemented in various forms.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시 예들이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 개시의 실시 예들, 및 실시 예들의 작용 원리에 대해 설명한다.Like reference numerals refer to like elements throughout the specification. This specification does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the embodiments of the present disclosure pertains is omitted. The term 'part' (portion) used in the specification may be implemented as software or hardware, and depending on the embodiment, a plurality of 'portions' may be implemented as a single element (unit, element), or a single 'portion' may be implemented as a single 'portion'. It is also possible for ' to contain multiple elements. Hereinafter, embodiments of the present disclosure and their operating principles will be described with reference to the attached drawings.

도 1은 본 개시의 일 실시예에 따라 실내 공간에서 위치 정보를 획득하는 과정을 나타낸 도면이다.1 is a diagram illustrating a process for acquiring location information in an indoor space according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 실내 공간에 배치된 다면체 객체(120) 상에 배치된 비주얼 코드(110)를 촬영하고 인식하여 위치 정보를 획득한다. According to an embodiment of the present disclosure, the electronic device 100 obtains location information by photographing and recognizing a visual code 110 arranged on a polyhedral object 120 arranged in an indoor space.

실내 공간은 건물 내부 또는 지하 공간에 대응할 수 있다. 실내 공간은 예를 들면, 상점, 학교, 사무실, 지하철 역, 기차 역, 공항 등에 대응될 수 있다. Indoor space can correspond to the inside of a building or underground space. The indoor space may correspond to, for example, a store, school, office, subway station, train station, airport, etc.

다면체 객체(120)는 실내 공간의 복수의 위치에 고정될 수 있다. 다면체 객체(120)는 일면이 실내 공간의 구조물과 결합한다. 다면체 객체(120)는 예를 들면, 천장, 벽, 기둥, 가구, 거치대 등의 고정된 구조물에 결합될 수 있다. 다면체 객체(120)는 실내 공간의 복수의 위치에 소정의 간격으로 배치될 수 있다. 예를 들면, 다면체 객체(120)는 실내 공간의 천장에 3m 간격으로 반복적으로 배치될 수 있다.The polyhedral object 120 may be fixed to a plurality of locations in an indoor space. One side of the polyhedral object 120 is combined with a structure in an indoor space. For example, the polyhedral object 120 may be coupled to a fixed structure such as a ceiling, wall, pillar, furniture, or stand. Polyhedral objects 120 may be arranged at predetermined intervals in a plurality of locations in an indoor space. For example, the polyhedral object 120 may be repeatedly placed at intervals of 3 m on the ceiling of an indoor space.

다면체 객체(120)는 그 표면에 비주얼 코드(110)를 포함한다. 비주얼 코드(110)는 외부에서 전자 장치(100)를 이용하여 촬영하였을 때 보이도록 배치된다. 비주얼 코드(110)는 다면체 객체(120)에서 실내 공간의 구조물과 결합된 면을 제외한 각각의 면에 배치될 수 있다. 비주얼 코드(110)는 다면체 객체(120)의 각 면에 인쇄, 부착 등의 방식을 통해 시각적으로 인식 가능하도록 배치된다.The polyhedral object 120 includes a visual code 110 on its surface. The visual code 110 is arranged to be visible when photographed from the outside using the electronic device 100. The visual code 110 may be placed on each face of the polyhedral object 120 except for the face combined with the structure of the indoor space. The visual code 110 is arranged to be visually recognizable through printing or attachment on each side of the polyhedral object 120.

비주얼 코드(110)는 해당 다면체 객체(120)의 위치 정보를 나타낸다. 본 개시에서 비주얼 코드(110)에 포함된 위치 정보를 코드 위치 정보로 지칭한다. 다면체 객체(120)의 코드 위치 정보는 지구 상에서의 좌표 정보를 포함한다. 좌표 정보는 위도와 경도로 나타내거나, w3w(What3words) 코드로 나타낼 수 있다. 또한, 코드 위치 정보는 실내 공간에 대한 정보를 포함한다. 실내 공간에 대한 정보는 층수 또는 식별 정보 등을 포함할 수 있다.The visual code 110 represents location information of the corresponding polyhedral object 120. In this disclosure, location information included in the visual code 110 is referred to as code location information. The code location information of the polyhedral object 120 includes coordinate information on the Earth. Coordinate information can be expressed as latitude and longitude, or as w3w (What3words) code. Additionally, code location information includes information about indoor space. Information about the indoor space may include the number of floors or identification information.

전자 장치(100)는 실내 공간의 다면체 객체(120)에 배치된 비주얼 코드(110)를 촬영하고, 촬영된 영상으로부터 비주얼 코드(110)를 인식한다. 전자 장치(100)는 비주얼 코드(110)에 포함된 코드 위치 정보를 식별하고, 식별된 코드 위치 정보를 이용하여 전자 장치(100)의 실시간 위치 정보를 획득한다. 사용자가 전자 장치(100)를 소지한 상태에서 실내 공간에서 있을 때, 전자 장치(100)는 비주얼 코드(110)를 이용하여 사용자의 실시간 위치 정보를 제공한다. 예를 들면, 전자 장치(100)는 실시간 영상을 계속 촬영하여, 실시간 영상으로부터 인식된 비주얼 코드(110)를 이용하여 사용자의 실시간 위치 정보를 획득하고 제공할 수 있다.The electronic device 100 photographs a visual code 110 placed on a polyhedral object 120 in an indoor space and recognizes the visual code 110 from the photographed image. The electronic device 100 identifies code location information included in the visual code 110 and obtains real-time location information of the electronic device 100 using the identified code location information. When a user is in an indoor space while carrying the electronic device 100, the electronic device 100 provides real-time location information of the user using the visual code 110. For example, the electronic device 100 may continuously capture real-time images, obtain and provide real-time location information of the user using the visual code 110 recognized from the real-time images.

전자 장치(100)는 실내 공간의 지도 상에 실시간 위치 정보의 인디케이터를 표시하여 위치 정보를 제공할 수 있다. 본 개시의 일 실시예에 따르면, 전자 장치(100)는 실시간 위치 정보와 함께 실시간 영상을 출력할 수 있다. The electronic device 100 may provide location information by displaying an indicator of real-time location information on a map of an indoor space. According to an embodiment of the present disclosure, the electronic device 100 can output real-time image along with real-time location information.

도 2는 본 개시의 일 실시예에 따른 전자 장치(100)의 구조를 나타낸 도면이다.FIG. 2 is a diagram showing the structure of an electronic device 100 according to an embodiment of the present disclosure.

전자 장치(100)는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 랩톱 PC(laptop personal computer), 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시 예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다. The electronic device 100 may be, for example, a smartphone, a tablet personal computer, a mobile phone, a laptop personal computer, a camera, or a wearable device. device). According to one embodiment of the present disclosure, the wearable device may be an accessory type (e.g., a watch, ring, bracelet, anklet, necklace, glasses, contact lens, or head-mounted-device (HMD)), fabric, or It may include at least one of clothing-integrated type (e.g., electronic clothing), body-attached type (e.g., skin pad or tattoo), or bioimplantable type (e.g., implantable circuit).

본 개시의 일 실시예에 따르면, 전자 장치(100)는 프로세서(210), 카메라(220), 디스플레이(230), 및 메모리(240)를 포함한다.According to one embodiment of the present disclosure, the electronic device 100 includes a processor 210, a camera 220, a display 230, and a memory 240.

프로세서(210)는 전자 장치(100) 전반의 동작을 제어한다. 프로세서(210)는 하나 또는 그 이상의 프로세서로 구현될 수 있다. 프로세서(210)는 메모리(240)에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다. 또한, 프로세서(210)는 전자 장치(100)에 구비된 구성요소들의 동작을 제어한다. 프로세서(210)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), 또는 NPU(Neural Processing Unit) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.The processor 210 controls the overall operation of the electronic device 100. Processor 210 may be implemented with one or more processors. The processor 210 may perform a predetermined operation by executing instructions or commands stored in the memory 240. Additionally, the processor 210 controls the operations of components provided in the electronic device 100. The processor 210 may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), or a Neural Processing Unit (NPU), or a combination thereof.

카메라(220)는 입사 광을 광전 변환하여 전기적인 영상 신호를 생성한다. 카메라(220)는 적어도 하나의 렌즈, 렌즈 구동부, 및 이미지 센서를 포함할 수 있다. 카메라(220)는 전자 장치(100)의 전면 또는 후면에 배치될 수 있다. 예를 들면, 전자 장치(100)는 스마트폰이고, 카메라(220)는 스마트폰의 전면과 후면에 각각 배치될 수 있다. 카메라(220)는 하나 이상의 카메라(220)를 포함할 수 있다. 카메라(220)는 촬영 영상 데이터를 생성하여 프로세서(210)로 출력한다. The camera 220 generates an electrical image signal by photoelectrically converting incident light. The camera 220 may include at least one lens, a lens driver, and an image sensor. The camera 220 may be placed on the front or back of the electronic device 100. For example, the electronic device 100 is a smartphone, and the camera 220 may be placed on the front and back of the smartphone, respectively. Camera 220 may include one or more cameras 220 . The camera 220 generates captured image data and outputs it to the processor 210.

프로세서(210)는 카메라(220)에 의해 생성된 촬영 영상 데이터를 이용하여, 실시간 영상을 생성한다. 실시간 영상은 소정의 프레임 레이트의 동영상 형태로 제공될 수 있다. 예를 들면, 실시간 영상은 30 frame/sec의 프레임 레이트로 생성될 수 있다. The processor 210 uses captured image data generated by the camera 220 to generate a real-time image. Real-time video may be provided in the form of video at a predetermined frame rate. For example, real-time video can be generated at a frame rate of 30 frames/sec.

프로세서(210)는 실시간 영상으로부터 다면체 객체(120) 상에 배치된 비주얼 코드(110)를 인식한다. 프로세서(210)는 객체 인식 알고리즘을 이용하여 비주얼 코드(110)를 인식할 수 있다. The processor 210 recognizes the visual code 110 placed on the polyhedral object 120 from the real-time image. The processor 210 may recognize the visual code 110 using an object recognition algorithm.

프로세서(210)는 인식된 비주얼 코드(110)로부터 위치 정보를 획득한다. 본 개시의 일 실시예에 따르면, 비주얼 코드(110)는 소정의 태그 ID를 갖는다. 프로세서(210)는 소정의 알고리즘을 이용하여 비주얼 코드(110)에 인코딩된 태그 ID를 디코딩하여, 태그 ID를 획득한다. The processor 210 obtains location information from the recognized visual code 110. According to one embodiment of the present disclosure, the visual code 110 has a predetermined tag ID. The processor 210 decodes the tag ID encoded in the visual code 110 using a predetermined algorithm to obtain the tag ID.

프로세서(210)는 획득된 태그 ID에 링크된 코드 위치 정보를 획득한다. 일 실시예에 따르면, 프로세서(210)는 네트워크를 통해 외부 장치 또는 서버로부터 태그 ID에 링크된 코드 위치 정보를 획득한다. 또한, 일 실시예에 따르면, 메모리(240)는 비주얼 코드 룩업 테이블을 메모리(240)에 미리 저장하고, 프로세서(210)는 메모리(240)에 저장된 비주얼 코드 룩업 테이블을 이용하여 태그 ID에 링크된 코드 위치 정보를 획득한다. The processor 210 obtains code location information linked to the obtained tag ID. According to one embodiment, the processor 210 obtains code location information linked to the tag ID from an external device or server through a network. Additionally, according to one embodiment, the memory 240 stores a visual code lookup table in advance in the memory 240, and the processor 210 uses the visual code lookup table stored in the memory 240 to link to the tag ID. Obtain code location information.

프로세서(210)는 획득된 코드 위치 정보에 기초하여, 전자 장치(100)의 위치 정보인 실시간 위치 정보를 획득한다. 코드 위치 정보는 전자 장치(100)의 주변에 위치하는 것이고, 전자 장치(100)의 위치 정보와는 상이할 수 있다. 따라서 전자 장치(100)는 코드 위치 정보와 실시간 영상을 이용하여, 전자 장치(100)의 실시간 위치 정보를 산출한다. 본 개시의 일 실시예에 따르면, 전자 장치(100)는 실시간 영상으로부터 비주얼 코드(110)의 크기를 인식한다. 전자 장치(100)는 비주얼 코드(110)의 실제 크기 정보를 메모리(240)에 미리 저장할 수 있다. 전자 장치(100)는 비주얼 코드의 실제 크기 정보와 실시간 영상에서 인식된 비주얼 코드(110)의 크기 정보에 기초하여 인식된 비주얼 코드(110)까지의 거리를 산출한다. 또한, 전자 장치(100)는 인식된 비주얼 코드(110)가 다면체 객체(120)의 어느 면에 위치한 비주얼 코드(110)인지에 기초하여 다면체 객체(120)를 중심으로 전자 장치(100)의 방향을 산출한다. 프로세서(210)는 산출된 거리 및 산출된 방향에 기초하여, 전자 장치(100)의 실시간 위치 정보를 산출한다.The processor 210 obtains real-time location information, which is location information of the electronic device 100, based on the acquired code location information. The code location information is located around the electronic device 100 and may be different from the location information of the electronic device 100. Accordingly, the electronic device 100 calculates real-time location information of the electronic device 100 using code location information and real-time images. According to an embodiment of the present disclosure, the electronic device 100 recognizes the size of the visual code 110 from a real-time image. The electronic device 100 may store information on the actual size of the visual code 110 in the memory 240 in advance. The electronic device 100 calculates the distance to the recognized visual code 110 based on the actual size information of the visual code and the size information of the visual code 110 recognized in the real-time image. In addition, the electronic device 100 determines the direction of the electronic device 100 around the polyhedral object 120 based on which side of the polyhedral object 120 the recognized visual code 110 is located. Calculate . The processor 210 calculates real-time location information of the electronic device 100 based on the calculated distance and direction.

프로세서(210)는 실시간 위치 정보에 기초하여, 실내 공간의 지도 정보를 획득한다. 프로세서(210)는 실시간 위치 정보에 기초하여, 전자 장치(100)가 위치한 실내 공간을 식별한다. 예를 들면, 프로세서(210)는 실시간 위치 정보에 기초하여, 전자 장치(100)가 A건물의 지하 1층에 대응하는 실내 공간에 위치해 있음을 식별한다. 프로세서(210)는 A건물의 지하 1층에 대응하는 지도 정보를 획득한다. 일 실시예에 따르면, 프로세서(210)는 네트워크를 통해 연결된 외부 장치 또는 서버로부터 현재 실내 공간의 지도 정보를 획득할 수 있다. 또한, 일 실시예에 따르면, 메모리(240)에 저장된 지도 정보 데이터베이스로부터 현재 실내 공간의 지도 정보를 획득할 수 있다. The processor 210 obtains map information of the indoor space based on real-time location information. The processor 210 identifies the indoor space where the electronic device 100 is located based on real-time location information. For example, the processor 210 identifies that the electronic device 100 is located in an indoor space corresponding to the first basement level of building A, based on real-time location information. The processor 210 obtains map information corresponding to the first basement level of building A. According to one embodiment, the processor 210 may obtain map information of the current indoor space from an external device or server connected through a network. Additionally, according to one embodiment, map information of the current indoor space may be obtained from the map information database stored in the memory 240.

디스플레이(230)는 전자 장치(100)의 동작 화면 및 데이터를 디스플레이한다. 디스플레이(230)는 프로세서(210)로부터 제공된 구동 신호에 기초하여, 소정의 정보를 디스플레이하도록 동작한다. 예를 들면, 디스플레이(230)는 그래픽 유저 인터페이스 뷰(GUI View, Graphic User Interface View), 이미지 데이터, 또는 비디오 데이터 등을 디스플레이한다. 디스플레이(230)는 예를 들면, 액정 표시 장치, LED(Light Emitting Diode) 디스플레이, 유기 전계 발광 표시 장치, 전기 영동 표시 장치 등의 형태로 구현될 수 있다.The display 230 displays an operation screen and data of the electronic device 100. The display 230 operates to display predetermined information based on a driving signal provided from the processor 210. For example, the display 230 displays a graphic user interface view (GUI View), image data, or video data. The display 230 may be implemented in the form of, for example, a liquid crystal display device, a light emitting diode (LED) display, an organic electroluminescent display device, or an electrophoretic display device.

프로세서(210)는 디스플레이(230)를 통해, 실내 공간의 지도 정보 상에, 실시간 위치 정보를 나타내는 위치 인디케이터를 표시한다. 프로세서(210)는 지도 정보 상에서, 실시간 위치 정보에 대응하는 위치를 식별한다. 프로세서(210)는 실시간 위치 정보의 좌표 정보와 지도 정보의 좌표 정보를 매칭하여, 지도 정보 상에서 실시간 위치 정보에 대응하는 위치를 식별할 수 있다. 프로세서(210)는 지도 정보 상에서 실시간 위치 정보에 대응하는 위치 상에 위치 인디케이터를 표시한다.The processor 210 displays a location indicator indicating real-time location information on map information of the indoor space through the display 230. The processor 210 identifies a location corresponding to real-time location information on the map information. The processor 210 may identify a location corresponding to the real-time location information on the map information by matching the coordinate information of the real-time location information with the coordinate information of the map information. The processor 210 displays a location indicator on a location corresponding to real-time location information on the map information.

메모리(240)는 전자 장치(100)의 동작에 필요한 다양한 정보, 데이터, 명령어, 프로그램 등을 저장한다. 메모리(240)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 메모리(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(240)는 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버에 대응될 수 있다. The memory 240 stores various information, data, commands, programs, etc. necessary for the operation of the electronic device 100. The memory 240 may include at least one of volatile memory or non-volatile memory, or a combination thereof. The memory 240 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), and RAM. (RAM, Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic It may include at least one type of storage medium among disks and optical disks. Additionally, the memory 240 may correspond to a web storage or cloud server that performs a storage function on the Internet.

도 3은 본 개시의 일 실시예에 따른 전자 장치 제어 방법을 나타낸 도면이다.FIG. 3 is a diagram illustrating a method for controlling an electronic device according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따른 전자 장치 제어 방법은 다양한 전자 장치에 의해 수행될 수 있다. 본 개시에서는 본 개시의 전자 장치(100)에 의해 전자 장치 제어 방법이 수행되는 실시예를 중심으로 설명한다. 개시된 실시예들에 따른 전자 장치 제어 방법은, 본 개시에 개시된 전자 장치(100)에 의해 수행되는 것으로 그 실시예가 한정되지 않고, 다양한 형태의 전자 장치(100)에 의해 수행될 수 있다.The electronic device control method according to an embodiment of the present disclosure may be performed by various electronic devices. This disclosure will focus on an embodiment in which an electronic device control method is performed by the electronic device 100 of the present disclosure. The electronic device control method according to the disclosed embodiments is not limited to being performed by the electronic device 100 disclosed in this disclosure, and may be performed by various types of electronic devices 100.

도 3을 참조하면, 단계 S302에서, 전자 장치(100)는 카메라(220)를 이용하여 실시간 영상을 촬영한다. 전자 장치(100)는 소정의 프레임 레이트를 갖는 동영상 형태로 실시간 영상을 촬영할 수 있다.Referring to FIG. 3, in step S302, the electronic device 100 captures a real-time image using the camera 220. The electronic device 100 can capture real-time video in the form of a video with a predetermined frame rate.

다음으로, 단계 S304에서, 전자 장치(100)는 실시간 영상으로부터 다면체 객체(120)에 배치된 제1 비주얼 코드(110)를 인식한다. 전자 장치(100)는 소정의 영상 인식 알고리즘을 이용하여 실시간 영상으로부터 제1 비주얼 코드(110)를 인식할 수 있다.Next, in step S304, the electronic device 100 recognizes the first visual code 110 placed on the polyhedral object 120 from the real-time image. The electronic device 100 may recognize the first visual code 110 from a real-time image using a predetermined image recognition algorithm.

다음으로, 단계 S306에서, 전자 장치(100)는 제1 비주얼 코드(110)로부터 코드 위치 정보를 획득한다. 전자 장치(100)는 제1 비주얼 코드(110)를 디코딩하여 코드 ID를 식별한다. 전자 장치(100)는 코드 ID에 대응하는 코드 위치 정보를 획득한다. Next, in step S306, the electronic device 100 obtains code location information from the first visual code 110. The electronic device 100 decodes the first visual code 110 and identifies the code ID. The electronic device 100 obtains code location information corresponding to the code ID.

다음으로, 단계 S308에서, 전자 장치(100)는 코드 위치 정보에 기초하여 전자 장치(100)의 실시간 위치 정보를 획득한다. 전자 장치(100)는 실시간 영상으로부터 인식된 제1 비주얼 코드(110)의 크기를 인식한다. 또한, 전자 장치(100)는 실시간 영상으로부터 다면체 객체(120)를 중심으로 한 전자 장치(100)의 방향을 인식한다. 전자 장치(100)는 제1 비주얼 코드(110)의 크기 정보 및 전자 장치(100)의 방향 정보에 기초하여, 실시간 위치 정보를 산출한다. Next, in step S308, the electronic device 100 obtains real-time location information of the electronic device 100 based on the code location information. The electronic device 100 recognizes the size of the first visual code 110 recognized from the real-time image. Additionally, the electronic device 100 recognizes the direction of the electronic device 100 with the polyhedral object 120 as the center from the real-time image. The electronic device 100 calculates real-time location information based on the size information of the first visual code 110 and the direction information of the electronic device 100.

다음으로, 단계 S310에서, 전자 장치(100)는 실시간 위치 정보에 대응하는 실내 공간의 지도 정보를 획득한다. 전자 장치(100)는 실시간 위치 정보에 기초하여, 실내 공간을 식별한다. 전자 장치(100)는 식별된 실내 공간에 대응하는 지도 정보를 획득한다.Next, in step S310, the electronic device 100 acquires map information of the indoor space corresponding to real-time location information. The electronic device 100 identifies the indoor space based on real-time location information. The electronic device 100 obtains map information corresponding to the identified indoor space.

다음으로, 단계 S312에서, 전자 장치(100)는 지도 정보 상에 실시간 위치 정보에 대응하는 위치 인디케이터를 디스플레이한다. 전자 장치(100)는 지도 정보 상에서 실시간 위치 정보에 대응하는 위치를 식별한다. 전자 장치(100)는 지도 정보 상에서, 실시간 위치 정보에 대응하는 위치에, 위치 인디케이터를 디스플레이한다.Next, in step S312, the electronic device 100 displays a location indicator corresponding to real-time location information on the map information. The electronic device 100 identifies a location corresponding to real-time location information on map information. The electronic device 100 displays a location indicator at a location corresponding to real-time location information on map information.

전자 장치(100)는 단계 S302 내지 S312를 반복하여, 새로운 영상 프레임마다 실시간 위치 정보를 업데이트하고, 디스플레이된 지도 정보 및 위치 인디케이터를 업데이트할 수 있다. 따라서 사용자가 이동하는 경우, 전자 장치(100), 실시간 위치를 업데이트함에 의해 실시간으로 위치 정보를 제공할 수 있다.The electronic device 100 may repeat steps S302 to S312 to update real-time location information for each new image frame and update the displayed map information and location indicator. Therefore, when the user moves, the electronic device 100 can provide location information in real time by updating the real-time location.

도 4는 본 개시의 일 실시예에 따른 다면체 객체 및 비주얼 코드를 나타낸 도면이다.Figure 4 is a diagram showing a polyhedral object and visual code according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 다면체 객체(120)는 다양한 형태의 다면체 형태를 가질 수 있다. 본 개시의 일 실시예에 따르면, 다면체 객체(120)는 사각뿔에서 꼭대기가 잘린 형태를 가질 수 있다. 다면체 객체(120)는 밑면이 실내 공간의 천장과 결합될 수 있다. 다면체 객체(120)는 다양한 형태의 결합 부재에 의해 실내 공간의 천장과 결합될 수 있다.According to an embodiment of the present disclosure, the polyhedral object 120 may have various polyhedral shapes. According to one embodiment of the present disclosure, the polyhedral object 120 may have a shape in which the top of a square pyramid is cut off. The bottom of the polyhedral object 120 may be combined with the ceiling of an indoor space. The polyhedral object 120 may be coupled to the ceiling of an indoor space by various types of coupling members.

다면체 객체(120)는 천장과 결합된 결합면 이외의 각 외부면(122a, 122b, 122c)에, 비주얼 코드(110a, 110b, 110c)를 포함한다. 비주얼 코드(110a, 110b, 110c)는 카메라(220)에 의해 촬영하였을 때, 식별 가능한 형태로 다면체 객체(120)의 복수의 면에 구비될 수 있다. 비주얼 코드(110a, 110b, 110c)는 각 외부면(122a, 122b, 122c)에 인쇄, 부착 등의 방법을 이용하여 구비될 수 있다. 비주얼 코드(110a, 110b, 110c)는 다면체 객체(120)에서 각 외부면(122a, 122b, 122c)에 적어도 하나씩 배치될 수 있다. The polyhedral object 120 includes visual codes 110a, 110b, and 110c on each of the outer surfaces 122a, 122b, and 122c other than the coupling surface connected to the ceiling. The visual codes 110a, 110b, and 110c may be provided on a plurality of faces of the polyhedral object 120 in an identifiable form when captured by the camera 220. The visual codes 110a, 110b, and 110c may be provided on each of the outer surfaces 122a, 122b, and 122c using methods such as printing or attachment. Visual codes 110a, 110b, and 110c may be disposed at least one on each of the outer surfaces 122a, 122b, and 122c of the polyhedral object 120.

본 개시의 일 실시예에 따르면, 각 외부면(122a, 122b, 122c)에 배치된 비주얼 코드(110a, 110b, 110c)는 서로 다른 비주얼 코드(110a, 110b, 110c)에 대응될 수 있다. 각 외부면()에 배치된 비주얼 코드(110a, 110b, 110c)는 서로 다른 태그 ID에 대응될 수 있다. 이러한 구성에 의해, 전자 장치(100)는 실시간 영상에서 인식된 비주얼 코드에 기초하여, 다면체 객체(120)를 중심으로 한 방향 정보를 획득할 수 있다. 예를 들면, 전자 장치(100)는 실시간 영상으로부터 다면체 객체(120)의 제1면(122a)에 배치된 제1면 비주얼 코드(110a), 제2면(122b)에 배치된 제2면 비주얼 코드(110b), 및 제3면(122c)에 배치된 제3면 비주얼 코드(110c)가 실시간 영상으로부터 인식된 경우, 전자 장치(100)가 다면체 객체(120)를 중심으로 제1면(122a)과 제2면(122b)을 바라보는 방향에 위치했다고 판단할 수 있다.According to an embodiment of the present disclosure, the visual codes 110a, 110b, and 110c arranged on each of the outer surfaces 122a, 122b, and 122c may correspond to different visual codes 110a, 110b, and 110c. The visual codes 110a, 110b, and 110c placed on each outer surface may correspond to different tag IDs. With this configuration, the electronic device 100 can obtain direction information centered on the polyhedral object 120 based on the visual code recognized in the real-time image. For example, the electronic device 100 may display a first face visual code 110a placed on the first face 122a of the polyhedral object 120 and a second face visual placed on the second face 122b from the real-time image. When the code 110b and the third side visual code 110c disposed on the third side 122c are recognized from the real-time image, the electronic device 100 displays the first side 122a around the polyhedral object 120. ) and the second side 122b.

본 개시의 일 실시예에 따르면, 비주얼 코드(110a, 110b, 110c)는 미리 정의된 크기를 가질 수 있다. 전자 장치(100)는 비주얼 코드(110a, 110b, 110c)의 미리 정의된 크기에 대한 정보를 미리 저장할 수 있다. 본 개시의 일 실시예에 따르면, 다면체 객체(120)에 배치된 모든 비주얼 코드(110a, 110b, 110c)는 동일한 크기를 가질 수 있다. 또한, 본 개시의 일 실시예에 따르면, 측면에 대응하는 외부면(122a, 122b)의 비주얼 코드(110a, 110b)와 윗면에 대응하는 외부면(122c)에 배치된 비주얼 코드(110c)의 크기가 상이할 수 있다. 이러한 구성에 의해, 전자 장치(100)는 실시간 영상으로부터 인식된 비주얼 코드(110a, 110b, 110c)의 크기 정보에 기초하여 다면체 객체(120)까지의 거리 정보를 산출할 수 있다. 실시간 영상에서 비주얼 코드(110a, 110b, 110c)의 크기는 다면체 객체(120)까지의 거리가 가까워질수록 커질 것이다. 전자 장치(100)는 다면체 객체(120)까지의 거리에 따른 실시간 영상에서의 비주얼 코드(110a, 110b, 110c)의 크기 정보에 대한 거리 예측 정보를 미리 저장할 수 있다. 일 실시예에 따르면, 거리 예측 정보는 소정의 관계 식에 의해 정의될 수 있다. 또한, 일 실시예에 따르면, 거리 예측 정보는 실시간 영상에서의 비주얼 코드의 크기 정보에 따라 거리 정보를 정의하는 룩업 테이블의 형태로 정의될 수 있다.According to an embodiment of the present disclosure, the visual codes 110a, 110b, and 110c may have a predefined size. The electronic device 100 may store information about the predefined sizes of the visual codes 110a, 110b, and 110c in advance. According to an embodiment of the present disclosure, all visual codes 110a, 110b, and 110c arranged on the polyhedral object 120 may have the same size. In addition, according to an embodiment of the present disclosure, the size of the visual codes 110a and 110b on the outer surfaces 122a and 122b corresponding to the side and the visual code 110c disposed on the outer surface 122c corresponding to the upper surface. may be different. With this configuration, the electronic device 100 can calculate distance information to the polyhedral object 120 based on size information of the visual codes 110a, 110b, and 110c recognized from the real-time image. In the real-time video, the size of the visual codes 110a, 110b, and 110c will increase as the distance to the polyhedral object 120 gets closer. The electronic device 100 may store in advance distance prediction information about the size information of the visual codes 110a, 110b, and 110c in the real-time image according to the distance to the polyhedral object 120. According to one embodiment, distance prediction information may be defined by a predetermined relationship equation. Additionally, according to one embodiment, the distance prediction information may be defined in the form of a lookup table that defines the distance information according to the size information of the visual code in the real-time video.

본 개시의 일 실시예에 따르면, 비주얼 코드(110a, 110b, 110c)는 ArUco 마커에 대응할 수 있다. ArUco 마커는 컴퓨터 비전 및 이미지 처리 응용 프로그램에 사용되는 시각적 기준 마커이다. ArUco 마커는 정사각형 보드에 특정 방식으로 배열된 흑백 정사각형 패턴으로 구성된다. 패턴은 마커가 회전하거나 부분적으로 가려진 경우에도 컴퓨터 알고리즘으로 쉽게 인식할 수 있도록 설계되어 있다. 전자 장치(100)는 오픈 소스 컴퓨터 비전 라이브러리인 ArUco 라이브러리를 이용하여 ArUco 마커를 인코딩하고 디코딩할 수 있다.According to one embodiment of the present disclosure, the visual codes 110a, 110b, and 110c may correspond to ArUco markers. ArUco markers are visual fiducial markers used in computer vision and image processing applications. ArUco markers consist of a pattern of black and white squares arranged in a specific way on a square board. The pattern is designed so that it can be easily recognized by computer algorithms even when the marker is rotated or partially obscured. The electronic device 100 can encode and decode ArUco markers using the ArUco library, an open source computer vision library.

도 5는 본 개시의 일 실시예에 다라 비주얼 코드를 추출하는 과정을 나타낸 도면이다.Figure 5 is a diagram showing a process for extracting a visual code according to an embodiment of the present disclosure.

전자 장치(100)는 단계 S502에서, 실시간 영상(510)으로부터 적어도 하나의 비주얼 코드(110a, 110b, 110c)를 인식한다. The electronic device 100 recognizes at least one visual code 110a, 110b, and 110c from the real-time image 510 in step S502.

본 개시의 일 실시예에 따르면, 비주얼 코드(110a, 110b, 110c)는 ArUco 마커이다. 전자 장치(100)는 실시간 영상(510)을 그레이스케일 이미지로 변환한다. 전자 장치(100)는 그레인 스케일 이미지에서 이미지 임계 값으로 필터링하고, 그레이스케일 이미지의 윤곽선을 찾는다. 전자 장치(100)는 소정의 사이즈에 매치되고, 소정의 형태에 해당하는 윤곽선을 필터링한다. 전자 장치(100)는 필터링된 윤곽선 중 ArUco 마커의 크기 및 모양과 일치하는 윤곽선을 선택한다. 전자 장치(100)는 ArUco 마커의 크기 및 모양과 일치하는 윤곽선을 ArUco 코드로 인식한다. According to one embodiment of the present disclosure, the visual codes 110a, 110b, and 110c are ArUco markers. The electronic device 100 converts the real-time image 510 into a grayscale image. The electronic device 100 filters the grain-scale image using an image threshold and finds the outline of the gray-scale image. The electronic device 100 matches a predetermined size and filters the outline corresponding to a predetermined shape. The electronic device 100 selects an outline that matches the size and shape of the ArUco marker among the filtered outlines. The electronic device 100 recognizes the outline matching the size and shape of the ArUco marker as an ArUco code.

다음으로, 단계 S504에서, 전자 장치(100)는 비주얼 코드(110a, 110b, 110c)를 실시간 영상(510)으로부터 추출한다. Next, in step S504, the electronic device 100 extracts the visual codes 110a, 110b, and 110c from the real-time image 510.

본 개시의 일 실시 예에 따르면, 전자 장치(100)는 단계 S506에서, 인식된 ArUco 마커를 회전하고 변환한다. 전자 장치(100)는 인식된 ArUco 마커를 정방향으로 회전한다. 또한, 전자 장치(100)는 인식된 ArUco 마커를 소정의 크기로 변환한다. According to one embodiment of the present disclosure, the electronic device 100 rotates and translates the recognized ArUco marker in step S506. The electronic device 100 rotates the recognized ArUco marker in the forward direction. Additionally, the electronic device 100 converts the recognized ArUco marker into a predetermined size.

도 6은 본 개시의 일 실시예에 따라 비주얼 코드로부터 코드 위치 정보를 획득하는 과정을 나타낸 도면이다.FIG. 6 is a diagram illustrating a process for obtaining code location information from a visual code according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 비주얼 코드(110)로부터 코드 위치 정보를 획득한다. 전자 장치(100)는 동작 610에서 비주얼 코드(110)로부터 태그 ID를 추출한다. 전자 장치(100)는 추출된 비주얼 코드(110)에 인코딩된 데이터를 디코딩하여, 태그 ID를 획득한다. 예를 들면, 전자 장치(100)는 OpenCV의 ArUco 디코딩 메소드(method)를 이용하여, 인코딩된 태그 ID를 획득한다. ArUco 디코딩 메소드는 전자 장치(100)에 의해 수행될 수 있다. According to an embodiment of the present disclosure, the electronic device 100 obtains code location information from the visual code 110. The electronic device 100 extracts a tag ID from the visual code 110 in operation 610. The electronic device 100 decodes data encoded in the extracted visual code 110 to obtain a tag ID. For example, the electronic device 100 obtains an encoded tag ID using OpenCV's ArUco decoding method. The ArUco decoding method may be performed by the electronic device 100.

태그 ID가 획득되면, 전자 장치(100)는 비주얼 코드 룩업 테이블(620)을 이용하여, 추출된 태그 ID에 해당하는 코드 위치 정보를 획득한다. 전자 장치(100)는 태그 ID에 해당하는 위치 정보를 비주얼 코드 룩업 테이블(620)로부터 검색한다. 본 개시의 일 실시예에 따르면, 비주얼 코드 룩업 테이블(620)은 메모리(240)에 저장될 수 있다. 또한, 본 개시의 일 실시예에 따르면, 비주얼 코드 룩업 테이블(620)은 외부 장치 또는 서버에 저장될 수 있다. 전자 장치(100)는 네트워크를 통해 외부 장치 또는 서버로 태그 ID를 전달하고, 외부 장치 또는 서버로부터 태그 ID에 대응하는 위치 정보를 획득할 수 있다.When the tag ID is acquired, the electronic device 100 uses the visual code lookup table 620 to obtain code location information corresponding to the extracted tag ID. The electronic device 100 searches for location information corresponding to the tag ID from the visual code lookup table 620. According to one embodiment of the present disclosure, the visual code lookup table 620 may be stored in the memory 240. Additionally, according to an embodiment of the present disclosure, the visual code lookup table 620 may be stored in an external device or server. The electronic device 100 may transmit the tag ID to an external device or server through a network and obtain location information corresponding to the tag ID from the external device or server.

본 개시의 일 실시예에 따르면, 코드 위치 정보(630)는 좌표 정보와 층수 정보를 포함한다. According to one embodiment of the present disclosure, the code location information 630 includes coordinate information and floor number information.

본 개시의 일 실시예에 따르면, 좌표 정보는 w3w 방식으로 정의될 수 있다. 비주얼 코드 룩업 테이블(620a)은 각 태그 ID에 대응하는 w3w 값과 층수 정보를 포함할 수 있다. According to an embodiment of the present disclosure, coordinate information may be defined in a w3w manner. The visual code lookup table 620a may include a w3w value and layer number information corresponding to each tag ID.

본 개시의 일 실시예에 따르면, 좌표 정보는 위도와 경도로 정의될 수 있다. 비주얼 코드 룩업 테이블(620b)은 각 태그 ID에 대응하는 위도 값, 경도 값과 층수 정보를 포함할 수 있다. According to one embodiment of the present disclosure, coordinate information may be defined as latitude and longitude. The visual code lookup table 620b may include latitude value, longitude value, and floor number information corresponding to each tag ID.

본 개시의 일 실시예에 따르면, 코드 위치 정보(640)는 좌표 정보 및 실내 공간의 식별 정보를 포함한다. 이러한 실시예에 따르면, 비주얼 코드 룩업 테이블(620)은 층수 정보 대신, 실내 공간의 식별 정보를 포함한다.According to one embodiment of the present disclosure, the code location information 640 includes coordinate information and indoor space identification information. According to this embodiment, the visual code lookup table 620 includes indoor space identification information instead of floor number information.

본 개시에서는 설명의 편의를 위해, 코드 위치 정보가, w3w 좌표 정보 및 층수 정보로 정의되는 실시예를 중심으로 설명한다. 그러나 이는 설명의 편의를 위한 것이며, 좌표 정보가 위도 정보, 경도 정보로 정의되거나, 층수 정보 대신 식별 정보를 이용하는 실시예를 배제하는 것은 아니다.For convenience of explanation, this disclosure will focus on an embodiment in which code position information is defined as w3w coordinate information and floor number information. However, this is for convenience of explanation, and does not exclude embodiments in which coordinate information is defined as latitude information and longitude information, or where identification information is used instead of floor number information.

도 7은 본 개시의 일 실시예에 따라 비주얼 코드로부터 코드 위치 정보를 획득하는 과정을 나타낸 도면이다.FIG. 7 is a diagram illustrating a process for obtaining code location information from a visual code according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 비주얼 코드(110)는 실내 공간의 주요 위치에 배치될 수 있다. 본 실시예에 따르면, 비주얼 코드(110)는 동일한 간격으로 배치되는 대신, 실내 공간에서 유의미한 공간인 주요 위치에 배치된다. 주요 위치는 예를 들면, 분기점, 주요 상품 주변, 주요 전시품 주변, 출입구 주변, 화장실 주변, 또는 통제 구역 주변 등에 대응된다. According to one embodiment of the present disclosure, the visual code 110 may be placed at key locations in the indoor space. According to this embodiment, the visual codes 110 are placed at key locations that are meaningful spaces in the indoor space, instead of being placed at equal intervals. Key locations correspond to, for example, junctions, around main products, around main exhibits, around entrances, around restrooms, or around control areas.

도 7을 참조하면, 본 개시의 일 실시예에 따라, 비주얼 코드(110)가 배치된 주요 위치(712a, 712b, 712c)를 실내 공간의 지도(710) 상에 나타내었다. 도 7의 예에서, 주요 위치(712a, 712b, 712c)는 분기점에 대응하는 주요 위치(712a), 주요 상품에 대응하는 주요 위치(712b), 및 출입구에 대응하는 주요 위치(712c)를 포함한다. Referring to FIG. 7, according to an embodiment of the present disclosure, main locations 712a, 712b, and 712c where the visual code 110 is placed are shown on a map 710 of the indoor space. In the example of Figure 7, key locations 712a, 712b, and 712c include a key location 712a corresponding to a junction, a key location 712b corresponding to a key product, and a key location 712c corresponding to an entrance. .

비주얼 코드 룩업 테이블(720)은 각 태그 ID에 대응하는 좌표 정보, 층수 정보, 및 위치 속성을 포함할 수 있다. 예를 들면, 좌표 정보는 w3w 값에 대응할 수 있다. 위치 속성은 주요 위치에 대한 정보를 나타낸다. 예를 들면, 위치 속성은 상품 001, 분기점 001, 출입구 1 등으로 정의될 수 있다. 코드 위치 정보(730)는 좌표 정보, 층수 정보, 및 위치 속성을 포함할 수 있다.The visual code lookup table 720 may include coordinate information, floor number information, and location attributes corresponding to each tag ID. For example, coordinate information may correspond to a w3w value. Location attributes represent information about key locations. For example, location attributes may be defined as product 001, junction 001, entrance 1, etc. Code location information 730 may include coordinate information, floor number information, and location attributes.

본 개시의 일 실시예에 따르면, 비주얼 코드 룩업 테이블(720) 및 코드 위치 정보(730)에서 좌표 정보가 w3w 값 대신 위도 및 경도로 정의될 수 있다. 또한 본 개시의 일 실시예에 따르면, 비주얼 코드 룩업 테이블(720) 및 코드 위치 정보(730)에서 층수 정보 대신 실내 공간의 식별 정보가 정의될 수 있다.According to an embodiment of the present disclosure, coordinate information in the visual code lookup table 720 and code location information 730 may be defined as latitude and longitude instead of the w3w value. Additionally, according to an embodiment of the present disclosure, indoor space identification information may be defined in the visual code lookup table 720 and the code location information 730 instead of floor number information.

본 개시의 일 실시예에 따르면, 주요 위치에 비주얼 코드(110)를 배치함에 의해, 주요 위치에서 실시간 위치 정보의 정확도를 향상시키고, 나머지 위치에서는 소정 수준 이상의 정확도를 제공함에 의해, 적은 수의 비주얼 코드를 이용하면서 시스템의 효율성을 증대시킬 수 있는 효과가 있다. 또한, 분기점, 출입구 등의 주요 위치에 비주얼 코드(110)를 배치함에 의해, 적은 수의 비주얼 코드를 이용하면서, 비주얼 코드(110)가 인식되지 않는 사각 지대 없이 실내 공간의 위치 정보를 제공할 수 있는 효과가 있다.According to an embodiment of the present disclosure, by placing the visual code 110 at key locations, the accuracy of real-time location information is improved at key locations, and by providing accuracy above a predetermined level at the remaining locations, a small number of visuals are used. There is an effect of increasing the efficiency of the system by using code. In addition, by placing the visual code 110 at key locations such as junctions and entrances, it is possible to provide location information of indoor space without blind spots where the visual code 110 is not recognized while using a small number of visual codes. There is an effect.

본 개시의 일 실시예에 따르면, 비주얼 코드 룩업 테이블(720)의 위치 속성 정보를 이용하여, 전자 장치(100)에서 다양한 기능이 제공될 수 있다. According to an embodiment of the present disclosure, various functions may be provided in the electronic device 100 using the location attribute information of the visual code lookup table 720.

도 8은 본 개시의 일 실시예에 따라 실시간 위치 정보를 획득하는 과정을 나타낸 도면이다.Figure 8 is a diagram illustrating a process for acquiring real-time location information according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 실시간 영상(810)의 비주얼 코드(110a, 110b, 110c)로부터 실시간 위치 정보를 획득한다. 전자 장치(100)는 실시간 영상(810)으로부터 다면체 객체(120)까지의 거리 정보 및 방향 정보를 획득한다. 전자 장치(100)는 코드 위치 정보와, 거리 정보 및 방향 정보에 기초하여, 실시간 위치 정보를 획득한다.According to an embodiment of the present disclosure, the electronic device 100 obtains real-time location information from the visual codes 110a, 110b, and 110c of the real-time image 810. The electronic device 100 obtains distance information and direction information from the real-time image 810 to the polyhedral object 120. The electronic device 100 obtains real-time location information based on code location information, distance information, and direction information.

전자 장치(100)는 실시간 영상(810)의 각 프레임에 대해, 코드 위치 정보를 획득하고, 실시간 위치 정보를 획득한다.The electronic device 100 obtains code location information and real-time location information for each frame of the real-time image 810.

도 8을 참조하면, 우선 단계 812에서, 전자 장치(100)는 비주얼 코드(110a, 110b, 110c)의 크기 정보를 획득한다. 비주얼 코드(110a, 110b, 110c)의 크기 정보는 픽셀 수에 기초하여 산출될 수 있다. 전자 장치(100)는 카메라(220)의 배율과 픽셀 수에 기초하여, 비주얼 코드(110a, 110b, 110c)의 크기 정보를 획득할 수 있다.Referring to FIG. 8, in step 812, the electronic device 100 obtains size information of the visual codes 110a, 110b, and 110c. Size information of the visual codes 110a, 110b, and 110c may be calculated based on the number of pixels. The electronic device 100 may obtain size information of the visual codes 110a, 110b, and 110c based on the magnification and number of pixels of the camera 220.

다음으로 단계 814에서, 전자 장치(100)는 비주얼 코드(110a, 110b, 110c)의 크기 정보에 기초하여 다면체 객체(120)까지의 거리 정보를 획득한다. 전자 장치(100)는 비주얼 코드(110a, 110b, 110c)의 실제 크기 정보를 미리 저장한다. 전자 장치(100)는 비주얼 코드(110a, 110b, 110c)의 실제 크기 정보와 실시간 영상(810)으로부터 산출된 비주얼 코드(110a, 110b, 110c)의 크기 정보에 기초하여, 다면체 객체(120)까지의 거리 정보를 산출한다. Next, in step 814, the electronic device 100 obtains distance information to the polyhedral object 120 based on the size information of the visual codes 110a, 110b, and 110c. The electronic device 100 stores information on the actual sizes of the visual codes 110a, 110b, and 110c in advance. The electronic device 100 displays up to the polyhedral object 120 based on the actual size information of the visual codes 110a, 110b, and 110c and the size information of the visual codes 110a, 110b, and 110c calculated from the real-time image 810. Calculate distance information.

단계 816에서, 전자 장치(100)는 다면체 객체(120)에서 보이는 비주얼 코드(110a, 110b, 110c)의 조합을 식별한다. 다면체 객체(120)는 복수의 외부면 각각에 서로 다른 비주얼 코드(110a, 110b, 110c)를 구비할 수 있다. 전자 장치(100)가 소정의 방향에서 다면체 객체(120)를 촬영하면, 다면체 객체(120)의 복수의 외부면 중 일부 면이 촬영될 수 있다. 다면체 객체(120)가 실내 공간의 천장에 부착된 경우, 전자 장치(100)는 다면체 객체(120)의 윗면과, 복수의 측면을 촬영할 수 있다. 전자 장치(100)는 실시간 영상(810)에 의해 촬영된 다면체 객체(120)로부터 복수의 비주얼 코드(110a, 110b, 110c)를 인식한다. 전자 장치(100)는 실시간 영상(810)에서 인식된 비주얼 코드(110a, 110b, 110c)의 조합을 식별한다. 전자 장치(100)는 인식된 각각의 비주얼 코드(110a, 110b, 110c)의 태그 ID를 획득하고, 각각의 비주얼 코드(110a, 110b, 110c)가 다면체 객체(120)의 어느 면에 배치된 객체인지를 식별할 수 있다. 일 실시예에 따르면, 비주얼 코드 룩업 테이블은 각 태그 ID에 대해, 다면체 객체(120)의 어느 면에 배치된 비주얼 코드(110a, 110b, 110c)를 나타내는 정보를 포함할 수 있다.In step 816, the electronic device 100 identifies the combination of visual codes 110a, 110b, and 110c visible in the polyhedral object 120. The polyhedral object 120 may have different visual codes 110a, 110b, and 110c on each of a plurality of external surfaces. When the electronic device 100 photographs the polyhedral object 120 in a predetermined direction, some of the plurality of external surfaces of the polyhedral object 120 may be photographed. When the polyhedral object 120 is attached to the ceiling of an indoor space, the electronic device 100 may photograph the top surface and a plurality of side surfaces of the polyhedral object 120. The electronic device 100 recognizes a plurality of visual codes 110a, 110b, and 110c from the polyhedral object 120 captured by the real-time image 810. The electronic device 100 identifies a combination of the visual codes 110a, 110b, and 110c recognized in the real-time image 810. The electronic device 100 obtains the tag ID of each recognized visual code (110a, 110b, 110c), and each visual code (110a, 110b, 110c) is an object placed on any side of the polyhedral object 120. perception can be identified. According to one embodiment, the visual code lookup table may include information indicating the visual codes 110a, 110b, and 110c placed on any side of the polyhedral object 120 for each tag ID.

다음으로 단계 818에서, 전자 장치(100)는 식별된 비주얼 코드(110a, 110b, 110c)의 조합에 기초하여, 전자 장치(100)의 방향 정보를 획득한다. 전자 장치(100)는 식별된 복수의 비주얼 코드(110a, 110b, 110c)가 배치된 다면체 객체(120)의 면이 향하는 방향에 전자 장치(100)가 위치해 있다고 판단할 수 있다. 본 개시의 일 실시예에 따르면, 전자 장치(100)는 실시간 영상(810)에서 식별된 각 비주얼 코드(110a, 110b, 110c)의 크기 비율에 기초하여, 전자 장치(100)의 방향 정보를 산출할 수 있다. 예를 들면, 전자 장치(100)는 제1 측면에 배치된 비주얼 코드(110a)의 크기와 제2 측면에 배치된 비주얼 코드(110b)의 크기 비율에 기초하여, 전자 장치(100)가 향하는 방향 정보를 정의할 수 있다.Next, in step 818, the electronic device 100 obtains direction information of the electronic device 100 based on a combination of the identified visual codes 110a, 110b, and 110c. The electronic device 100 may determine that the electronic device 100 is located in the direction in which the face of the polyhedral object 120 where the identified plurality of visual codes 110a, 110b, and 110c are located faces. According to an embodiment of the present disclosure, the electronic device 100 calculates direction information of the electronic device 100 based on the size ratio of each visual code 110a, 110b, and 110c identified in the real-time image 810. can do. For example, the direction in which the electronic device 100 faces is based on the size ratio of the visual code 110a disposed on the first side and the size of the visual code 110b disposed on the second side. Information can be defined.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 다면체 객체(120)를 중심으로 하고, 소정의 기준선으로부터 정의되는 각도 정보에 의해 방향 정보를 정의할 수 있다. 전자 장치(100)는 실시간 영상(810)에서 인식된 비주얼 코드(110a, 110b, 110c)의 조합에 기초하여 전자 장치(100)의 방향 정보의 각도 범위를 정할 수 있다. 예를 들면, 전자 장치(100)는 실시간 영상(810)에서 제1 측면의 제1 비주얼 코드(110a)와 제2 측면의 제2 비주얼 코드(110b)가 인식된 경우, 방향 정보가 0도 내지 180도 범위 내에 있다고 판단한다. 다음으로 전자 장치(100)는 제1 비주얼 코드(110a)와 제2 비주얼 코드(110b)의 크기 비율에 기초하여, 방향 정보의 각도를 정의할 수 있다. 예를 들면, 전자 장치(100)는 제1 비주얼 코드(110a)와 제2 비주얼 코드(110b)의 크기가 동일한 경우, 방향 정보를 90도로 정의할 수 있다.According to an embodiment of the present disclosure, the electronic device 100 may define direction information based on angle information defined from a predetermined reference line with the polyhedral object 120 as the center. The electronic device 100 may determine the angle range of the direction information of the electronic device 100 based on a combination of the visual codes 110a, 110b, and 110c recognized in the real-time image 810. For example, when the first visual code 110a on the first side and the second visual code 110b on the second side are recognized in the real-time image 810, the electronic device 100 provides direction information ranging from 0 degrees to 0 degrees. It is judged to be within the range of 180 degrees. Next, the electronic device 100 may define the angle of direction information based on the size ratio of the first visual code 110a and the second visual code 110b. For example, when the sizes of the first visual code 110a and the second visual code 110b are the same, the electronic device 100 may define direction information as 90 degrees.

거리 정보를 획득하는 과정(812, 814)과 방향 정보를 획득하는 과정(816, 818)은 순차적으로 수행되거나, 병렬적으로 수행될 수 있다.The processes 812 and 814 for obtaining distance information and the processes 816 and 818 for obtaining direction information may be performed sequentially or in parallel.

단계 820에서, 전자 장치(100)는 코드 위치 정보, 거리 정보, 및 방향 정보에 기초하여 실시간 위치 정보를 획득한다. 전자 장치(100)는 코드 위치 정보를 중심으로, 거리 정보와 방향 정보에 기초하여 실시간 위치 정보를 정의한다. 전자 장치(100)는 실시간 위치 정보의 좌표 정보 및 층수 정보(또는 식별 정보)를 정의할 수 있다.In step 820, the electronic device 100 obtains real-time location information based on code location information, distance information, and direction information. The electronic device 100 defines real-time location information based on distance information and direction information, focusing on code location information. The electronic device 100 may define coordinate information and floor number information (or identification information) of real-time location information.

도 9는 본 개시의 일 실시예에 따라, 지도 정보를 획득하는 과정을 나타낸 도면이다.FIG. 9 is a diagram illustrating a process for acquiring map information according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 실시간 위치 정보(910a, 910b)에 기초하여, 지도 정보(920)를 획득한다. 전자 장치(100)는 실시간 위치 정보(910a, 910b)가 속하는 실내 공간을 식별한다. 예를 들면, 실시간 위치 정보(910a, 910b)는 실시간 위치(950)에 대응될 수 있다. 전자 장치(100)는 식별된 실내 공간의 지도 정보(920)를 획득한다.According to an embodiment of the present disclosure, the electronic device 100 acquires map information 920 based on real-time location information 910a and 910b. The electronic device 100 identifies the indoor space to which the real-time location information 910a and 910b belongs. For example, real-time location information 910a and 910b may correspond to real-time location 950. The electronic device 100 acquires map information 920 of the identified indoor space.

실시간 위치 정보(910a)가 좌표 정보와 층수 정보로 정의되는 경우, 전자 장치(100)는 좌표 정보 및 층수 정보의 조합에 대응하는 지도 정보를 획득한다. When the real-time location information 910a is defined as coordinate information and floor number information, the electronic device 100 obtains map information corresponding to a combination of coordinate information and floor number information.

실시간 위치 정보(910b)가 좌표 정보와 식별 정보로 정의되는 경우, 전자 장치(100)는 실내 공간의 식별 정보에 기초하여 지도 정보를 획득한다. 실내 공간의 식별 정보는 소정 범위의 실내 공간에 대응되기 때문에, 전자 장치(100)는 실내 공간의 식별 정보만으로 실내 공간을 정의할 수 있다. 따라서 전자 장치(100)는 실내 공간의 식별 정보만으로 실내 공간의 지도 정보(920)를 획득할 수 있다.When the real-time location information 910b is defined as coordinate information and identification information, the electronic device 100 obtains map information based on the identification information of the indoor space. Since the indoor space identification information corresponds to a predetermined range of indoor space, the electronic device 100 can define the indoor space only with the indoor space identification information. Accordingly, the electronic device 100 can acquire map information 920 of the indoor space using only the identification information of the indoor space.

본 개시의 일 실시예에 따르면, 지도 정보(920)는 메모리(240)에 미리 저장될 수 있다. 또한, 본 개시의 일 실시예에 따르면, 지도 정보(920)는 외부 장치 또는 서버에 저장되고, 전자 장치(100)는 네트워크를 통해 외부 장치 또는 서버로 실시간 위치 정보(910a, 910b)에 대응하는 지도 정보를 요청하고, 외부 장치 또는 서버로부터 지도 정보를 수신할 수 있다.According to one embodiment of the present disclosure, map information 920 may be stored in advance in memory 240. In addition, according to an embodiment of the present disclosure, the map information 920 is stored in an external device or server, and the electronic device 100 provides real-time location information corresponding to real-time location information 910a and 910b to the external device or server through a network. You can request map information and receive map information from an external device or server.

지도 정보(920)는 좌표 정보에 의해 정의된 소정의 범위의 지도 정보(920)에 대응될 수 있다. 좌표 정보가 w3w 방식으로 정의되는 경우, 지도 정보(920)의 가로 범위(930)는 80개의 w3w 그리드에 대응되고, 지도 정보(920)의 세로 범위(940)는 57개의 w3w 그리드에 대응될 수 있다. 또한, 지도 정보(920)의 범위가 w3w 값으로 정의될 수 있다. 예를 들면, 지도 정보(920)의 4개의 w3w 값에 의해 정의되는 직사각형 범위에 대응될 수 있다. 예를 들면, 도 9에서는 전자 장치(100)가 goodness.plots.various 값, swipes.fortunate.skis 값, wanting.washing.troubled 값, 및 fumes.pressing.hears 값의 4개의 꼭짓점을 갖는 직사각형 범위를 포함하는 지도 정보(920)를 포함할 수 있다.The map information 920 may correspond to a predetermined range of map information 920 defined by coordinate information. If the coordinate information is defined in the w3w method, the horizontal range 930 of the map information 920 may correspond to 80 w3w grids, and the vertical range 940 of the map information 920 may correspond to 57 w3w grids. there is. Additionally, the range of map information 920 may be defined by the w3w value. For example, it may correspond to a rectangular range defined by four w3w values of the map information 920. For example, in Figure 9, the electronic device 100 defines a rectangular range with four vertices: goodness.plots.various values, swipes.fortunate.skis values, wanting.washing.troubled values, and fumes.pressing.hears values. It may include map information 920.

도 10은 본 개시의 일 실시예에 따라 지도 정보로부터 제1 지도 영역을 추출하는 과정을 나타낸 도면이다.FIG. 10 is a diagram illustrating a process for extracting a first map area from map information according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 실내 공간의 지도 정보(920)로부터 실시간 위치 정보에 대응하는 실시간 위치(950)를 포함하는 제1 지도 영역(1010)을 추출한다. 제1 지도 영역(1010)은 실시간 위치(950)를 포함하는 소정 크기의 영역이다. 제1 지도 영역(1010)은 실내 공간의 지도 정보(920)의 일 부분에 해당한다. According to an embodiment of the present disclosure, the electronic device 100 extracts a first map area 1010 including a real-time location 950 corresponding to real-time location information from map information 920 of an indoor space. The first map area 1010 is an area of a predetermined size including a real-time location 950. The first map area 1010 corresponds to a portion of the map information 920 of the indoor space.

전자 장치(100)는 실시간 위치 정보를 디스플레이(230)를 통해 표시할 때, 제1 지도 영역(1010) 상에 실시간 위치 정보를 나타내는 위치 인디케이터를 디스플레이한다. 이를 위해, 전자 장치(100)는 실시간 위치 정보의 출력에 사용할 소정 크기의 제1 지도 영역(1010)을 실내 공간의 지도 정보(920)로부터 추출한다.When the electronic device 100 displays real-time location information through the display 230, it displays a location indicator indicating the real-time location information on the first map area 1010. To this end, the electronic device 100 extracts a first map area 1010 of a predetermined size to be used for outputting real-time location information from the map information 920 of the indoor space.

도 11은 본 개시의 일 실시예에 따른 전자 장치의 구조를 나타낸 블록도이다.Figure 11 is a block diagram showing the structure of an electronic device according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따른 전자 장치(100)는 프로세서(210), 카메라(220), 디스플레이(230), 메모리(240), 및 기울기 센서(1110)를 포함한다. 도 11에서는 도 2에서 설명한 전자 장치(100)와의 차이점을 중심으로 설명한다. The electronic device 100 according to an embodiment of the present disclosure includes a processor 210, a camera 220, a display 230, a memory 240, and a tilt sensor 1110. In FIG. 11 , the description will focus on differences from the electronic device 100 described in FIG. 2 .

본 개시의 일 실시예에 따르면, 전자 장치(100)는 기울기 센서(1110)를 이용하여 전자 장치(100)의 기울기를 측정한다. 전자 장치(100)는 기울기에 기초하여 전자 장치(100)의 디스플레이(230)로 출력되는 GUI뷰의 모드를 변경할 수 있다. According to an embodiment of the present disclosure, the electronic device 100 measures the tilt of the electronic device 100 using the tilt sensor 1110. The electronic device 100 may change the mode of the GUI view output to the display 230 of the electronic device 100 based on the tilt.

기울기 센서(1110)는 전자 장치(100)의 기울기를 측정하는 센서이다. 기울기 센서(1110)는 예를 들면, 가속도 센서 또는 자이로 센서 등을 포함할 수 있다. 기울기 센서(1110)는 기울기 검출 값을 프로세서(210)로 출력한다.The tilt sensor 1110 is a sensor that measures the tilt of the electronic device 100. The tilt sensor 1110 may include, for example, an acceleration sensor or a gyro sensor. The tilt sensor 1110 outputs a tilt detection value to the processor 210.

프로세서(210)는 기울기 센서(1110)로부터 출력된 기울기 검출 값에 기초하여, 기울기 정보를 생성한다. 프로세서(210)는 중력 방향에 대한 전자 장치(100)의 기울기를 나타내는 기울기 정보를 생성할 수 있다. 기울기 정보는 중력 방향에 대한 각도를 나타낼 수 있다. The processor 210 generates tilt information based on the tilt detection value output from the tilt sensor 1110. The processor 210 may generate tilt information indicating the tilt of the electronic device 100 with respect to the direction of gravity. Tilt information may indicate an angle with respect to the direction of gravity.

프로세서(210)는 기울기 정보에 기초하여, 실시간 위치 정보를 나타내는 GUI의 모드를 변경한다. 본 개시의 일 실시예에 따르면, 전자 장치(100)는 제1 배치 상태에서 지도 정보 상에 위치 인디케이터를 디스플레이 한 제1 GUI 뷰와 실시간 영상 상에 제1 비주얼 코드의 인디케이터를 나타낸 제2 GUI 뷰를 함께 나타내는 제1 모드로 동작한다. 전자 장치(100)는 제2 배치 상태에서, 제2 GUI뷰 없이 제1 GUI뷰를 디스플레이하는 제2 모드로 동작한다. 제1 배치 상태와 제2 배치 상태는 기울기 정보에 기초하여 정의될 수 있다.The processor 210 changes the mode of the GUI showing real-time location information based on the tilt information. According to an embodiment of the present disclosure, the electronic device 100 displays a first GUI view displaying a location indicator on map information in a first arrangement state and a second GUI view displaying an indicator of a first visual code on a real-time image. It operates in the first mode, which also represents . In the second arrangement state, the electronic device 100 operates in a second mode that displays the first GUI view without the second GUI view. The first arrangement state and the second arrangement state may be defined based on slope information.

도 12는 본 개시의 일 실시예에 따른 기울기 정보, 제1 배치 상태, 및 제2 배치 상태를 설명하기 위한 도면이다.FIG. 12 is a diagram for explaining tilt information, a first arrangement state, and a second arrangement state according to an embodiment of the present disclosure.

본 개시의 일 실시예에 다르면, 기울기 정보는 중력 방향에 대항 각도로 정의될 수 있다. 도 12에서 세로축(1210)은 중력 방향에 대응하는 축이고, 가로축(1220)은 중력 방향에 수직인 수평 방향에 대응하는 축이다. 전자 장치(100)의 기울기 정보는 전자 장치(100)와 세로축(1210) 사이의 기울기 각도(1242)로 정의될 수 있다. 기울기 각도(1242)는 전자 장치(100)의 디스플레이(230) 상의 세로 중심선(1240)과 세로축(1210) 사이의 각도에 대응할 수 있다. According to one embodiment of the present disclosure, the tilt information may be defined as an angle opposing the direction of gravity. In FIG. 12, the vertical axis 1210 is an axis corresponding to the direction of gravity, and the horizontal axis 1220 is an axis corresponding to a horizontal direction perpendicular to the direction of gravity. Tilt information of the electronic device 100 may be defined as a tilt angle 1242 between the electronic device 100 and the vertical axis 1210. The tilt angle 1242 may correspond to the angle between the vertical center line 1240 and the vertical axis 1210 on the display 230 of the electronic device 100.

제1 배치 상태와 제2 배치 상태는 세로축(1210)에 대한 기울기 각도 범위로 정의될 수 있다. 제1 배치 상태는 전자 장치(100)의 기울기 각도(1242)가 제1 각도 범위(1244)에 대응하는 상태를 나타낸다. 제2 배치 상태는 전자 장치(100)의 기울기 각도(1242)가 제2 각도 범위(1246)에 대응하는 상태를 나타낸다. 제1 배치 상태는 전자 장치(100)의 후면이 전방을 향하도록 세워진 상태 또는 전면이 사용자를 향하도록 세워진 상태에 대응할 수 있다. 제2 배치 상태는 전자 장치(100)가 눕혀진 상태 또는 전자 장치(100)가 하방을 향하는 상태에 대응할 수 있다. 제1 각도 범위(1244)와 제2 각도 범위(1246)의 경계에 해당하는 기준 각도(1230)는 다양하게 결정될 수 있다. The first arrangement state and the second arrangement state may be defined by a tilt angle range with respect to the vertical axis 1210. The first arrangement state represents a state in which the tilt angle 1242 of the electronic device 100 corresponds to the first angle range 1244. The second arrangement state represents a state in which the tilt angle 1242 of the electronic device 100 corresponds to the second angle range 1246. The first arrangement state may correspond to a state in which the rear of the electronic device 100 is facing forward or a state in which the front of the electronic device 100 is facing the user. The second arrangement state may correspond to a state in which the electronic device 100 is laid down or a state in which the electronic device 100 is facing downward. The reference angle 1230 corresponding to the boundary between the first angle range 1244 and the second angle range 1246 may be determined in various ways.

본 개시의 일 실시예에 따르면, 기준 각도(1230)는 제1 배치 상태에서 제2 배치 상태로 변경되는 경우와, 제2 배치 상태에서 제1 배치 상태로 변경되는 경우에 다르게 설정될 수 있다. 예를 들면, 제1 배치 상태에서 제2 배치 상태로 변경되는 경우, 기준 각도(1230)는 45도와 90도 사이의 각도에 대응할 수 있고, 예를 들면, 70도 내지 80도 사이로 결정될 수 있다. 또한, 제2 배치 상태에서 제1 배치 상태로 변경되는 경우, 기준 각도(1230)는 0도와 45도 사이의 각도에 대응할 수 있고, 예를 들면, 10도와 20도 사이로 결정될 수 있다. According to an embodiment of the present disclosure, the reference angle 1230 may be set differently when changing from the first arrangement state to the second arrangement state and when changing from the second arrangement state to the first arrangement state. For example, when changing from the first arrangement state to the second arrangement state, the reference angle 1230 may correspond to an angle between 45 degrees and 90 degrees, for example, may be determined to be between 70 degrees and 80 degrees. Additionally, when changing from the second arrangement state to the first arrangement state, the reference angle 1230 may correspond to an angle between 0 degrees and 45 degrees, and may be determined to be between 10 degrees and 20 degrees, for example.

도 13은 본 개시의 일 실시예에 따라, 제1 배치 상태와 제2 배치 상태에서의 GUI 뷰를 나타낸 도면이다.FIG. 13 is a diagram illustrating a GUI view in a first deployment state and a second deployment state, according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 제1 배치 상태에서 제1 GUI 뷰(1310)와 제2 GUI뷰(1320)를 함께 디스플레이하는 제1 모드(1304)로 동작할 수 있다. 또한, 전자 장치(100)는 제2 배치 상태에서, 제2 GUI뷰(1320)는 표시하지 않고, 제1 GUI뷰(1310)를 표시하는 제2 모드(1302)로 동작할 수 있다.According to an embodiment of the present disclosure, the electronic device 100 may operate in a first mode 1304 that displays the first GUI view 1310 and the second GUI view 1320 together in the first arrangement state. . Additionally, in the second arrangement state, the electronic device 100 may operate in the second mode 1302 that displays the first GUI view 1310 without displaying the second GUI view 1320.

제1 GUI 뷰(1310)는 지도 정보 상에 위치 인디케이터(1312)를 디스플레이한다. 제1 GUI뷰(1310)는 실내 공간의 지도 정보에서 추출한 제1 지도 영역의 지도 정보 상에 실시간 위치 정보에 대응하는 위치에 위치 인디케이터(1312)를 배치하여 출력할 수 있다. 제1 지도 영역과 위치 인디케이터(1312)는 실시간 위치 정보에 기초하여 주기적으로 업데이트된다. The first GUI view 1310 displays a location indicator 1312 on map information. The first GUI view 1310 can be output by placing a location indicator 1312 at a position corresponding to real-time location information on map information of the first map area extracted from map information of the indoor space. The first map area and location indicator 1312 are periodically updated based on real-time location information.

제2 GUI 뷰(1320)는 실시간 촬영 영상을 디스플레이한다. 제2 GUI뷰(1320)에서, 실시간 촬영 영상은 동영상 또는 라이브뷰 형태로 출력될 수 있다. 본 개시의 일 실시예에 따르면, 비주얼 코드의 위치를 나타내는 비주얼 코드 인디케이터(1322)는 실시간 촬영 영상 내에서 실내 공간의 바닥에 디스플레이될 수 있다. 비주얼 코드 인디케이터(1322)는 천장에 배치된 비주얼 코드를 실내 공간의 바닥으로 프로젝션한 위치에 디스플레이될 수 있다.The second GUI view 1320 displays real-time captured images. In the second GUI view 1320, the real-time captured image may be output in the form of a video or live view. According to an embodiment of the present disclosure, a visual code indicator 1322 indicating the location of a visual code may be displayed on the floor of an indoor space within a real-time captured image. The visual code indicator 1322 may be displayed at a location where a visual code placed on the ceiling is projected onto the floor of an indoor space.

전자 장치(100)는 소정의 어플리케이션을 실행함에 의해, 본 개시의 실시예들에 따른 실내 공간에서의 위치 정보 제공 동작을 수행할 수 있다. 본 개시의 제1 GUI 뷰(1310) 및 제2 GUI 뷰(1320)는 소정의 어플리케이션을 실행할 때 제공될 수 있다.The electronic device 100 may perform an operation to provide location information in an indoor space according to embodiments of the present disclosure by executing a predetermined application. The first GUI view 1310 and the second GUI view 1320 of the present disclosure may be provided when executing a certain application.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 전자 장치(100)의 기울기 정보에 기초하여, 제1 모드(1304) 또는 제2 모드(1302)로 동작함에 의해, 사용자의 상황에 맞춘 GUI를 제공할 수 있다. 사용자는 전자 장치(100)는 세움에 의해, 실시간 촬영 영상과 지도 정보를 함께 제공 받고, 전자 장치(100)를 눕힘에 의해, 지도 정보만 볼 수 있어, 본인이 원하는 바에 따라 손쉽게 GUI 뷰를 변경할 수 있다. 또한, 전자 장치(100)를 눕힌 상태에서 실시간 촬영 영상은 바닥을 촬영한 것이어서 사실상 의미가 없는 영상이기 때문에, 본 개시의 실시예에 따르면, 전자 장치(100)는 전자 장치(100)를 눕힌 상태에서는 실시간 촬영 영상을 출력하지 않아, 불필요한 영상을 출력하지 않도록 하는 효과가 있다.According to an embodiment of the present disclosure, the electronic device 100 operates in the first mode 1304 or the second mode 1302 based on the tilt information of the electronic device 100 to suit the user's situation. A GUI can be provided. When the electronic device 100 is erected, the user is provided with both real-time captured images and map information, and when the electronic device 100 is laid down, the user can view only the map information, and can easily change the GUI view according to the user's preference. You can. In addition, since the real-time captured image when the electronic device 100 is laid down is a virtually meaningless image because it is captured on the floor, according to an embodiment of the present disclosure, the electronic device 100 is shot in a state where the electronic device 100 is laid down. does not output real-time captured video, which has the effect of preventing unnecessary video from being output.

도 14는 본 개시의 일 실시예에 따라 비주얼 코드의 위치를 실내 공간의 바닥으로 프로젝션하는 과정을 나타낸 도면이다.FIG. 14 is a diagram illustrating a process of projecting the location of a visual code onto the floor of an indoor space according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 비주얼 코드(110)를 구비하는 다면체 객체(120)는 실내 공간의 천장(1410)에 배치된다. 전자 장치(100)는 제2 GUI 뷰(1320)의 실시간 촬영 영상에 비주얼 코드(110)의 인디케이터(1420)를 표시한다. 비주얼 코드(110)의 인디케이터(1420)는 코드 위치 정보를 실시간 촬영 영상에서 실내 공간의 바닥에 표시된다. According to one embodiment of the present disclosure, the polyhedral object 120 including the visual code 110 is placed on the ceiling 1410 of an indoor space. The electronic device 100 displays an indicator 1420 of the visual code 110 on the real-time captured image of the second GUI view 1320. The indicator 1420 of the visual code 110 displays code location information on the floor of an indoor space in a real-time captured image.

본 개시의 일 실시 예에 따르면, 전자 장치(100)는 비주얼 코드(110)의 코드 위치 정보에 기초하여, 코드 위치 정보에 대응하는 위치를 실내 공간의 바닥에서 식별한다. 전자 장치(100)는 식별된 위치에 비주얼 코드(110)의 위치를 나타내는 인디케이터(1420)를 표시할 수 있다. According to an embodiment of the present disclosure, the electronic device 100 identifies a location corresponding to the code location information on the floor of an indoor space, based on the code location information of the visual code 110. The electronic device 100 may display an indicator 1420 indicating the location of the visual code 110 at the identified location.

본 개시의 다른 실시 예에 따르면, 전자 장치(100)는 실시간 촬영 영상에서 비주얼 코드(110)를 인식하고, 비주얼 코드(110)가 배치된 다면체 객체(120)의 위치를 천장(1410)으로부터 바닥(1430)으로 프로젝션한 위치를 식별한다. 전자 장치(100)는 식별된 프로젝션한 위치에 비주얼 코드(110)의 위치를 나타내는 인디케이터(1420)를 표시할 수 있다.According to another embodiment of the present disclosure, the electronic device 100 recognizes the visual code 110 in a real-time captured image and determines the position of the polyhedral object 120 on which the visual code 110 is placed from the ceiling 1410 to the floor. Identify the projected location with (1430). The electronic device 100 may display an indicator 1420 indicating the location of the visual code 110 at the identified projected location.

도 15는 본 개시의 일 실시 예에 따라, 관심 객체를 설정하고, 관심 객체로의 경로를 안내하는 과정을 나타낸 도면이다.Figure 15 is a diagram illustrating a process of setting an object of interest and guiding a path to the object of interest, according to an embodiment of the present disclosure.

본 개시의 일 실시 예에 다르면, 전자 장치(100)는 실내 공간에서 관심 객체의 위치를 목적지로 설정하고, 목적지로의 이동 경로를 안내할 수 있다. 관심 객체는 예를 들면, 상품, 상점, 방, 부스 등에 대응될 수 있다. 도 15에서는 실내 공간은 상점이고, 상점에서 사용자가 선택한 상품으로 이동 경로를 안내하는 실시예를 중심으로 설명한다.According to an embodiment of the present disclosure, the electronic device 100 may set the location of an object of interest in an indoor space as a destination and guide the movement route to the destination. The object of interest may correspond to, for example, a product, a store, a room, a booth, etc. In FIG. 15, the indoor space is a store, and the description focuses on an embodiment that guides the user's movement path from the store to the product selected by the user.

도 15를 참조하면, 단계 1510에서, 전자 장치(100)는 사용자로부터 관심 상품을 선택하는 입력을 수신할 수 있다. 전자 장치(100)는 소정의 어플리케이션에서, 사용자가 관심 상품을 입력할 수 있는 GUI를 제공한다. 예를 들면, 전자 장치(100)는 관심 상품을 선택하는 메뉴 버튼(1512)을 제공하고, 사용자 입력에 기초하여 상품 선택 입력을 수신할 수 있다.Referring to FIG. 15, in step 1510, the electronic device 100 may receive an input for selecting a product of interest from the user. The electronic device 100 provides a GUI through which a user can input a product of interest in a predetermined application. For example, the electronic device 100 may provide a menu button 1512 for selecting a product of interest and receive a product selection input based on a user input.

사용자가 관심 상품을 선택하면, 다음으로 단계 1520에서, 전자 장치(100)는 선택된 상품의 위치 정보를 식별한다. 일 실시 예에 따르면, 전자 장치(100)는 실내 공간 내에서, 각 상품의 위치 정보를 나타내는 상품 위치 정보(1522)를 이용하여 상품의 위치 정보를 식별할 수 있다. 상품 위치 정보(1522)는 상품 ID에 따른 상품 정보, 위치 정보, 및 층수 정보를 포함할 수 있다. 상품 위치 정보(1522)으 위치 정보는 예를 들면, w3w, 위도와 경도 등에 의해 위치 정보가 정의될 수 있다. 상품 위치 정보(1522)는 메모리(240)에 미리 저장되거나, 전자 장치(100)가 서버 등의 외부 장치로부터 획득할 수 있다.When the user selects a product of interest, in step 1520, the electronic device 100 identifies location information of the selected product. According to one embodiment, the electronic device 100 may identify the location information of a product using product location information 1522 indicating the location information of each product within an indoor space. Product location information 1522 may include product information according to product ID, location information, and floor number information. The location information of the product location information 1522 may be defined by, for example, w3w, latitude and longitude, etc. Product location information 1522 may be pre-stored in the memory 240, or the electronic device 100 may obtain it from an external device such as a server.

선택된 상품의 위치 정보가 식별되면, 단계 1530에서 전자 장치(100)는 실시간 위치로부터 선택된 상품으로의 이동 경로를 생성한다. 전자 장치(100)는 실내 공간의 지도 정보에 기초하여, 실내 공간의 구조 및 장애물을 식별하고, 통로를 식별한다. 전자 장치(100)는 실내 공간의 구조, 장애물, 통로 등에 기초하여, 현재의 실시간 위치로부터 선택된 상품의 위치로의 이동 경로를 생성한다. When the location information of the selected product is identified, in step 1530, the electronic device 100 creates a movement path from the real-time location to the selected product. The electronic device 100 identifies structures and obstacles in the indoor space and identifies passages based on map information of the indoor space. The electronic device 100 generates a movement path from the current real-time location to the location of the selected product based on the structure of the indoor space, obstacles, passages, etc.

전자 장치(100)는 이동 경로에 기초하여, 사용자가 이동할 방향에 대한 인디케이터 또는 가이드 정보를 출력한다. 예를 들면, 전자 장치(100)는 이동할 방향을 나타내는 보조선, 화살표, 상품 정보 등을 디스플레이할 수 있다. 전자 장치(100)는 지도 상에 표시되는 제1 GUI에 이동 경로에 대한 인디케이터 또는 가이드 정보를 표시하거나, 제2 GUI에 이동 경로에 대한 인디케이터 또는 가이드 정보를 표시할 수 있다.The electronic device 100 outputs an indicator or guide information about the direction in which the user will move based on the movement path. For example, the electronic device 100 may display auxiliary lines, arrows, product information, etc. indicating the direction of movement. The electronic device 100 may display an indicator or guide information about the movement route on the first GUI displayed on the map, or may display an indicator or guide information about the movement route on the second GUI.

본 개시의 일 실시 예에 따르면, 단계 1540에서 전자 장치(100)는 제2 모드로 동작하면서, 제2 GUI에 이동 경로에 대한 인디케이터 또는 가이드 정보를 표시한다. 또한, 단계 1550에서 전자 장치(100)는 제1 모드로 동작하면서, 제1 GUI 및 제2 GUI에 이동 경로에 대한 인디케이터 또는 가이드 정보를 표시한다. 전자 장치(100)는 제1 모드 및 제2 모드에서 관심 상품 정보(1542)를 디스플레이할 수 있다.According to an embodiment of the present disclosure, in step 1540, the electronic device 100 operates in the second mode and displays an indicator or guide information about the movement path on the second GUI. Additionally, in step 1550, the electronic device 100 operates in the first mode and displays an indicator or guide information about the movement path on the first GUI and the second GUI. The electronic device 100 may display product of interest information 1542 in the first mode and the second mode.

본 개시의 일 실시 예에 따르면, 전자 장치(100)는 관심 상품을 추가하는 사용자 입력을 수신할 수 있다. 전자 장치(100)는 관심 상품으로의 이동 경로를 가이드하는 중에, 관심 상품을 추가할 수 있는 추가 메뉴(1544)를 제공한다. 전자 장치(100)는 사용자로부터 관심 상품을 추가하는 사용자 입력이 입력되면, 사용자가 선택한 관심 상품으로의 이동 경로를 추가로 가이드한다. 본 개시의 일 실시 예에 따르면, 전자 장치(100)는 관심 상품이 추가되어 복수의 관심 상품이 선택된 경우, 복수의 관심 상품 각각으로의 이동 경로를 함께 디스플레이할 수 있다. 예를 들면, 전자 장치(100)는 관심 상품으로 각각 피자와 라면이 입력된 경우, 왼쪽으로 가면 피자가 있고, 오른쪽으로 가면 라면이 있다는 가이드 정보를 출력할 수 있다. According to an embodiment of the present disclosure, the electronic device 100 may receive a user input for adding a product of interest. The electronic device 100 provides an additional menu 1544 for adding a product of interest while guiding the movement route to the product of interest. When a user input for adding a product of interest is input from the user, the electronic device 100 additionally guides the movement path to the product of interest selected by the user. According to an embodiment of the present disclosure, when a product of interest is added and a plurality of products of interest are selected, the electronic device 100 may display a movement path to each of the plurality of products of interest. For example, when pizza and ramen are input as products of interest, the electronic device 100 may output guide information indicating that there is pizza when you go to the left and there is ramen when you go to the right.

도 16은 본 개시의 일 실시예에 따른 다면체 객체를 나타낸 도면이다.Figure 16 is a diagram showing a polyhedral object according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 다면체 객체(120)는 비주얼 코드(110a, 110b, 110c)와 추가 컨텐츠(1610a, 1610b, 1610c)를 함께 출력할 수 있다.According to an embodiment of the present disclosure, the polyhedral object 120 may output visual codes 110a, 110b, and 110c and additional content 1610a, 1610b, and 1610c.

본 개시의 일 실시예에 따르면, 다면체 객체(120)는 시간에 따라 표시 내용이 변경되는 디스플레이를 포함할 수 있다. 디스플레이는 다면체 객체(120)의 외부면(122a, 122b, 122c)에 각각 배치될 수 있다. According to an embodiment of the present disclosure, the polyhedral object 120 may include a display whose display content changes depending on time. The display may be disposed on the outer surfaces 122a, 122b, and 122c of the polyhedral object 120, respectively.

다면체 객체(120)는 디스플레이를 통해 시분할 방식으로 비주얼 코드(110a, 110b, 110c)와 추가 컨텐츠(1610a, 1610b, 1610c)를 디스플레이할 수 있다. 다면체 객체(120)는 제1 상태(1620)에서 비주얼 코드(110a, 110b, 110c)를 디스플레이하고, 제2 상태(1622)에서 추가 컨텐츠(1610a, 1610b, 1610c)를 디스플레이할 수 있다. 추가 컨텐츠(1610a, 1610b, 1610c)는 예를 들면, 광고 컨텐츠, 정보 컨텐츠, 장식 컨텐츠, 조명 등에 대응될 수 있다. 추가 컨텐츠(1610a, 1610b, 1610c)가 조명에 대응하는 경우, 다면체 객체(120)는 제2 상태(1622)에서 미리 결정된 밝기와 색으로 발광할 수 있다. 다면체 객체(120)는 제2 상태(1622)에서 실내 공간의 조명으로 동작할 수 있다.The polyhedral object 120 may display visual codes 110a, 110b, and 110c and additional content 1610a, 1610b, and 1610c in a time-sharing manner through the display. The polyhedral object 120 may display visual codes 110a, 110b, and 110c in a first state 1620 and display additional content 1610a, 1610b, and 1610c in a second state 1622. Additional content 1610a, 1610b, and 1610c may correspond to, for example, advertising content, information content, decoration content, lighting, etc. When the additional contents 1610a, 1610b, and 1610c correspond to lighting, the polyhedral object 120 may emit light with predetermined brightness and color in the second state 1622. The polyhedral object 120 may operate as a light in an indoor space in the second state 1622.

다면체 객체(120)는 P1 구간 동안 제1 상태(1620)로 동작하고, P2 구간 동안 제2 상태(1622)로 동작할 수 있다. P1 구간과 P2 구간은 T1 주기로 반복된다. P1 구간은 P2 구간보다 짧은 구간일 수 있다. 예를 들면, 다면체 객체(120)는 대부분의 시간에 추가 컨텐츠(1610a, 1610b, 1610c)를 디스플레이하다가, 1 초당 1 프레임만 비주얼 코드(110a, 110b, 110c)를 출력할 수 있다. The polyhedral object 120 may operate in a first state 1620 during the P1 period and in a second state 1622 during the P2 period. The P1 section and P2 section are repeated in the T1 cycle. The P1 section may be a shorter section than the P2 section. For example, the polyhedral object 120 may display additional content 1610a, 1610b, and 1610c most of the time, but output visual codes 110a, 110b, and 110c only at 1 frame per second.

본 개시의 일 실시예에 따르면, 추가 컨텐츠(1610a, 1610b, 1610c)는 하나 이상의 종류의 추가 컨텐츠를 포함할 수 있다. P2 구간은 복수의 서브 구간을 포함하고, 각각의 서브 구간 동안 서로 다른 추가 컨텐츠(1610a, 1610b, 1610c)가 디스플레이될 수 있다.According to one embodiment of the present disclosure, the additional content 1610a, 1610b, and 1610c may include one or more types of additional content. The P2 section includes a plurality of sub-sections, and different additional content 1610a, 1610b, and 1610c may be displayed during each sub-section.

본 개시의 일 실시예에 따르면, 사람이 인지하지 못하는 짧은 시간 동안만 다면체 객체로부터 비주얼 코드(110a, 110b, 110c)를 출력하고, 대부분의 시간에는 광고 컨텐츠 등을 출력함에 의해, 다면체 객체의 활용도를 향상시킬 수 있다. 또한, 비주얼 코드는 사람이 인지하지 못하는 짧은 시간 동안만 비주얼 코드를 출력함에 의해, 실내 공간의 심미성을 향상시킬 수 있다.According to an embodiment of the present disclosure, the visual codes 110a, 110b, and 110c are output from the polyhedral object only for a short period of time that cannot be recognized by humans, and advertising content, etc. are output most of the time, thereby increasing the usability of the polyhedral object. can be improved. Additionally, the visual code can improve the aesthetics of the indoor space by outputting the visual code only for a short period of time that is not perceptible to humans.

도 17은 본 개시의 일 실시예에 따라 실시간 영상으로부터 비주얼 코드를 인식하는 과정을 나타낸 도면이다.FIG. 17 is a diagram illustrating a process for recognizing a visual code from a real-time video according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따르면, 전자 장치(100)는 도 16의 다면체 객체(120)를 촬영한 실시간 영상(1710)으로부터 비주얼 코드(110a, 110b, 110c)를 인식한다. 단계 1720에서, 전자 장치(100)는 실시간 영상(1710)의 각 프레임들(1712a, 1712b, 1712c, 1712d)로부터 비주얼 코드(110a, 110b, 110c)를 인식한다. 전자 장치(100)는 비주얼 코드(110a, 110b, 110c)가 인식된 경우, 비주얼 코드(110a, 110b, 110c)가 포함된 프레임(1712c)으로부터 비주얼 코드(110a, 110b, 110c)를 획득한다. According to an embodiment of the present disclosure, the electronic device 100 recognizes the visual codes 110a, 110b, and 110c from the real-time image 1710 of the polyhedral object 120 of FIG. 16. In step 1720, the electronic device 100 recognizes the visual codes 110a, 110b, and 110c from each frame 1712a, 1712b, 1712c, and 1712d of the real-time video 1710. When the visual codes 110a, 110b, and 110c are recognized, the electronic device 100 obtains the visual codes 110a, 110b, and 110c from the frame 1712c that includes the visual codes 110a, 110b, and 110c.

비주얼 코드(110a, 110b, 110c)가 획득된 경우, 단계 1722에서 전자 장치(100)는 비주얼 코드(110a, 110b, 110c)로부터 코드 위치 정보를 획득한다. When the visual codes 110a, 110b, and 110c are obtained, in step 1722, the electronic device 100 obtains code location information from the visual codes 110a, 110b, and 110c.

한편, 개시된 실시 예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다. Meanwhile, the disclosed embodiments may be implemented in the form of a computer-readable recording medium that stores instructions and data executable by a computer. The command may be stored in the form of a program code, and when executed by a processor, it may generate a predetermined program module and perform a predetermined operation. Additionally, the instruction, when executed by a processor, may perform certain operations of the disclosed embodiments.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the attached drawings. A person skilled in the art to which the present invention pertains will understand that the present invention may be practiced in forms different from the disclosed embodiments without changing the technical idea or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.

Claims (14)

카메라;
디스플레이;
적어도 하나의 인스트럭션을 저장하는 메모리; 및
적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 카메라를 이용하여, 실시간 영상을 촬영하고,
상기 실시간 영상으로부터 실내 공간의 소정의 위치에 고정된 다면체 객체 상에 배치된 제1 비주얼 코드를 인식하고,
상기 제1 비주얼 코드에 대응하는 코드 위치 정보를 획득하고,
상기 제1 비주얼 코드에 대응하는 코드 위치 정보에 기초하여, 전자 장치의 실시간 위치 정보를 획득하고,
상기 실시간 위치 정보에 대응하는 상기 실내 공간의 지도 정보를 획득하고,
상기 디스플레이를 통해, 상기 획득된 지도 정보 상에 상기 실시간 위치 정보에 대응하는 위치 인디케이터를 디스플레이 하고,
상기 실내 공간의 복수의 위치에 각 위치 정보를 포함하는 비주얼 코드를 포함하는 복수의 다면체 객체가 배치되고, 각각의 다면체 객체의 복수의 면 각각에 상기 비주얼 코드가 배치되는, 전자 장치.camera;
display;
a memory storing at least one instruction; and
Comprising at least one processor, wherein the at least one processor executes the at least one instruction,
Using the camera, capture real-time video,
Recognize a first visual code placed on a polyhedral object fixed at a predetermined location in an indoor space from the real-time image,
Obtain code location information corresponding to the first visual code,
Based on the code location information corresponding to the first visual code, obtain real-time location information of the electronic device,
Obtain map information of the indoor space corresponding to the real-time location information,
Through the display, a location indicator corresponding to the real-time location information is displayed on the acquired map information,
An electronic device wherein a plurality of polyhedral objects including visual codes including respective location information are disposed at a plurality of locations in the indoor space, and the visual codes are disposed on each of a plurality of faces of each polyhedral object. 제1항에 있어서,
상기 코드 위치 정보는 위도와 경도에 대응하는 좌표 정보, 및 상기 실내 공간의 식별 정보를 포함하고,
상기 실내 공간의 지도 정보는, 상기 실내 공간의 식별 정보에 대응하는 지도 정보이고,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 실내 공간의 식별 정보에 기초하여, 상기 실내 공간의 지도 정보를 획득하고,
상기 지도 정보 중 상기 좌표 정보에 대응하는 제1 지도 영역을 식별하고,
상기 위치 인디케이터를 상기 제1 지도 영역 상에서 상기 좌표 정보에 대응하는 위치에 디스플레이하는, 전자 장치.According to paragraph 1,
The code location information includes coordinate information corresponding to latitude and longitude, and identification information of the indoor space,
The map information of the indoor space is map information corresponding to the identification information of the indoor space,
The at least one processor executes the at least one instruction,
Based on the identification information of the indoor space, obtain map information of the indoor space,
Identifying a first map area corresponding to the coordinate information among the map information,
An electronic device that displays the location indicator at a location corresponding to the coordinate information on the first map area. 제1항에 있어서,
상기 코드 위치 정보는 위도와 경도에 대응하는 좌표 정보, 및 상기 실내 공간이 배치된 건축물 내에서의 층수를 나타낸 층수 정보를 포함하고,
상기 실내 공간의 지도 정보는, 상기 좌표 정보 및 상기 층수 정보의 조합에 대응하는 지도 정보이고,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 실내 공간의 상기 좌표 정보 및 상기 층수 정보에 기초하여, 상기 실내 공간의 지도 정보를 획득하고,
상기 지도 정보 중 상기 좌표 정보에 대응하는 제1 지도 영역을 식별하고,
상기 위치 인디케이터를 상기 제1 지도 영역 상에서 상기 좌표 정보에 대응하는 위치에 디스플레이하는, 전자 장치.According to paragraph 1,
The code location information includes coordinate information corresponding to latitude and longitude, and floor number information indicating the number of floors in the building where the indoor space is located,
The map information of the indoor space is map information corresponding to a combination of the coordinate information and the floor number information,
The at least one processor executes the at least one instruction,
Based on the coordinate information and the floor number information of the indoor space, obtain map information of the indoor space,
Identifying a first map area corresponding to the coordinate information among the map information,
An electronic device that displays the location indicator at a location corresponding to the coordinate information on the first map area. 제1항에 있어서,
상기 코드 위치 정보는, 해당 위치의 속성을 나타내는 위치 속성 정보를 포함하고,
상기 위치 속성 정보는, 주요 위치 인덱스, 분기점 인덱스, 또는 출입구 인덱스 중 적어도 하나를 포함하고,
상기 다면체 객체는 상기 실내 공간의 주요 위치, 분기점, 또는 출입구 중 적어도 하나에 배치되는, 전자 장치.According to paragraph 1,
The code location information includes location attribute information indicating the attributes of the location,
The location attribute information includes at least one of a main location index, a junction index, or an entrance index,
The polyhedral object is disposed at least one of a main location, a junction, or an entrance of the indoor space. 제1항에 있어서,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 실시간 영상으로부터 상기 제1 비주얼 코드의 크기 정보를 획득하고,
상기 제1 비주얼 코드의 크기 정보에 기초하여, 상기 제1 비주얼 코드까지의 거리를 산출하고,
상기 제1 비주얼 코드의 코드 위치 정보, 및 상기 비주얼 코드까지의 거리에 기초하여, 상기 전자 장치의 상기 실시간 위치 정보를 획득하는, 전자 장치.According to paragraph 1,
The at least one processor executes the at least one instruction,
Obtaining size information of the first visual code from the real-time image,
Based on the size information of the first visual code, calculate the distance to the first visual code,
An electronic device that acquires the real-time location information of the electronic device based on code location information of the first visual code and the distance to the visual code. 제5항에 있어서,
상기 다면체의 복수의 면의 각각에 배치된 비주얼 코드는 서로 다른 코드에 대응하고,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 복수의 면의 각각에 배치된 비주얼 코드의 조합에 기초하여, 상기 다면체에 대한 상기 전자 장치의 방향 정보를 획득하고,
상기 제1 비주얼 코드의 코드 위치 정보, 상기 거리 정보, 및 상기 방향 정보에 기초하여, 상기 전자 장치의 상기 실시간 위치 정보를 획득하는, 전자 장치.According to clause 5,
Visual codes placed on each of the plurality of faces of the polyhedron correspond to different codes,
The at least one processor executes the at least one instruction,
Obtaining orientation information of the electronic device with respect to the polyhedron based on a combination of visual codes arranged on each of the plurality of faces,
An electronic device that acquires the real-time location information of the electronic device based on the code location information of the first visual code, the distance information, and the direction information. 제6항에 있어서,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 카메라를 이용하여, 동영상 형태의 상기 실시간 영상을 반복적으로 촬영하고,
상기 실시간 영상으로부터 인식된 상기 제1 비주얼 코드의 크기 정보 및 상기 방향 정보를 반복적으로 업데이트하고,
상기 업데이트된 상기 크기 정보 및 상기 방향 정보에 기초하여 상기 실시간 위치 정보를 반복적으로 업데이트하고,
상기 업데이트 된 실시간 위치 정보에 기초하여, 상기 실시간 위치 정보에 대응하는 위치 인디케이터의 위치를 반복적으로 업데이트하는, 전자 장치.According to clause 6,
The at least one processor executes the at least one instruction,
Using the camera, repeatedly capture the real-time image in the form of a video,
Repeatedly updating the size information and the direction information of the first visual code recognized from the real-time image,
Repeatedly updating the real-time location information based on the updated size information and direction information,
An electronic device that repeatedly updates the location of a location indicator corresponding to the real-time location information based on the updated real-time location information. 제1항에 있어서,
상기 전자 장치는, 기울기를 검출하는 기울기 센서를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 기울기 센서에 의해 검출된 기울기 정보에 기초하여, 상기 전자 장치가 중력 방향에 대해 제1 범위의 각도로 기울어진 제1 배치 상태 또는 상기 전자 장치가 상기 중력 방향에 대해 제2 범위의 각도로 기울어진 제2 배치 상태를 식별하고,
상기 제1 배치 상태에서, 상기 디스플레이의 제1 영역에, 상기 지도 정보 상에 상기 위치 인디케이터를 디스플레이한 제1 GUI(Graphic user interface) 뷰를 디스플레이하고, 상기 디스플레이의 제2 영역에 상기 실시간 영상 상에 인식된 상기 제1 비주얼 코드의 인디케이터를 나타낸 제2 GUI 뷰를 디스플레이하고,
상기 제2 배치 상태에서, 상기 디스플레이에 상기 제2 GUI 뷰 없이 상기 제1 GUI 뷰를 디스플레이하는, 전자 장치.According to paragraph 1,
The electronic device further includes a tilt sensor that detects tilt,
The at least one processor executes the at least one instruction,
Based on the tilt information detected by the tilt sensor, a first arrangement state in which the electronic device is tilted at an angle in a first range with respect to the direction of gravity or a first arrangement state in which the electronic device is tilted at an angle in a second range with respect to the direction of gravity identify the true second batch status;
In the first arrangement state, a first graphic user interface (GUI) view displaying the location indicator on the map information is displayed in a first area of the display, and the real-time image image is displayed in a second area of the display. Displaying a second GUI view showing an indicator of the first visual code recognized in,
In the second arrangement state, the electronic device displays the first GUI view without the second GUI view on the display. 제1항에 있어서,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 실시간 영상 상에서 상기 제1 비주얼 코드를 지면에 프로젝션하여 생성된 지면 위치 인디케이터를 상기 실시간 영상 상에 디스플레이하는, 전자 장치.According to paragraph 1,
The at least one processor executes the at least one instruction,
An electronic device that displays a ground position indicator generated by projecting the first visual code onto the ground on the real-time image. 제1항에 있어서,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
사용자에 의해 입력된 관심 객체의 위치 정보를 획득하고,
상기 실시간 위치 정보에 대응하는 위치로부터 상기 관심 객체의 위치로 이동하기 위한 이동 경로 정보를 생성하고,
상기 이동 경로 정보를 상기 실시간 영상 또는 상기 지도 정보 상에 디스플레이하는, 전자 장치.According to paragraph 1,
The at least one processor executes the at least one instruction,
Obtain location information of the object of interest entered by the user,
Generating movement path information for moving from a location corresponding to the real-time location information to the location of the object of interest,
An electronic device that displays the movement route information on the real-time video or the map information. 제1항에 있어서,
상기 복수의 다면체 객체 각각에 포함된 비주얼 코드는, ArUco 마커에 대응하고,
상기 비주얼 코드의 코드 위치 정보는 w3w(what3words) 방식에 의해 정의되는, 전자 장치.According to paragraph 1,
The visual code included in each of the plurality of polyhedral objects corresponds to an ArUco marker,
The electronic device where the code location information of the visual code is defined by the w3w (what3words) method. 제1항에 있어서,
상기 복수의 다면체 객체는 제1 시간 구간 동안 상기 제1 비주얼 코드를 디스플레이하고, 제2 시간 구간 동안 상기 제1 비주얼 코드와 상이한 추가 컨텐츠를 디스플레이하고, 상기 제1 시간 구간 및 상기 제2 시간 구간은 제1 주기로 반복되고,
상기 적어도 하나의 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함에 의해,
상기 실시간 영상의 상기 제1 시간 구간의 프레임으로부터 상기 제1 비주얼 코드를 인식하는, 전자 장치.According to paragraph 1,
The plurality of polyhedral objects display the first visual code during a first time period and display additional content different from the first visual code during a second time period, and the first time period and the second time period are repeated in the first cycle,
The at least one processor executes the at least one instruction,
An electronic device that recognizes the first visual code from a frame in the first time section of the real-time video. 카메라를 이용하여, 실시간 영상을 촬영하는 단계;
상기 실시간 영상으로부터 실내 공간의 소정의 위치에 고정된 다면체 객체 상에 배치된 제1 비주얼 코드를 인식하는 단계;
상기 제1 비주얼 코드에 대응하는 코드 위치 정보를 획득하는 단계;
상기 제1 비주얼 코드에 대응하는 코드 위치 정보에 기초하여, 전자 장치의 실시간 위치 정보를 획득하는 단계;
상기 실시간 위치 정보에 대응하는 상기 실내 공간의 지도 정보를 획득하는 단계; 및
상기 디스플레이를 통해, 상기 획득된 지도 정보 상에 상기 실시간 위치 정보에 대응하는 위치 인디케이터를 디스플레이 하는 단계를 포함하고,
상기 실내 공간의 복수의 위치에 각 위치 정보를 포함하는 비주얼 코드를 포함하는 복수의 다면체 객체가 배치되고, 각각의 다면체 객체의 복수의 면 각각에 상기 비주얼 코드가 배치되는, 전자 장치 제어 방법.Taking real-time images using a camera;
Recognizing a first visual code arranged on a polyhedral object fixed at a predetermined location in an indoor space from the real-time image;
Obtaining code location information corresponding to the first visual code;
Obtaining real-time location information of an electronic device based on code location information corresponding to the first visual code;
Obtaining map information of the indoor space corresponding to the real-time location information; and
Comprising: displaying a location indicator corresponding to the real-time location information on the acquired map information through the display,
A method of controlling an electronic device, wherein a plurality of polyhedral objects including a visual code including each location information are disposed at a plurality of locations in the indoor space, and the visual code is disposed on each of a plurality of faces of each polyhedral object. 제13항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium on which a program for performing the method of claim 13 is recorded on a computer.
KR1020230034113A 2022-08-09 2023-03-15 Device and method for obtaining location information indoor space KR20240021098A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220099511 2022-08-09
KR1020220099511 2022-08-09

Publications (1)

Publication Number Publication Date
KR20240021098A true KR20240021098A (en) 2024-02-16

Family

ID=90056204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230034113A KR20240021098A (en) 2022-08-09 2023-03-15 Device and method for obtaining location information indoor space

Country Status (1)

Country Link
KR (1) KR20240021098A (en)

Similar Documents

Publication Publication Date Title
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
CN105027033B (en) Method, device and computer-readable media for selecting Augmented Reality object
WO2022022036A1 (en) Display method, apparatus and device, storage medium, and computer program
US11024069B2 (en) Optically challenging surface detection for augmented reality
US11365974B2 (en) Navigation system
US11803240B2 (en) Video display apparatus and method
CN105393284A (en) Space carving based on human physical data
JP2009538487A (en) System and method for displaying device maintenance and operation instructions using augmented reality
CN110794955B (en) Positioning tracking method, device, terminal equipment and computer readable storage medium
JP2009020614A (en) Marker unit to be used for augmented reality system, augmented reality system, marker unit creation support system, and marker unit creation support program
KR102355135B1 (en) Information processing device, information processing method, and program
US10634918B2 (en) Internal edge verification
US11294456B2 (en) Perspective or gaze based visual identification and location system
US20210407213A1 (en) Augmented reality eyewear with 3d costumes
US11423625B2 (en) Augmented reality scene image processing method and apparatus, electronic device and storage medium
KR20230029923A (en) Visual inertial tracking using rolling shutter cameras
CN111095357A (en) Positioning system
CN110609721B (en) Information display method and display system thereof
US20220412741A1 (en) Information processing apparatus, information processing method, and program
KR20240021098A (en) Device and method for obtaining location information indoor space
CN116974416A (en) Data processing method, device, equipment and readable storage medium
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
US9911237B1 (en) Image processing techniques for self-captured images
CN114299262A (en) Display method and device for augmented reality AR scene
KR20220044489A (en) Image processing apparatus, image processing method, and program