KR20230086782A - Positioning method and device, electronic device, storage medium, computer program product, computer program - Google Patents

Abstract

본 발명의 실시예는 포지셔닝 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 제품, 컴퓨터 프로그램에 관한 것이고, 제1 전자 기기(31)에 응용되는 상기 방법은, 제2 전자 기기(32)에 k번째 제1 포지셔닝 요청을 송신하는 단계 S11 - k번째 제1 포지셔닝 요청에는 제1 전자 기기(31)가 위치한 환경의 제k 프레임의 환경 이미지가 포함됨 - ; 제2 전자 기기(32)에 의해 송신된 k번째 제1 포지셔닝 결과가 수신될 경우, k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 제1 전자 기기(31)의 k번째 제3 포지셔닝 결과를 결정하는 단계 S12 - k번째 제2 포지셔닝 결과는 제1 전자 기기(31)가 제k 프레임의 환경 이미지에 대해 로컬 포지셔닝을 수행하여 획득됨 - ; 및 k번째 제3 포지셔닝 결과에 따라, 제1 전자 기기(31)의 디스플레이 인터페이스를 전시하는 단계 S13을 포함한다.Embodiments of the present invention relate to a positioning method and apparatus, an electronic device, a storage medium, a computer program product, and a computer program, wherein the method applied to a first electronic device 31 is applied to a second electronic device 32 Step S11 of transmitting the first positioning request, where the k-th first positioning request includes the environment image of the k-th frame of the environment in which the first electronic device 31 is located; When the k-th first positioning result transmitted by the second electronic device 32 is received, the k-th second positioning result is modified according to the k-th first positioning result, and the k-th second positioning result of the first electronic device 31 is received. Step S12 of determining the third positioning result - the k-th second positioning result is obtained by performing local positioning on the environment image of the k-th frame by the first electronic device 31 -; and a step S13 of displaying the display interface of the first electronic device 31 according to the result of the k-th third positioning.

Description

포지셔닝 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 제품, 컴퓨터 프로그램Positioning method and device, electronic device, storage medium, computer program product, computer program

관련 출원의 상호 참조CROSS REFERENCES OF RELATED APPLICATIONS

본 발명은 출원 번호가 202011379583.5이고, 출원일이 2020년 11월 30일이며, 발명의 명칭이 "포지셔닝 방법 및 장치, 전자 기기 및 저장 매체"인 중국 특허 출원을 기반으로 제출되고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.The present invention is filed on the basis of a Chinese patent application with application number 202011379583.5, an application date of November 30, 2020, and the title of the invention "Positioning method and apparatus, electronic device and storage medium", of which the Chinese patent application Priority is claimed, all contents of the above Chinese patent application are hereby incorporated by reference.

본 발명은 컴퓨터 기술 분야에 관한 것이나 이에 한정되지 않고, 특히 포지셔닝 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 제품, 컴퓨터 프로그램에 관한 것이다.The present invention relates to, but is not limited to, the field of computer technology, and more particularly to positioning methods and devices, electronic devices, storage media, computer program products, and computer programs.

사람들은 실내 및 실외(예컨대, 대형 백화점 내부, 도시 도로 등)에서 이동할 때, 포지셔닝을 통해 자신의 위치를 결정하고, 내비게이션을 통해 목적지로 이동해야 하는 경우가 많다. 관련 기술에서는 시각 포지셔닝 방식으로 단말의 포지셔닝을 구현하는데, 일부 시나리오에서 지터(jitter), 원더(wander) 등이 발생될 수 있어, 포지셔닝 효과가 좋지 않다.When people move indoors and outdoors (eg, inside a large department store, city road, etc.), they often need to determine their location through positioning and move to their destination through navigation. In related technologies, positioning of a terminal is implemented using a visual positioning method, but in some scenarios, jitter and wander may occur, resulting in poor positioning effects.

본 발명의 실시예는 포지셔닝 기술적 해결수단을 제공하고, 다음과 같이 구현될 수 있다.Embodiments of the present invention provide positioning technical solutions, and can be implemented as follows.

본 발명의 실시예는 제1 전자 기기에 응용되는 포지셔닝 방법을 제공하고, 상기 방법은,An embodiment of the present invention provides a positioning method applied to a first electronic device, the method comprising:

제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계 - 상기 k번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함되고, k는 1보다 큰 정수임 - ; 상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과가 수신될 경우, 상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하는 단계 - 상기 k번째 제2 포지셔닝 결과는 상기 제1 전자 기기가 상기 제k 프레임의 환경 이미지에 대해 로컬 포지셔닝을 수행하여 획득됨 - ; 및 상기 k번째 제3 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하는 단계를 포함한다.Transmitting a k-th first positioning request to a second electronic device, wherein the k-th first positioning request includes an environment image of a k-th frame of an environment in which the first electronic device is located, where k is an integer greater than 1; ; When the k-th first positioning result transmitted by the second electronic device is received, the k-th second positioning result is modified according to the k-th first positioning result, and the k-th third positioning result of the first electronic device is received. determining a positioning result, wherein the k-th second positioning result is obtained by performing local positioning on the environment image of the k-th frame by the first electronic device; and displaying a display interface of the first electronic device according to a result of the k-th third positioning.

본 발명의 실시예는 제2 전자 기기에 응용되는 포지셔닝 방법을 제공하고, 상기 방법은,An embodiment of the present invention provides a positioning method applied to a second electronic device, the method comprising:

제1 전자 기기로부터 k번째 제1 포지셔닝 요청이 수신될 경우, 기설정된 포인트 클라우드 맵 및 상기 k번째 제1 포지셔닝 요청 중의 제k 프레임의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 k번째 제1 포지셔닝 결과를 획득하는 단계; 및 상기 제1 전자 기기에 상기 k번째 제1 포지셔닝 결과를 송신하여, 상기 제1 전자 기기로 하여금 상기 k번째 제1 포지셔닝 결과에 따라 포지셔닝 결과 수정을 수행하도록 하는 단계를 포함하고, 상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보 및 제k 프레임의 특징점 매칭 정보 중 적어도 하나를 포함하며, 상기 제k 프레임의 특징점 매칭 정보는 상기 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함한다.When the k-th first positioning request is received from the first electronic device, visual positioning is performed on the first electronic device according to a preset point cloud map and an environment image of the k-th frame of the k-th first positioning request. obtaining a k-th first positioning result of the first electronic device; and transmitting the k-th first positioning result to the first electronic device, causing the first electronic device to perform positioning result correction according to the k-th first positioning result, wherein the k-th first positioning result is transmitted to the first electronic device. 1 The positioning result includes at least one of k-th first pose information and feature point matching information of the k-th frame, wherein the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and the point cloud map includes matching information between 3D feature points in

본 발명의 실시예는 제1 전자 기기에 응용되는 포지셔닝 장치를 제공하고, 상기 장치는,An embodiment of the present invention provides a positioning device applied to a first electronic device, the device comprising:

제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하도록 구성되는 제1 요청 송신 부분 - 상기 k번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함되고, k는 1보다 큰 정수임 - ;A first request sending portion configured to transmit a k-th first positioning request to a second electronic device, wherein the k-th first positioning request includes an environment image of a k-th frame of an environment in which the first electronic device is located, and k - is an integer greater than 1;

상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과가 수신될 경우, 상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하도록 구성되는 결과 수정 부분 - 상기 k번째 제2 포지셔닝 결과는 상기 제1 전자 기기가 상기 제k 프레임의 환경 이미지에 대해 로컬 포지셔닝을 수행하여 획득됨 - ; 및When the k-th first positioning result transmitted by the second electronic device is received, the k-th second positioning result is modified according to the k-th first positioning result, and the k-th third positioning result of the first electronic device is received. a result modifying portion configured to determine a positioning result, wherein the k-th second positioning result is obtained by performing local positioning on the environment image of the k-th frame by the first electronic device; and

상기 k번째 제3 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하도록 구성되는 제1 전시 부분을 포함한다.and a first display portion configured to display a display interface of the first electronic device according to the result of the k-th third positioning.

본 발명의 실시예는 제2 전자 기기에 응용되는 포지셔닝 장치를 제공하고, 상기 장치는,An embodiment of the present invention provides a positioning device applied to a second electronic device, the device comprising:

제1 전자 기기로부터 k번째 제1 포지셔닝 요청이 수신될 경우, 기설정된 포인트 클라우드 맵 및 상기 k번째 제1 포지셔닝 요청 중의 제k 프레임의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 k번째 제1 포지셔닝 결과를 획득하도록 구성되는 제1 포지셔닝 부분; 및When the k-th first positioning request is received from the first electronic device, visual positioning is performed on the first electronic device according to a preset point cloud map and an environment image of the k-th frame of the k-th first positioning request. a first positioning unit, configured to obtain a k-th first positioning result of the first electronic device; and

상기 제1 전자 기기에 상기 k번째 제1 포지셔닝 결과를 송신하여, 상기 제1 전자 기기로 하여금 상기 k번째 제1 포지셔닝 결과에 따라 포지셔닝 결과 수정을 수행하게 하도록 구성되는 결과 송신 부분을 포함하고, 상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보 및 제k 프레임의 특징점 매칭 정보 중 적어도 하나를 포함하며, 상기 제k 프레임의 특징점 매칭 정보는 상기 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함한다.a result transmitting part configured to transmit the k-th first positioning result to the first electronic device, and cause the first electronic device to perform positioning result correction according to the k-th first positioning result; The k-th first positioning result includes at least one of k-th first pose information and k-th feature point matching information of the k-th frame, wherein the k-th feature point matching information includes a 2-dimensional feature point in the environment image of the k-th frame and the feature point matching information of the k-th frame. It includes matching information between 3D feature points in the point cloud map.

본 발명의 실시예는 프로세서; 및 프로세서에 의해 실행 가능한 명령을 저장하도록 구성되는 메모리를 포함하는 전자 기기를 제공하고; 상기 프로세서는 상기 메모리에 저장된 명령을 호출하여, 상기 방법을 수행하도록 구성된다.An embodiment of the present invention is a processor; and a memory configured to store instructions executable by the processor; The processor is configured to invoke instructions stored in the memory to perform the method.

본 발명의 실시예는 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 상기 방법이 구현된다.Embodiments of the present invention provide a computer-readable storage medium in which computer program instructions are stored, and when the computer program instructions are executed by a processor, the method is implemented.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 컴퓨터 판독 가능 코드가 기기에서 실행될 경우, 기기의 프로세서는 상기 방법을 구현하기 위한 명령을 실행한다.An embodiment of the present invention provides a computer program including computer readable code, and when the computer readable code is executed in a device, a processor of the device executes instructions for implementing the method.

본 발명의 실시예는 컴퓨터 판독 가능 명령을 저장하기 위한 컴퓨터 프로그램 제품을 더 제공하고, 상기 컴퓨터 판독 가능 명령이 실행될 경우, 컴퓨터로 하여금 상기 방법을 수행하도록 한다.Embodiments of the present invention further provide a computer program product for storing computer readable instructions, and when the computer readable instructions are executed, cause a computer to perform the method.

본 발명의 실시예에서는, 제2 전자 기기에 환경 이미지가 포함되는 포지셔닝 요청을 송신하고; 제2 전자 기기에 의해 반환된 클라우드 포지셔닝 결과에 따라, 로컬의 포지셔닝 결과를 수정하며; 수정된 포지셔닝 결과에 따라 전시함으로써, 포지셔닝의 정밀도와 안정성을 향상시킬 수 있다.In an embodiment of the present invention, a positioning request including an environment image is sent to the second electronic device; modify the local positioning result according to the cloud positioning result returned by the second electronic device; By displaying the corrected positioning results, the precision and stability of positioning can be improved.

위의 일반적인 설명과 후술되는 세부사항 설명은 예시적이고 해석을 위한 것일 뿐, 본 발명을 한정하지 않는다는 점을 이해해야 한다. 아래에서 도면을 참고하여 이루어진 예시적인 실시예에 대한 상세한 설명에 따르면, 본 발명의 다른 특징 및 측면이 더욱 뚜렷해질 것이다.It should be understood that the general description above and the detailed descriptions that follow are illustrative and interpretative only and do not limit the invention. Following a detailed description of exemplary embodiments made with reference to the drawings, other features and aspects of the present invention will become more apparent.

여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 이러한 도면들은 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 기술적 해결수단을 설명하기 위한 것이다.
도 1은 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 구현 흐름 모식도이다.
도 2는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 구현 흐름 모식도이다.
도 3은 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 인터랙션 모식도이다.
도 4a는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 처리 과정의 모식도이다.
도 4b는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 처리 과정의 모식도이다.
도 5는 본 발명의 실시예에 의해 제공되는 포지셔닝 장치의 구성 구조 모식도이다.
도 6은 본 발명의 실시예에 의해 제공되는 포지셔닝 장치의 구성 구조 모식도이다.
도 7은 본 발명의 실시예에 의해 제공되는 전자 기기의 구성 구조 모식도이다.
도 8은 본 발명의 실시예에 의해 제공되는 전자 기기의 구성 구조 모식도이다.The drawings herein are incorporated into the specification to constitute a part of the specification, and these drawings represent embodiments consistent with the present invention, and together with the specification, are intended to explain technical solutions of the present invention.
1 is an implementation flow diagram of a positioning method provided by an embodiment of the present invention.
2 is an implementation flow diagram of a positioning method provided by an embodiment of the present invention.
3 is an interaction schematic diagram of a positioning method provided by an embodiment of the present invention.
4A is a schematic diagram of processing steps of a positioning method provided by an embodiment of the present invention.
4B is a schematic diagram of processing steps of a positioning method provided by an embodiment of the present invention.
5 is a structural schematic diagram of a positioning device provided by an embodiment of the present invention;
6 is a structural schematic diagram of a positioning device provided by an embodiment of the present invention;
7 is a structural schematic diagram of an electronic device provided by an embodiment of the present invention.
8 is a structural schematic diagram of an electronic device provided by an embodiment of the present invention.

아래에서는 도면을 참고하여 본 발명의 다양한 예시적인 실시예, 특징 및 양태를 상세히 설명한다. 도면에서 동일한 도면 부호는 기능이 동일하거나 유사한 소자를 나타낸다. 도면에서 실시예의 다양한 측면을 도시하였을 지라도, 특별히 지적하지 않는 한 비율에 따라 도면을 작성할 필요없다.The following describes in detail various exemplary embodiments, features and aspects of the present invention with reference to the drawings. In the drawings, like reference numerals denote elements having the same or similar functions. Although various aspects of the embodiment are shown in the drawings, the drawings do not need to be drawn to scale unless specifically indicated.

여기에서 “예시적”이라는 전용 단어는 “예, 실시예 또는 설명으로 사용됨”을 의미한다. 여기서 “예시적”으로 설명되는 임의의 실시예는 다른 실시예보다 우수하거나 더 나은 것으로 해석될 필요없다.The dedicated word "exemplary" herein means "used as an example, embodiment, or description." Any embodiment described herein as “exemplary” is not necessarily to be construed as superior or better than other embodiments.

본 명세서의 용어 “및... 중 적어도 하나”는 연관 객체를 설명하는 연관 관계로서, 3가지 관계가 존재할 수 있음을 나타내며, 예를 들면, A 및 B 중 적어도 하나는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 나타낼 수 있다. 또한, 본 명세서의 용어 “적어도 하나”는 여러가지 중 어느 하나 또는 여러가지 중 적어도 두 가지의 임의의 조합을 나타내고, 예를 들면, A, B, C 중 적어도 하나를 포함한다는 것은 A, B 및 C로 구성된 집합에서 선택되는 어느 하나 또는 다수의 요소를 포함함을 나타낼 수 있다.The term "and at least one of ..." in the present specification is an association relationship describing an association object, and indicates that three relationships may exist, for example, at least one of A and B, only A exists, A and B exist at the same time, it can represent three cases in which only B exists. In addition, the term “at least one” in this specification represents any one of several or any combination of at least two of several, for example, including at least one of A, B, and C means A, B, and C. It can indicate that any one or multiple elements selected from the configured set are included.

또한, 본 발명을 더욱 잘 설명하기 위해, 아래의 구체적인 실시형태에서는 많은 세부사항이 제공된다. 본 기술분야의 통상의 기술자라면 일부 구체적인 세부사항 없이도 본 발명이 마찬가지로 구현될 수 있음을 이해해야 한다. 일부 구현예에서, 본 기술분야의 통상의 기술자에게 익숙한 방법, 수단, 소자 및 회로에 대하여 상세히 설명하지 않음으로써 본 발명의 요지를 뚜렷하게 한다.In addition, in order to better explain the present invention, numerous details are provided in the specific embodiments below. It should be understood by those skilled in the art that the present invention may likewise be implemented without some specific details. In some embodiments, methods, means, devices, and circuits familiar to those skilled in the art are not described in detail to obscure the subject matter of the present invention.

본 발명의 실시예에 의해 제공되는 포지셔닝 방법을 더욱 잘 이해할 수 있도록, 아래에서는 관련 기술에서 사용되는 포지셔닝 방법을 먼저 설명한다. 관련 기술에서, 시각 포지셔닝 방식을 통해 단말기 포지셔닝을 구현할 경우, 단말기의 로컬에서 동시적 위치 결정 및 지도 작성(Simultaneous Localization And Mapping, SLAM) 시스템을 실행하고, 클라우드의 포지셔닝 결과를 통해, 로컬 SLAM의 위치 및 자세 정보를 직접 수정할 수 있다. 상기 방법은 단말기의 절대적인 위치를 결정할 수 있으나, 시스템 실행 과정에서 발생되는 상대적인 오차를 피할 수 없고, 일부 시나리오에서는 지터, 원더 등이 발생될 수 있어, 포지셔닝 효과가 좋지 않다.In order to better understand the positioning method provided by the embodiments of the present invention, the positioning method used in the related art is first described below. In a related art, when terminal positioning is implemented through a visual positioning method, a Simultaneous Localization And Mapping (SLAM) system is executed locally in the terminal, and through the positioning result of the cloud, the location of the local SLAM and posture information can be directly modified. Although the above method can determine the absolute position of the terminal, relative errors generated during system execution cannot be avoided, and jitter and wander may occur in some scenarios, resulting in poor positioning effects.

본 발명의 실시예는 대형 백화점, 교통 중심, 병원, 대형 전시관 등과 같은 실내 및 실외 시나리오에 응용될 수 있는 포지셔닝 방법을 제공하여, 포지셔닝 정밀도와 안정성을 향상시킨다. 상기 포지셔닝 방법은 제1 전자 기기 및 제2 전자 기기를 통해 구현될 수 있다. 제1 전자 기기는 예를 들어 단말 기기를 포함할 수 있고, 제2 전자 기기는 예를 들어 클라우드 서버를 포함할 수 있다.Embodiments of the present invention provide a positioning method that can be applied to indoor and outdoor scenarios such as large department stores, transportation centers, hospitals, large exhibition halls, etc., improving positioning accuracy and stability. The positioning method may be implemented through a first electronic device and a second electronic device. The first electronic device may include, for example, a terminal device, and the second electronic device may include, for example, a cloud server.

도 1은 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 구현 흐름 모식도이고, 도 1에 도시된 바와 같이, 상기 포지셔닝 방법은 다음과 같은 단계를 포함한다.Fig. 1 is an implementation flow diagram of a positioning method provided by an embodiment of the present invention. As shown in Fig. 1, the positioning method includes the following steps.

단계 S11에서, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하며, 상기 k번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함되고, k는 1보다 큰 정수이며;In step S11, a k-th first positioning request is sent to the second electronic device, and the k-th first positioning request includes an environment image of a k-th frame of an environment in which the first electronic device is located, where k is greater than 1. is a large integer;

단계 S12에서, 상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과가 수신될 경우, 상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하며, 상기 k번째 제2 포지셔닝 결과는 상기 제1 전자 기기가 상기 제k 프레임의 환경 이미지에 대해 로컬 포지셔닝을 수행하여 획득되고;In step S12, when the k-th first positioning result transmitted by the second electronic device is received, the k-th second positioning result is modified according to the k-th first positioning result, and the first electronic device determine a k-th third positioning result, wherein the k-th second positioning result is obtained by performing local positioning on the environment image of the k-th frame by the first electronic device;

단계 S13에서, 상기 k번째 제3 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시한다.In step S13, the display interface of the first electronic device is displayed according to the result of the k-th third positioning.

일부 실시예에서, 상기 포지셔닝 방법은 제1 전자 기기에 응용될 수 있고, 제1 전자 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말기, 단말기, 셀룰러폰, 무선전화, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등과 같은 단말 기기일 수 있으며, 상기 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식으로 구현될 수 있다.In some embodiments, the positioning method may be applied to a first electronic device, where the first electronic device is a User Equipment (UE), a mobile device, a user terminal, a terminal, a cellular phone, a wireless phone, or personal portable information. It may be a terminal device such as a terminal (Personal Digital Assistant, PDA), handheld device, computing device, vehicle-mounted device, wearable device, etc., and the method may be implemented by calling a computer readable command stored in a memory through a processor can

예를 들면, 제1 전자 기기의 로컬의 SLAM 시스템이 실행되는 과정 중에 SLAM 자체 실행에 의한 누적 오차, 약한 텍스처 시나리오 하의 지터, 원더 등과 같은 상대적인 오차가 발생될 수 있다. 이 경우, 클라우드의 포지셔닝 정보를 통해, 로컬의 SLAM 시스템을 제약함으로써, SLAM 시스템 백엔드의 누적 오차를 억제할 수 있다.For example, while the local SLAM system of the first electronic device is being executed, relative errors such as cumulative errors due to SLAM self-execution, jitter and wander under weak texture scenarios may occur. In this case, the accumulated error of the SLAM system backend can be suppressed by limiting the local SLAM system through the positioning information of the cloud.

일부 실시예에서, 제1 전자 기기를 휴대하거나 착용한 사용자가 자신의 위치를 결정해야 할 경우, 제1 전자 기기의 수집 부재(예컨대, 카메라)를 통해 위치한 환경의 환경 이미지를 수집할 수 있고, 예를 들면, 제1 전자 기기가 마주한 경물의 이미지를 촬영한다. 상기 환경 이미지는 하나 또는 다수의 이미지일 수 있고, 다수의 프레임의 이미지를 포함하는 쇼트 클립일 수도 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.In some embodiments, when a user carrying or wearing the first electronic device needs to determine his or her location, an environment image of the located environment may be collected through a collection member (eg, camera) of the first electronic device; For example, the first electronic device captures an image of a scene encountered. The environment image may be one or multiple images, or may be a short clip including multiple frame images, but the embodiment of the present invention is not limited thereto.

일부 실시예에서, 특정 포지셔닝(k번째 포지셔닝으로 설정, k는 1보다 큰 정수임)의 경우, 단계 S11에서, 제1 전자 기기는 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하여, 자신의 위치를 결정할 수 있다. k번째 제1 포지셔닝 요청에는 제1 전자 기기에 의해 수집된 제k 프레임의 환경 이미지가 포함된다. 여기서, 제2 전자 기기는 예를 들어 제1 전자 기기가 위치한 전체 지리 영역(예컨대, 백화점 내부 영역, 도시 영역 등)의 포인트 클라우드 맵이 저장되어 있는 클라우드 서버일 수 있다.In some embodiments, in the case of specific positioning (set as k-th positioning, where k is an integer greater than 1), in step S11, the first electronic device sends a k-th first positioning request to the second electronic device, location can be determined. The k-th first positioning request includes the environment image of the k-th frame collected by the first electronic device. Here, the second electronic device may be, for example, a cloud server in which a point cloud map of the entire geographic area (eg, an area inside a department store, a city area, etc.) in which the first electronic device is located is stored.

일부 실시예에서, 제2 전자 기기는 k번째 제1 포지셔닝 요청이 수신된 후, k번째 제1 포지셔닝 요청 중의 제k 프레임의 환경 이미지의 특징 정보를 추출할 수 있다. 예를 들어, 사전에 트레이닝된 신경망을 통해 제k 프레임의 환경 이미지에 대해 특징 추출을 수행하여, 제k 프레임의 환경 이미지의 특징 정보를 획득할 수 있다. 본 발명의 실시예는 특징 추출의 구체적인 방식에 대해 한정하지 않는다.In some embodiments, after receiving the k-th first positioning request, the second electronic device may extract feature information of an environment image of a k-th frame in the k-th first positioning request. For example, feature information of the environment image of the kth frame may be obtained by performing feature extraction on the environment image of the kth frame through a pretrained neural network. Embodiments of the present invention are not limited to specific ways of feature extraction.

일부 실시예에서, 제k 프레임의 환경 이미지의 특징 정보가 획득된 후, 제2 전자 기기는 상기 특징 정보를 포인트 클라우드 맵에 매칭하여, 서로 매칭되는 시각 포지셔닝 결과(k번째 제1 포지셔닝 결과로 지칭할 수 있음)를 결정할 수 있다. 본 발명의 실시예는 특징 정보와 포인트 클라우드 맵을 매칭하는 구체적인 방식에 대해 한정하지 않는다.In some embodiments, after feature information of the environment image of the kth frame is obtained, the second electronic device matches the feature information to a point cloud map, and the matching visual positioning result (referred to as the kth first positioning result) can) can be determined. Embodiments of the present invention are not limited to a specific method of matching feature information and a point cloud map.

일부 실시예에서, 상기 k번째 제1 포지셔닝 결과는 제1 전자 기기의 포즈 정보(간략하여 pose라고 할 수 있음) 및 특징점 매칭 정보(간략하여 match라고 할 수 있음) 중 적어도 하나를 포함한다. 여기서, 포즈 정보는 위치 정보 및 자세 정보를 포함하고, 위치 정보는 제1 전자 기기의 위치 좌표를 포함할 수 있으며; 자세 정보는 제1 전자 기기의 방향, 피치각 등을 포함할 수 있다.In some embodiments, the k-th first positioning result includes at least one of pose information (which may be referred to as pose for short) and feature point matching information (which may be referred to as match for short) of the first electronic device. Here, the pose information may include location information and posture information, and the location information may include location coordinates of the first electronic device; The attitude information may include a direction, a pitch angle, and the like of the first electronic device.

일부 실시예에서, 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함할 수 있다. 예를 들어, 제k 프레임의 환경 이미지의 N+1개의 2D 특징점(x₀, x₁, x₂, ..., x_N)과 포인트 클라우드 맵의 N+1개의 3D 특징점(X₀, X₁, X₂, ..., X_N)이 각각 매칭되면, 특징점 매칭 정보는 2D 특징점(x₀, x₁, x₂, ..., x_N)의 좌표, 3D 특징점(X₀, X₁, X₂, ..., X_N)의 좌표 및 이들 사이의 매칭 관계를 포함하고, N은 0보다 큰 정수이다.In some embodiments, the feature point matching information may include matching information between a 2D feature point in the environment image of the kth frame and a 3D feature point in the point cloud map. For example, N+1 2D feature points (x ₀ , x ₁ , x ₂ , ..., x _N ) of the environment image of the kth frame and N+1 3D feature points (X ₀ , X ₁ , X ₂ , ..., X _N ) are each matched, the feature point matching information is the coordinates of 2D feature points (x ₀ , x ₁ , x ₂ , ..., x _N ), 3D feature points (X ₀ , X ₁ , X ₂ , ..., X _N ) and matching relationships therebetween, where N is an integer greater than 0.

일부 실시예에서, 제2 전자 기기는 상기 k개의 제1 포지셔닝 결과를 제1 전자 기기에 송신하여, 제1 전자 기기의 포지셔닝 결과를 제약할 수 있다.In some embodiments, the second electronic device may transmit the k number of first positioning results to the first electronic device to restrict the positioning result of the first electronic device.

일부 실시예에서, 단계 S12에서, 제1 전자 기기는 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과가 수신될 경우, k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정할 수 있다. 즉, k번째 제1 포지셔닝 결과 중의 포즈 정보 및 특징점 매칭 정보 중 적어도 하나를 통해, 제1 전자 기기의 로컬의 k번째 제2 포지셔닝 결과를 제약함으로써, k번째 제2 포지셔닝 결과 수정을 구현하여, 수정된 포지셔닝 결과(k번째 제3 포지셔닝 결과라고 할 수 있음)를 획득한다.In some embodiments, in step S12, when the k-th first positioning result transmitted by the second electronic device is received, the first electronic device modifies the k-th second positioning result according to the k-th first positioning result. and a k-th third positioning result of the first electronic device may be determined. That is, by constraining the local k-th second positioning result of the first electronic device through at least one of pose information and feature point matching information in the k-th first positioning result, the k-th second positioning result correction is implemented, and the correction is made. A positioning result (which may be referred to as a k-th third positioning result) is obtained.

여기서, k번째 제2 포지셔닝 결과는 제1 전자 기기가 제k 프레임의 환경 이미지에 대해 로컬 포지셔닝을 수행하여 획득되고, 즉, 제k 프레임의 환경 이미지와 로컬 맵에 따라 시각 포지셔닝을 수행하여, 로컬 포지셔닝 결과, 즉 k번째 제2 포지셔닝 결과를 획득하며, 상기 포지셔닝 결과는 포즈 정보를 포함할 수 있다. 본 발명의 실시예는 구체적인 포지셔닝 방식에 대해 한정하지 않는다.Here, the k-th second positioning result is obtained by performing local positioning on the environment image of the k-th frame by the first electronic device, that is, by performing visual positioning according to the environment image of the k-th frame and the local map, A positioning result, that is, a k-th second positioning result is obtained, and the positioning result may include pose information. Embodiments of the present invention are not limited to specific positioning schemes.

일부 실시예에서, 예를 들어, k번째 제1 포지셔닝 결과 중의 포즈 정보, 로컬의 k번째 제2 포지셔닝 결과 중의 포즈 정보, 및 이전의 k-1개의 제2 포지셔닝 결과와 제3 포지셔닝 결과의 포즈 정보를 통해, 포즈 그래프(Pose Graph)를 셋업하여, 로컬 포지셔닝 결과를 제약할 수 있고; k번째 제1 포지셔닝 결과 중의 특징점 매칭 정보를 통해, 로컬 포지셔닝 결과에 대해 재투영 오차 제약을 수행할 수도 있으며; k번째 제1 포지셔닝 결과 중의 포즈 정보 및 특징점 매칭 정보를 통해, 로컬 포지셔닝 결과를 각각 제약할 수도 있다. 본 발명의 실시예는 구체적인 제약 방식에 대해 한정하지 않는다.In some embodiments, for example, pose information of the k-th first positioning result, pose information of the local k-th second positioning result, and pose information of the previous k−1 second positioning results and third positioning results. Through, a pose graph may be set up to constrain a local positioning result; Reprojection error constraint may be performed on the local positioning result through feature point matching information in the k-th first positioning result; Local positioning results may be constrained through pose information and feature point matching information among the k-th first positioning results. Embodiments of the present invention are not limited to specific constraint schemes.

일부 실시예에서, 단계 S13에서, k번째 제3 포지셔닝 결과에 따라, 제1 전자 기기 스크린의 디스플레이 인터페이스를 전시할 수 있다. 다시 말해, k번째 제3 포지셔닝 결과를 통해 로컬 SLAM 시스템의 시각-관성 주행 거리계(visual-inertial odometry, VIO) 모듈의 출력 결과를 제약할 수 있다. 제1 전자 기기의 현재의 응용 시나리오에 따라, VIO 모듈의 출력 결과를 통해 전시할 상응한 내용을 렌더링하고, 디스플레이 인터페이스에서 전시한다.In some embodiments, in step S13, the display interface of the screen of the first electronic device may be displayed according to the k-th positioning result. In other words, the output result of the visual-inertial odometry (VIO) module of the local SLAM system may be constrained through the k-th third positioning result. According to the current application scenario of the first electronic device, the corresponding content to be displayed is rendered through the output result of the VIO module and displayed on the display interface.

예를 들어, 시각 내비게이션의 응용 시나리오에서, 제1 포지셔닝 결과 및 목적지 위치에 따라, 내비게이션 경로를 결정해내고 디스플레이 인터페이스에서 전시함으로써, 내비게이션 기능을 구현할 수 있고; 가상 물체 전시의 응용 시나리오에서, 제1 포지셔닝 결과에 따라, 전시할 가상 물체의 위치 및 자세를 결정해내고, 디스플레이 인터페이스에서 전시함으로써, 정확하고 안정적인 가상 물체 전시를 구현할 수 있다. 본 발명의 실시예는 디스플레이 인터페이스에 전시되는 구체적인 내용에 대해 한정하지 않는다.For example, in the application scenario of visual navigation, a navigation function may be implemented by determining a navigation route and displaying it on a display interface according to the first positioning result and the destination location; In an application scenario of displaying a virtual object, the position and posture of the virtual object to be displayed are determined according to the first positioning result and displayed on the display interface, thereby realizing accurate and stable virtual object display. Embodiments of the present invention are not limited to specific content displayed on the display interface.

본 발명의 실시예에 따르면, 제2 전자 기기에 환경 이미지가 포함되는 포지셔닝 요청을 송신하고; 제2 전자 기기에 의해 반환된 클라우드 포지셔닝 결과에 따라, 로컬의 포지셔닝 결과를 수정하며; 수정된 포지셔닝 결과에 따라 전시함으로써, 포지셔닝의 정밀도와 안정성을 향상시킬 수 있다.According to an embodiment of the present invention, a positioning request including an environment image is sent to the second electronic device; modify the local positioning result according to the cloud positioning result returned by the second electronic device; By displaying the corrected positioning results, the precision and stability of positioning can be improved.

일부 실시예에서, 상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보를 포함하고, 상기 k번째 제2 포지셔닝 결과는 k번째 제2 포즈 정보를 포함하며, 상기 k번째 제3 포지셔닝 결과는 k번째 제3 포즈 정보를 포함하고, 단계 S12는,In some embodiments, the k-th first positioning result includes k-th first pose information, the k-th second positioning result includes k-th second pose information, and the k-th third positioning result includes k-th second positioning result. th third pose information, and in step S12,

상기 k번째 제1 포즈 정보 및 상기 k번째 제2 포즈 정보에 따라, k번째 포지셔닝의 현재 포즈 편차를 결정하는 단계;determining a current pose deviation of the k-th positioning according to the k-th first pose information and the k-th second pose information;

k번의 포지셔닝의 k개의 제2 포즈 정보 및 k개의 제3 포즈 정보에 따라, k번의 포지셔닝의 전체 포즈 편차를 결정하는 단계; 및determining a total pose deviation of k positioning according to k second pose information and k third pose information of k positioning; and

상기 k번째 포지셔닝의 현재 포즈 편차 및 상기 k번의 포지셔닝의 전체 포즈 편차에 따라, 상기 k번째 제2 포지셔닝 결과에 대해 포즈 수정을 수행하고, k번째 제3 포즈 정보를 결정하는 단계를 포함할 수 있다.and performing pose correction on the k-th second positioning result according to the current pose deviation of the k-th positioning and the total pose deviation of the k-th positioning, and determining k-th third pose information. .

예를 들면, 클라우드 포지셔닝 결과가 포즈 정보를 포함할 경우, 금번 포지셔닝의 포즈 정보 및 과거 포지셔닝의 포즈 정보에 따라, 포즈 그래프를 셋업하여, 로컬 맵(Map)을 제약함으로써, 로컬 포즈의 수정을 구현할 수 있다. 여기서, 포즈 그래프(Pose Graph)는 일반적으로 루프(Loop)가 발생되는 경우, 누적 오차를 교정하기 위해 사용되므로, 포지셔닝 성공 시 누적 오차의 교정에도 적용될 수 있다.For example, when the cloud positioning result includes pose information, a pose graph is set up according to the pose information of the current positioning and the pose information of the past positioning, and the local map is constrained to implement modification of the local pose. can Here, since the pose graph is generally used to correct the cumulative error when a loop occurs, it can also be applied to the correction of the cumulative error when positioning is successful.

일부 실시예에서, k번째 제1 포즈 정보

및 k번째 제2 포즈 정보

에 따라, k번째 포지셔닝의 현재 포즈 편차, 즉 금번 포지셔닝의 클라우드 포즈와 로컬 포즈 사이의 편차를 결정할 수 있고,

로 표시할 수 있다. k번의 포지셔닝의 k개의 제2 포즈 정보 및 k개의 제3 포즈 정보에 따라, k번의 포지셔닝의 전체 포즈 편차, 즉 여러 번의 포지셔닝의 포즈 사이의 전체 편차를 결정한다. 나아가, 현재 포즈 편차와 전체 포즈 편차에 따라, 포즈 그래프를 셋업하고, 제약을 통해 포즈 수정을 구현할 수 있다. 여기서, 클라우드 포즈는 제2 전자 기기에 의해 반환된 클라우드 포지셔닝 결과 중의 포즈 정보이다.In some embodiments, the k-th first pose information

and k-th second pose information

According to, it is possible to determine the current pose deviation of the k-th positioning, that is, the deviation between the cloud pose and the local pose of the current positioning,

can be displayed as According to k second pose information and k third pose information of k positionings, total pose deviations of k positionings, that is, total deviations between poses of several positionings are determined. Furthermore, a pose graph may be set up according to the current pose deviation and the total pose deviation, and pose correction may be implemented through constraints. Here, the cloud pose is pose information among cloud positioning results returned by the second electronic device.

일부 실시예에서, k번의 포지셔닝의 k개의 제2 포즈 정보 및 k개의 제3 포즈 정보에 따라, k번의 포지셔닝의 전체 포즈 편차를 결정하는 단계는,In some embodiments, according to k second pose information and k third pose information of k positioning, determining the total pose deviation of k positioning includes:

i번째 제2 포즈 정보와 j번째 제2 포즈 정보 사이의 제1 포즈 변화 정보를 결정하는 단계 - i, j는 정수이고, 1≤i<j≤k임 - ;determining first pose change information between the i-th second pose information and the j-th second pose information, wherein i and j are integers, and 1≤i<j≤k;

i번째 제3 포즈 정보와 j번째 제3 포즈 정보 사이의 제2 포즈 변화 정보를 결정하는 단계;determining second pose change information between the i-th third pose information and the j-th third pose information;

상기 제1 포즈 변화 정보와 상기 제2 포즈 변화 정보에 따라, 제i 프레임의 환경 이미지에서 제j 프레임의 환경 이미지까지의 포즈 편차를 결정하는 단계; 및determining a pose deviation from the environment image of the i-th frame to the environment image of the j-th frame according to the first pose change information and the second pose change information; and

다수의 포즈 편차에 따라, 상기 k번의 포지셔닝의 전체 포즈 편차를 결정하는 단계를 포함할 수 있다.The method may include determining a total pose deviation of the k number of positioning according to a plurality of pose deviations.

예를 들면, k번의 포지셔닝 중의 임의의 두 번의 포지셔닝(i번째, j번째 포지셔닝으로 설정하고, i, j는 정수이며, 1≤i<j≤k임)의 경우, 제i 프레임에서 제j 프레임까지의 로컬 포지셔닝 결과의 포즈 변화를 나타내기 위한, i번째 제2 포즈 정보

와 j번째 제2 포즈 정보

사이의 제1 포즈 변화 정보

를 결정할 수 있고, 여기서,

이다. 또한 제i 프레임에서 제j 프레임까지의 제3 포지셔닝 결과의 포즈 변화를 나타내기 위한, i번째 제3 포즈 정보

와 j번째 제3 포즈 정보

사이의 제2 포즈 변화 정보

를 결정할 수도 있고, 여기서,

이다. 제1 포즈 변화 정보와 제2 포즈 변화 정보에 따라, 제i 프레임의 환경 이미지에서 제j 프레임의 환경 이미지까지의 포즈 편차를 결정할 수 있고,

로 표시한다. 다수의 포즈 편차를 합산하여, k번의 포지셔닝의 전체 포즈 편차를 획득할 수 있고,

로 표시한다.For example, in the case of any two positionings among k positionings (set to the i-th and j-th positioning, i and j are integers, and 1≤i<j≤k), the i-th frame to the j-th frame Second i-th pose information for indicating a change in pose of the local positioning result up to

and j-th second pose information

First pose change information between

can be determined, where,

am. In addition, i-th third pose information for indicating a pose change of the third positioning result from the i-th frame to the j-th frame

and j-th third pose information

Second pose change information between

may be determined, where,

am. A pose deviation from the environment image of the i-th frame to the environment image of the j-th frame may be determined according to the first pose change information and the second pose change information;

indicated by By summing a number of pose deviations, it is possible to obtain the total pose deviation of positioning k times,

indicated by

일부 실시예에서, 아래의 공식 (1)로 포즈 그래프 E₁을 나타낼 수 있다.In some embodiments, the pose graph E ₁ may be represented by Equation (1) below.

(1);

(One);

공식 (1)에 대해 최적화 풀이를 수행하여, 전역 최적화된

를 획득할 수 있고, 즉 포즈 수정 후 k번째 제3 포즈 정보가 획득된다.By performing an optimization solution on Equation (1), the global optimized

, that is, the k-th third pose information is obtained after pose correction.

이러한 방식을 통해, 현재의 클라우드 포즈 및 이전의 과저 포즈에 따라, 현재의 로컬 포즈를 수정함으로써, SLAM 시스템의 누적 오차를 감소시키고, 포지셔닝의 정밀도와 안정성을 향상시킬 수 있다.In this way, by modifying the current local pose according to the current cloud pose and the previous pose, the cumulative error of the SLAM system can be reduced and positioning precision and stability can be improved.

일부 실시예에서, 상기 k번째 제1 포지셔닝 결과는 제k 프레임의 특징점 매칭 정보를 포함하고, 상기 제k 프레임의 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 제2 전자 기기의 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하며,In some embodiments, the k-th first positioning result includes feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and the second electronic device. Includes matching information between 3D feature points in the point cloud map,

상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하는 단계는,The step of correcting the k-th second positioning result and determining the k-th third positioning result of the first electronic device according to the k-th first positioning result,

제k 프레임의 특징점 매칭 정보에 따라, 상기 k번째 제2 포지셔닝 결과를 수정하고, 수정된 k번째 제3 포지셔닝 결과를 결정하는 단계를 포함한다.and modifying the k-th second positioning result according to feature point matching information of the k-th frame, and determining a modified k-th third positioning result.

예를 들면, 클라우드 포지셔닝 결과가 특징점 매칭 정보를 포함할 경우, 특징점 매칭 정보에 따라, 국부 제약 조정(Local Bundle Ajustment, LBA)에서 재투영 오차 제약을 수행하여, 현재의 로컬 포즈, 즉 k번째 제2 포즈 정보

를 수정할 수 있다.For example, if the cloud positioning result includes feature point matching information, according to the feature point matching information, reprojection error constraints are performed in Local Bundle Ajustment (LBA), and the current local pose, that is, the k-th third 2 Pose information

can be modified.

전술한 바와 같이, 특징점 매칭 정보가 제k 프레임의 환경 이미지의 2D 특징점(x₀, x₁, x₂, ..., x_N)의 좌표, 포인트 클라우드 맵의 3D 특징점(X₀, X₁, X₂, ..., X_N)의 좌표 및 상기 2D 특징점과 상기 3D 특징점 사이의 매칭 관계를 포함한다고 가정하면, 아래의 공식 (2)로 재투영 오차 E₂를 나타낼 수 있다.As described above, the feature point matching information is the coordinates of the 2D feature points (x ₀ , x ₁ , x ₂ , ..., x _N ) of the environment image of the kth frame, and the 3D feature points (X ₀ , X ₁ ) of the point cloud map. , X ₂ , ..., X _N ) and the matching relationship between the 2D feature points and the 3D feature points, the reprojection error E ₂ can be expressed by the following formula (2).

(2);

(2);

공식 (2)에서, π는 카메라 좌표계에서 이미지 좌표계로의 투영을 나타내고, n은 정수이며, 0≤n≤N이다. 공식 (2)에 대해 최적화 풀이를 수행하여, 최적화된 포즈 정보를 획득할 수 있고, 즉 포즈 수정 후 k번째 제3 포즈 정보가 획득된다.In equation (2), π denotes the projection from the camera coordinate system to the image coordinate system, n is an integer, and 0≤n≤N. By performing an optimization solution on Formula (2), it is possible to obtain optimized pose information, that is, the k-th third pose information is obtained after pose correction.

이러한 방식을 통해, 특징점 매칭 정보에 따라 재투영 오차 제약을 수행하여, 로컬 포즈를 수정함으로써, 포지셔닝의 정밀도와 안정성을 향상시킬 수 있다.In this way, by performing reprojection error constraints according to feature point matching information and correcting local poses, precision and stability of positioning can be improved.

일부 실시예에서, 상기 k번째 제1 포지셔닝 결과는 제k 프레임의 특징점 매칭 정보를 더 포함하고, 상기 제k 프레임의 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 제2 전자 기기의 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하며,In some embodiments, the k-th first positioning result further includes feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and the second electronic device. Includes matching information between 3-dimensional feature points in the point cloud map of

상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하는 단계는,The step of correcting the k-th second positioning result and determining the k-th third positioning result of the first electronic device according to the k-th first positioning result,

상기 제k 프레임의 특징점 매칭 정보에 따라, k번째 제3 포즈 정보를 수정하고, 수정된 k번째 제3 포지셔닝 결과를 결정하는 단계를 더 포함한다.The method may further include modifying k-th pose information according to feature point matching information of the k-th frame and determining a modified k-th third positioning result.

예를 들면, 클라우드 포지셔닝 결과가 포즈 정보 및 특징점 매칭 정보를 포함할 경우, 먼저, 금번 포지셔닝의 포즈 정보 및 과거 포지셔닝의 포즈 정보에 따라, 포즈 그래프를 셋업하여, 로컬 맵(map)을 제약하고; 다음, 특징점 매칭 정보에 따라, 재투영 오차 제약을 수행하여, 포즈를 추가적으로 수정할 수 있다.For example, when the cloud positioning result includes pose information and feature point matching information, first, according to the pose information of the current positioning and the pose information of the past positioning, a pose graph is set up, and a local map is constrained; Next, the pose may be additionally corrected by performing reprojection error constraints according to feature point matching information.

일부 실시예에서, 공식 (1)을 통해 최적화하여 k번째 제3 포즈 정보가 획득된 후, 아래의 공식 (3)으로 k번째 제3 포즈 정보

에 대해 재투영 오차 제약을 수행할 수 있다.In some embodiments, after the k-th third pose information is obtained by optimizing through Formula (1), the k-th third pose information is obtained by Formula (3) below.

Reprojection error constraints can be performed on .

(3);

(3);

공식 (3)에서, π는 카메라 좌표계에서 이미지 좌표계로의 투영을 나타내고, n은 정수이며, 0≤n≤N이다. 공식 (3)에 대해 최적화 풀이를 수행하여, 최적화된 포즈 정보를 획득할 수 있고, 즉 재차 포즈 수정 후 k번째 제3 포즈 정보가 획득된다.In formula (3), π denotes the projection from the camera coordinate system to the image coordinate system, n is an integer, and 0≤n≤N. By performing an optimization solution on Formula (3), it is possible to obtain optimized pose information, that is, k-th third pose information is obtained after pose correction again.

이러한 방식을 통해, k번째 제1 포지셔닝 결과 중의 포즈 정보 및 특징점 매칭 정보에 따라, 포지셔닝 결과를 각각 제약하여, 로컬 포즈를 수정함으로써, 포지셔닝의 정밀도와 안정성을 더 향상시킬 수 있다.Through this method, positioning results are each constrained according to pose information and feature point matching information in the k-th first positioning result, and local poses are modified, thereby further improving positioning accuracy and stability.

일부 실시예에서, 상기 방법은,In some embodiments, the method

제2 전자 기기에 a번째 제1 포지셔닝 요청을 송신하는 단계 - 상기 a번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제a 프레임의 환경 이미지가 포함되고, a는 정수이며, a≥1임 - ; 및Transmitting an a-th first positioning request to a second electronic device, wherein the a-th first positioning request includes an environment image of an a-th frame of an environment in which the first electronic device is located, a is an integer, and a≥ 1 - ; and

상기 제2 전자 기기에 의해 송신된 a번째 제1 포지셔닝 결과가 수신될 경우, 상기 a번째 제1 포지셔닝 결과에 따라, 상기 제1 전자 기기 중의 동시적 위치 결정 및 지도 작성(SLAM) 시스템을 초기화하여, 상기 제1 전자 기기의 초기 포지셔닝 결과를 결정하는 단계를 더 포함하고, 상기 a번째 제1 포지셔닝 결과는 a번째 제1 포즈 정보 및 제a 프레임의 특징점 매칭 정보 중 적어도 하나를 포함한다.When the a-th first positioning result transmitted by the second electronic device is received, according to the a-th first positioning result, a simultaneous positioning and mapping (SLAM) system in the first electronic device is initialized, , determining an initial positioning result of the first electronic device, wherein the a-th first positioning result includes at least one of a-th first pose information and feature point matching information of an a-th frame.

예를 들면, 일반적으로 SLAM 시스템은 초기화될 때, 제1 전자 기기는 여러 번 이동하여, 다수의 프레임의 환경 이미지를 수집하여, 환경 이미지 중의 포인트에 대한 충분한 관측을 생성하도록 함으로써, 포지셔닝 결과가 수렴되도록 하며, 제1 전자 기기의 초기 포지셔닝 결과를 결정하여, SLAM 시스템의 초기화를 구현해야 한다. 이 경우, 제1 전자 기기는 제2 전자 기기에 의해 반환된 제1 포지셔닝 결과를 이용하여 초기화를 구현할 수 있다.For example, generally, when a SLAM system is initialized, the first electronic device moves several times to collect multiple frames of environment images to generate enough observations of points in the environment images, so that the positioning result converges. and by determining the initial positioning result of the first electronic device, initialization of the SLAM system should be implemented. In this case, the first electronic device may implement initialization using the first positioning result returned by the second electronic device.

일부 실시예에서, 제1 전자 기기는 제2 전자 기기에 a번째 제1 포지셔닝 요청을 송신하여, 자신의 위치를 결정할 수 있고, a번째 제1 포지셔닝 요청에는 제1 전자 기기에 의해 수집된 제a 프레임의 환경 이미지가 포함되며, a는 1보다 크거나 같은 정수이다. 제2 전자 기기는 a번째 제1 포지셔닝 요청이 수신된 후, a번째 제1 포지셔닝 요청 중의 제a 프레임의 환경 이미지의 특징 정보를 추출하고, 포인트 클라우드 맵에 매칭하여, 서로 매칭되는 시각 포지셔닝 결과(a번째 제1 포지셔닝 결과라고 할 수 있음)를 결정하여, 제1 전자 기기에 송신할 수 있다. 상기 제1 포지셔닝 결과는 제1 전자 기기의 포즈 정보(pose) 및 특징점 매칭 정보(match) 중 적어도 하나를 포함한다.In some embodiments, the first electronic device may determine its own location by sending an a-th first positioning request to the second electronic device, and the a-th first positioning request includes the a-th first positioning request collected by the first electronic device. The frame's environment image is included, where a is an integer greater than or equal to 1. After the a-th first positioning request is received, the second electronic device extracts feature information of the environment image of the a-th frame in the a-th first positioning request, matches it to the point cloud map, and matches the visual positioning result ( The a-th first positioning result) may be determined and transmitted to the first electronic device. The first positioning result includes at least one of pose information and feature point matching information of the first electronic device.

일부 실시예에서, 제1 전자 기기는 a번째 제1 포지셔닝 결과가 수신될 경우, a번째 제1 포지셔닝 결과에 따라, 상기 제1 전자 기기 중의 동시적 위치 결정 및 지도 작성(SLAM) 시스템을 초기화하여, 상기 제1 전자 기기의 초기 포지셔닝 결과를 결정할 수 있다.In some embodiments, the first electronic device initializes a simultaneous positioning and mapping (SLAM) system in the first electronic device according to the a-th first positioning result when the a-th first positioning result is received, , an initial positioning result of the first electronic device may be determined.

여기서, a=1일 경우, 상기 제1 포지셔닝 결과를 직접 제1 전자 기기의 초기 포지셔닝 결과로 사용할 수 있고; a>1일 경우, a번째 제1 포지셔닝 결과에 따라, 제1 전자 기기의 로컬의 포지셔닝 결과를 수정하여, 제1 전자 기기의 초기 포지셔닝 결과를 결정할 수 있다. 본 발명의 실시예는 수정의 구체적인 방식에 대해 한정하지 않는다.Here, when a=1, the first positioning result may be directly used as the initial positioning result of the first electronic device; If a>1, an initial positioning result of the first electronic device may be determined by modifying a local positioning result of the first electronic device according to the a-th first positioning result. The embodiments of the present invention are not limited to specific ways of modification.

이러한 방식을 통해, 제1 전자 기기의 SLAM 시스템의 초기화 속도를 향상시킬 수 있고, 심지어 정지된 경우에도 초기화를 완료할 수 있다.Through this method, the initialization speed of the SLAM system of the first electronic device can be improved, and the initialization can be completed even when stopped.

본 발명의 실시예의 포지셔닝 방법에 따르면, 상기 처리 방식을 통해 SLAM 시스템의 누적 오차를 감소시킬 수 있고; 클라우드의 고정밀도 맵을 요청하는 방식을 통해, 고정밀도 맵과 로컬 SLAM 시스템 사이의 밀결합 전략을 구현하여, 로컬 SLAM의 매핑(mapping) 수요를 줄이고, 포지셔닝의 정밀도를 더 향상시킬 수도 있다.According to the positioning method in the embodiment of the present invention, the cumulative error of the SLAM system can be reduced through the above processing method; Through a method of requesting a high-precision map of the cloud, a tight coupling strategy between the high-precision map and the local SLAM system may be implemented to reduce the mapping demand of the local SLAM and further improve the precision of positioning.

일부 실시예에서, 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과는 제1 영역 맵을 더 포함하고, 상기 제1 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함한다.In some embodiments, the k-th first positioning result sent by the second electronic device further includes a first area map, wherein the first area map is a point cloud sub-map of a geographic area corresponding to the first electronic device. includes

일부 실시예에서, 단계 S12에서 상기 k번째 제3 포지셔닝 결과가 결정된 후, 상기 방법은,In some embodiments, after the k-th third positioning result is determined in step S12, the method comprises:

상기 k번째 제3 포지셔닝 결과와 상기 제1 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 상기 제1 전자 기기의 제4 포지셔닝 결과를 결정하는 단계; 및determining a fourth positioning result of the first electronic device by performing projection matching on the k-th third positioning result and a point cloud sub-map in the first area map; and

상기 제4 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하는 단계를 더 포함한다.The method further includes displaying a display interface of the first electronic device according to a result of the fourth positioning.

다시 말해, 제1 전자 기기에 의해 송신된 k번째 제1 포지셔닝 요청은 클라우드의 서브 맵을 요청할 수도 있다. 제2 전자 기기는 제1 전자 기기에 의해 송신된 k번째 제1 포지셔닝 요청이 수신될 경우, 시각 포지셔닝을 수행하여, k번째 제1 포지셔닝 결과를 결정할 수 있다. 상기 k번째 제1 포지셔닝 결과에 따라, 제2 전자 기기는 포인트 클라우드 맵에서 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정해낼 수 있다. 상기 지리 영역은 제1 전자 기기의 위치 부근의 일정한 범위 내의 영역일 수 있고, 예를 들어, 제1 전자 기기의 위치와의 거리가 기설정 거리(예컨대, 10m) 내인 원형 영역이며, 본 발명의 실시예는 상기 지리 영역의 구체적인 범위에 대해 한정하지 않는다.In other words, the k-th first positioning request transmitted by the first electronic device may request a sub-map of the cloud. When the k-th first positioning request transmitted by the first electronic device is received, the second electronic device may perform visual positioning to determine a k-th first positioning result. According to the result of the k-th first positioning, the second electronic device may determine a point cloud sub-map of a geographic area corresponding to the first electronic device from the point cloud map. The geographic area may be an area within a certain range around the location of the first electronic device, for example, a circular area within a predetermined distance (eg, 10 m) from the location of the first electronic device. The embodiments are not limited to a specific range of the geographic area.

일부 실시예에서, 제2 전자 기기는 상기 지리 영역의 포인트 클라우드 서브 맵을 SLAM의 지도 포맷으로 패키징하여, 제1 영역 맵을 생성하고 제1 전자 기기에 송신할 수 있다.In some embodiments, the second electronic device may package the point cloud sub-map of the geographic area into a SLAM map format, generate a first area map, and transmit the first area map to the first electronic device.

클라우드의 고정밀도 맵은 실제 시나리오에 대해 충분히 최적화된 매핑을 이미 수행하였으므로, 클라우드의 서브 맵을 통해 로컬에서 매칭을 수행하여, 포지셔닝 정밀도 및 안정성을 향상시킬 수 있다.Since the high-precision map of the cloud has already performed mapping sufficiently optimized for actual scenarios, matching can be performed locally through sub-maps of the cloud to improve positioning accuracy and stability.

일부 실시예에서, 제1 전자 기기에 수신된 k번째 제1 포지셔닝 결과에는 제1 영역 맵이 포함된다. 단계 S12에서 k번째 제3 포지셔닝 결과가 결정된 후, 제1 전자 기기는 k번째 제3 포지셔닝 결과(Pose)와 제1 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행할 수 있고, 즉 3차원의 포인트 클라우드 서브 맵을 2차원의 이미지로 투영한 다음, k번째 제3 포지셔닝 결과에 매칭함으로써, 제1 전자 기기의 포지셔닝 결과(제4 포지셔닝 결과라고 할 수 있음)를 결정해낸다. 상기 제4 포지셔닝 결과는 제1 전자 기기의 포즈 정보를 포함한다.In some embodiments, the k-th first positioning result received by the first electronic device includes a first area map. After the k-th third positioning result is determined in step S12, the first electronic device may perform projection matching on the k-th third positioning result (Pose) and the point cloud sub-map in the first area map, that is, the 3-dimensional 3D positioning result. A positioning result of the first electronic device (which may be referred to as a fourth positioning result) is determined by projecting the point cloud sub-map of to a two-dimensional image and then matching the k-th third positioning result. The fourth positioning result includes pose information of the first electronic device.

클라우드 맵 중의 이미지와 로컬의 환경 이미지가 일치하지 않는 상황이 존재하므로, SLAM 시스템에서는 예를 들어 빠른 방향 및 회전 설명(Oriented Fast and Rotated Brief, ORB)(빠른 특징점 추출 및 설명 알고리즘) 디스크립터를 사용하여 이미지 매칭을 수행할 경우, 투영 매칭 방식을 사용하여, 검색 반경을 줄이고, 매칭 오류의 확률을 낮출 수 있다.Since there exist situations where the image in the cloud map and the local environment image do not match, the SLAM system uses, for example, an Oriented Fast and Rotated Brief (ORB) (fast feature point extraction and description algorithm) descriptor to When image matching is performed, a search radius may be reduced and a matching error probability may be reduced by using a projection matching method.

일부 실시예에서, 제4 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시할 수 있다. 즉, 제4 포지셔닝 결과를 통해 로컬 SLAM 시스템의 VIO 모듈의 출력 결과를 제약할 수 있다. 제1 전자 기기의 현재의 응용 시나리오에 따라, VIO 모듈의 출력 결과를 통해 전시할 상응한 내용을 렌더링하고, 디스플레이 인터페이스에서 전시한다.In some embodiments, the display interface of the first electronic device may be displayed according to the result of the fourth positioning. That is, the output result of the VIO module of the local SLAM system may be constrained through the fourth positioning result. According to the current application scenario of the first electronic device, the corresponding content to be displayed is rendered through the output result of the VIO module and displayed on the display interface.

이러한 방식을 통해, 먼저, 클라우드의 포즈(Pose) 및 특징점 매칭 정보(Match)를 통해 누적 오차를 작은 범위로 소거할 수 있고, 다음, 포지셔닝 결과(Pose)와 포인트 클라우드 서브 맵을 통해 투영 매칭을 수행하여, 매칭의 성공률 및 정확도를 향상시키고, 포지셔닝의 정밀도를 더 향상시킬 수 있다.In this way, first, the cumulative error can be canceled to a small extent through the pose of the cloud and the feature point matching information (Match), and then, projection matching can be performed through the positioning result (Pose) and the point cloud sub-map. By performing this, the success rate and accuracy of matching can be improved, and the precision of positioning can be further improved.

상기 처리 방식은 포지셔닝 정밀도를 향상시킬 수 있으나, 클라우드의 고정밀도 서브 맵에 대한 요청은 많은 네트워크 자원을 소모해야 할 수 있다. 따라서, 현재 프레임이 이미 로드된 고정밀도 서브 맵에 대해 충분한 관측을 수행하였는지 여부(즉, 현재 프레임이 이미 로드된 고정밀도 서브 맵의 영역 내에 위치하는지 여부), 또는 네트워크 상태가 수요를 만족하는지 여부 등 상황에 따라, 서브 맵을 요청할지 여부를 선택할 수 있다.The above processing method can improve positioning accuracy, but a request for a high-precision sub-map in the cloud may consume a lot of network resources. Therefore, whether the current frame has made enough observations on the already loaded high-precision sub-map (i.e., whether the current frame is located within the area of the already-loaded high-precision sub-map), or whether the network condition satisfies the demand. Depending on the situation, etc., it is possible to select whether or not to request a sub map.

일부 실시예에서, 단계 S11에서 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하기 전에, 상기 방법은,In some embodiments, before sending the k-th first positioning request to the second electronic device in step S11, the method comprises:

상기 제1 전자 기기의 k번째 제2 포지셔닝 결과 및 상기 제1 전자 기기의 로컬의 제2 영역 맵에 따라, 상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치하는지 여부를 판정하는 단계를 더 포함하고, 상기 제2 영역 맵은 상기 제2 전자 기기에 의해 이미 송신된 영역 맵이며;Further comprising determining whether the first electronic device is located within the second area map according to a k-th second positioning result of the first electronic device and a local second area map of the first electronic device. and the second area map is an area map already sent by the second electronic device;

상기 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계는,Transmitting a k-th first positioning request to the second electronic device includes:

상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치할 경우, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계를 포함한다.and sending a k-th first positioning request to a second electronic device when the first electronic device is located within the second area map.

예를 들면, 제1 전자 기기가 포지셔닝을 처음 수행할 경우, 클라우드의 고정밀도 서브 맵을 직접 요청하여, 정확한 포지셔닝을 구현할 수 있다. 그러나 제1 전자 기기가 여러 차례 포지셔닝을 수행하는 과정(예컨대, AR 내비게이션을 통해 목적지로 향하는 과정) 중에, 클라우드의 고정밀도 서브 맵을 이미 수신하여 로컬에 저장했을 수 있다. 이 경우, 먼저 제1 전자 기기가 로컬의 기존의 서브 맵 범위 내에 위치하는지 여부를 판정할 수 있다.For example, when the first electronic device performs positioning for the first time, it may implement accurate positioning by directly requesting a high-precision sub-map of the cloud. However, while the first electronic device performs positioning several times (eg, heading to a destination through AR navigation), the high-precision sub-map of the cloud may have already been received and stored locally. In this case, first, it may be determined whether the first electronic device is located within an existing local sub-map range.

일부 실시예에서, 제1 전자 기기의 로컬의 k번째 제2 포지셔닝 결과 및 제2 전자 기기에 의해 이미 송신된 영역 맵(제2 영역 맵이라고 할 수 있음)에 따라, 제1 전자 기기의 위치 좌표가 제2 영역 맵에 대응되는 지리 영역의 좌표 범위 내에 위치하는지 여부를 판정할 수 있다. 만약 제1 전자 기기가 제2 영역 맵의 범위 내에 위치하면, 이미 로드된 고정밀도 서브 맵에 대해 충분한 관측을 수행하였음을 간주할 수 있고, 직접 로컬의 제2 영역 맵 중의 포인트 클라우드 서브 맵을 통해 정확한 포지셔닝을 수행할 수 있다.In some embodiments, the location coordinates of the first electronic device according to the local k-th second positioning result of the first electronic device and an area map already transmitted by the second electronic device (which may be referred to as a second area map). It may be determined whether is located within a coordinate range of a geographic area corresponding to the second area map. If the first electronic device is located within the range of the second area map, it may be considered that sufficient observation has been performed on the already loaded high-precision submap, directly through the point cloud submap in the local second area map. Accurate positioning can be performed.

일부 실시예에서, 제1 전자 기기가 제2 영역 맵 내에 위치할 경우, 단계 S11에서 k번째 제1 포지셔닝 요청을 송신하고, 클라우드의 포즈 정보(Pose) 및 특징점 매칭 정보(Match)를 획득하도록 요청하여, 포즈 수정을 수행함으로써, 누적 오차를 감소시킬 수 있다.In some embodiments, when the first electronic device is located in the second area map, in step S11, a k-th first positioning request is transmitted and a request is made to acquire pose information (Pose) and feature point matching information (Match) of the cloud. Thus, by performing the pose correction, it is possible to reduce the cumulative error.

이러한 방식을 통해, 클라우드 고정밀도 서브 맵을 요청하는 횟수를 줄이고, 전송되는 데이터량을 줄일 수 있어, 포지셔닝 효율 및 포지셔닝 속도가 향상된다.Through this method, the number of requests for the cloud high-precision sub-map can be reduced and the amount of transmitted data can be reduced, thereby improving positioning efficiency and positioning speed.

일부 실시예에서, 상기 방법은,In some embodiments, the method

상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치하지 않을 경우, 상기 제2 전자 기기에 제2 포지셔닝 요청을 송신하는 단계 - 상기 제2 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함됨 - ;Sending a second positioning request to the second electronic device when the first electronic device is not located within the second area map - the second positioning request includes a kth frame of an environment in which the first electronic device is located - Contains environment image of ;

상기 제2 전자 기기에 의해 송신된 제3 영역 맵이 수신될 경우, 현재의 제2 포지셔닝 결과와 상기 제3 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 상기 제1 전자 기기의 제5 포지셔닝 결과를 결정하는 단계 - 상기 제3 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함함 - ; 및When the third area map transmitted by the second electronic device is received, projection matching is performed on a current second positioning result and a point cloud sub-map in the third area map, 5 determining a positioning result, wherein the third area map includes a point cloud sub-map of a geographic area corresponding to the first electronic device; and

상기 제5 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하는 단계를 더 포함할 수 있다.The method may further include displaying a display interface of the first electronic device according to a result of the fifth positioning.

전술한 바와 같이, 만약 제1 전자 기기가 제2 영역 맵의 범위 내에 위치하면, 즉 제1 전자 기기의 위치가 상기 제2 영역 맵 정보의 영역 내에 있으면, 현재의 제2 포지셔닝 결과와 제2 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 제1 전자 기기의 포지셔닝 결과(제5 포지셔닝 결과라고 할 수 있음)를 결정해낼 수 있다. 상기 제5 포지셔닝 결과는 제1 전자 기기의 포즈 정보를 포함한다.As described above, if the first electronic device is located within the range of the second area map, that is, the position of the first electronic device is within the area of the second area map information, the current second positioning result and the second area A positioning result (which may be referred to as a fifth positioning result) of the first electronic device may be determined by performing projection matching on the point cloud sub-map in the map. The fifth positioning result includes pose information of the first electronic device.

일부 실시예에서, 제5 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시할 수 있다. 즉, 제5 포지셔닝 결과를 통해 로컬 SLAM 시스템의 VIO 모듈의 출력 결과를 제약할 수 있다. 제1 전자 기기의 현재의 응용 시나리오에 따라, VIO 모듈의 출력 결과를 통해 전시할 상응한 내용을 렌더링하고, 디스플레이 인터페이스에서 전시한다.In some embodiments, the display interface of the first electronic device may be displayed according to the result of the fifth positioning. That is, the output result of the VIO module of the local SLAM system may be constrained through the fifth positioning result. According to the current application scenario of the first electronic device, the corresponding content to be displayed is rendered through the output result of the VIO module and displayed on the display interface.

이러한 방식을 통해, 로드된 고정밀도 서브 맵을 통해 포지셔닝의 정밀도와 안정성을 향상시키고, 투영 매칭을 통해 검색 반경을 줄이며, 매칭 오류의 확률을 낮출 수 있다.In this way, it is possible to improve positioning accuracy and stability through the loaded high-precision sub-map, reduce a search radius through projection matching, and lower the probability of matching errors.

일부 실시예에서, 단계 S11에서 제2 전자 기기에 제1 포지셔닝 요청을 송신하기 전에, 상기 방법은,In some embodiments, before sending the first positioning request to the second electronic device in step S11, the method comprises:

상기 제1 전자 기기의 네트워크 상태를 획득하는 단계를 더 포함하고, 상기 네트워크 상태는 네트워크 신호 세기 및 정보 전송 속도 중 적어도 하나를 포함하며;further comprising obtaining a network state of the first electronic device, wherein the network state includes at least one of network signal strength and information transmission speed;

상기 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계는,Transmitting a k-th first positioning request to the second electronic device includes:

상기 네트워크 상태가 기설정된 영역 맵 획득 조건을 만족하지 않을 경우, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계를 포함하고, 상기 영역 맵 획득 조건은, 상기 네트워크 신호 세기가 신호 세기 임계값보다 크거나 같은 것; 및 상기 정보 전송 속도가 속도 임계값보다 크거나 같은 것 중 적어도 하나를 포함한다.and transmitting a k-th first positioning request to a second electronic device when the network state does not satisfy a preset area map acquisition condition, wherein the area map acquisition condition is that the network signal strength is a signal strength threshold. greater than or equal to value; and the information transfer rate is greater than or equal to a rate threshold.

예를 들면, 네트워크 신호 세기 및 정보 전송 속도 중 적어도 하나 등을 포함하는 제1 전자 기기의 네트워크 상태를 획득할 수 있다. 만약 네트워크 신호 세기가 신호 세기 임계값보다 크거나 같은 것, 및 정보 전송 속도가 속도 임계값보다 크거나 같은 것 중 적어도 하나이면, 네트워크 상태가 양호하다고 간주할 수 있고, 클라우드의 고정밀도 서브 맵을 요청하는 지연이 작으며, 기설정된 영역 맵 획득 조건을 만족한다. 반대로, 만약 네트워크 신호 세기가 신호 세기 임계값보다 작은 것, 및 정보 전송 속도가 속도 임계값보다 작은 것 중 적어도 하나이면, 네트워크 상태가 좋지 않다고 간주할 수 있고, 클라우드의 고정밀도 서브 맵을 요청하는 지연이 크며, 기설정된 영역 맵 획득 조건을 만족하지 않는다.For example, the network state of the first electronic device including at least one of network signal strength and information transmission speed may be obtained. If the network signal strength is greater than or equal to the signal strength threshold, and the information transfer rate is greater than or equal to the speed threshold, the network state may be regarded as good, and a high-precision submap of the cloud may be determined. The requested delay is small and satisfies the preset region map acquisition condition. Conversely, if at least one of the network signal strength is less than the signal strength threshold and the information transfer rate is less than the speed threshold, it can be considered that the network condition is not good, and a high-precision submap of the cloud is requested. The delay is large, and the predetermined region map acquisition condition is not satisfied.

일부 실시예에서, 만약 제1 전자 기기의 네트워크 상태가 기설정된 영역 맵 획득 조건을 만족하지 않으면, 단계 S11에서 k번째 제1 포지셔닝 요청을 송신하고, 클라우드의 포즈 정보(Pose) 및 특징점 매칭 정보(Match)를 획득하도록 요청하여, 포즈 수정을 수행함으로써, 누적 오차를 감소시킬 수 있다.In some embodiments, if the network state of the first electronic device does not satisfy the preset area map acquisition condition, in step S11, a k-th first positioning request is transmitted, and cloud pose information (Pose) and feature point matching information ( Match) and performing pose correction, it is possible to reduce the cumulative error.

이러한 방식을 통해, 네트워크 상태에 따라 클라우드의 고정밀도 서브 맵을 요청할지 여부를 결정할 수 있으므로, 전송되는 데이터량을 줄이고, 포지셔닝 효율 및 포지셔닝 속도를 향상시킨다.In this way, it is possible to determine whether to request a high-precision sub-map of the cloud according to the network condition, thereby reducing the amount of transmitted data and improving positioning efficiency and positioning speed.

일부 실시예에서, 단계 S13은,In some embodiments, step S13 is

상기 k번째 제3 포지셔닝 결과 및 목적지의 지리적 위치에 따라, 상기 제1 전자 기기의 내비게이션 경로를 결정하는 단계; 및determining a navigation route of the first electronic device according to the result of the k-th third positioning and the geographical location of the destination; and

상기 내비게이션 경로에 따라, 상기 디스플레이 인터페이스에서 증강 현실(AR) 내비게이션 경로를 전시하는 단계를 포함할 수 있다.and displaying an augmented reality (AR) navigation route on the display interface according to the navigation route.

예를 들면, AR 내비게이팅을 수행하는 응용 시나리오에서, k번째 제3 포지셔닝 결과 중의 포즈 정보, 및 사용자가 설정한 목적지의 지리적 위치에 따라, 제1 전자 기기의 내비게이션 경로를 결정해낼 수 있다. 유사하게, 제4 포지셔닝 결과 또는 제5 포지셔닝 결과가 획득될 경우, 제4 포지셔닝 결과 또는 제5 포지셔닝 결과 중의 포즈 정보, 및 사용자가 설정한 목적지의 지리적 위치에 따라, 제1 전자 기기의 내비게이션 경로를 결정해낼 수 있다. 본 발명의 실시예는 내비게이션 경로의 구체적인 결정 방식에 대해 한정하지 않는다.For example, in an application scenario performing AR navigation, a navigation route of the first electronic device may be determined according to pose information in the k-th third positioning result and the geographic location of a destination set by the user. Similarly, when the fourth positioning result or the fifth positioning result is obtained, the navigation route of the first electronic device is determined according to the pose information in the fourth positioning result or the fifth positioning result and the geographic location of the destination set by the user. can decide Embodiments of the present invention are not limited to a specific way of determining a navigation route.

일부 실시예에서, 내비게이션 경로에 따라, 제1 전자 기기의 디스플레이 인터페이스의 실경 이미지 또는 전경 이미지에서 AR 내비게이션 경로를 전시하여, 사용자가 AR 내비게이션 경로에 따라 이동하도록 지시할 수 있다. 상기 AR 내비게이션 경로는 예를 들어 내비게이션 경로를 따른 AR 화살표를 포함한다. 본 발명의 실시예는 AR 내비게이션 경로의 구체적인 형태에 대해 한정하지 않는다.In some embodiments, the AR navigation route may be displayed in a real view image or a foreground image of the display interface of the first electronic device according to the navigation route, and the user may be instructed to move along the AR navigation route. The AR navigation path includes, for example, AR arrows along the navigation path. Embodiments of the present invention are not limited to a specific form of an AR navigation path.

이러한 방식을 통해, 실경 이미지에서의 AR 내비게이션을 구현할 수 있으므로, 내비게이션 노선의 직관성을 향상시키고, AR 내비게이션 경로 전시의 정밀도와 안정성을 향상시킨다.Through this method, since AR navigation can be implemented in a real-view image, the intuitiveness of the navigation route is improved, and the precision and stability of the AR navigation route display are improved.

일부 실시예에서, 단계 S13은,In some embodiments, step S13 is

상기 k번째 제3 포지셔닝 결과 및 AR 객체의 제1 객체 포즈 정보에 따라, 상기 디스플레이 인터페이스에서의 상기 AR 객체의 제2 객체 포즈 정보를 결정하는 단계; 및determining second object pose information of the AR object in the display interface according to the k-th third positioning result and first object pose information of the AR object; and

상기 제2 객체 포즈 정보에 따라, 상기 디스플레이 인터페이스에서 상기 AR 객체를 전시하는 단계를 포함할 수 있다.and displaying the AR object on the display interface according to the second object pose information.

예를 들면, AR 객체를 전시하는 응용 시나리오에서, k번째 제3 포지셔닝 결과 중의 포즈 정보, 및 전시할 AR 객체의 제1 객체 포즈 정보에 따라, 상기 디스플레이 인터페이스에서의 AR 객체의 제2 객체 포즈 정보를 결정해낼 수 있다. 본 발명의 실시예는 구체적인 결정 방식에 대해 한정하지 않는다.For example, in an application scenario displaying an AR object, second object pose information of the AR object in the display interface according to pose information in the k-th third positioning result and first object pose information of the AR object to be displayed. can determine Embodiments of the present invention are not limited to a specific determination method.

유사하게, 제4 포지셔닝 결과 또는 제5 포지셔닝 결과가 획득될 경우, 제4 포지셔닝 결과 또는 제5 포지셔닝 결과 중의 포즈 정보, 및 전시할 AR 객체의 제1 객체 포즈 정보에 따라, 상기 디스플레이 인터페이스에서의 AR 객체의 제2 객체 포즈 정보를 결정해낼 수 있다.Similarly, when the fourth positioning result or the fifth positioning result is obtained, according to the pose information in the fourth positioning result or the fifth positioning result and the first object pose information of the AR object to be displayed, the AR in the display interface Second object pose information of the object may be determined.

일부 실시예에서, 제2 객체 포즈 정보에 따라, 디스플레이 인터페이스의 실경 이미지에서 상기 AR 객체를 전시할 수 있다. 여기서, 전시할 AR 객체는 AR 마크와, 가상의 경치, 가상의 동물 등과 같은 가상 물체 등을 포함할 수 있다. 본 발명의 실시예는 AR 객체의 구체적인 카테고리에 대해 한정하지 않는다.In some embodiments, the AR object may be displayed in a real view image of the display interface according to the second object pose information. Here, the AR object to be displayed may include an AR mark, virtual scenery, virtual objects such as virtual animals, and the like. Embodiments of the present invention are not limited to specific categories of AR objects.

이러한 방식을 통해, 실경 이미지에서의 AR 객체 전시를 구현할 수 있어, AR 객체 전시의 정밀도와 안정성을 향상시킨다.Through this method, it is possible to implement AR object display in a real view image, thereby improving the precision and stability of AR object display.

도 2는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 구현 흐름 모식도이다. 상기 방법은 제2 전자 기기에 응용되고, 도 2에 도시된 바와 같이, 상기 포지셔닝 방법은 다음과 같은 단계를 포함한다.2 is an implementation flow diagram of a positioning method provided by an embodiment of the present invention. The method is applied to a second electronic device, and as shown in FIG. 2 , the positioning method includes the following steps.

단계 S21에서, 제1 전자 기기로부터 k번째 제1 포지셔닝 요청이 수신될 경우, 기설정된 포인트 클라우드 맵 및 상기 k번째 제1 포지셔닝 요청 중의 제k 프레임의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 k번째 제1 포지셔닝 결과를 획득한다.In step S21, when a k-th first positioning request is received from the first electronic device, the first electronic device is configured according to a preset point cloud map and an environment image of a k-th frame in the k-th first positioning request. Visual positioning is performed to obtain a k-th first positioning result of the first electronic device.

단계 S22에서, 상기 제1 전자 기기에 상기 k번째 제1 포지셔닝 결과를 송신하여, 상기 제1 전자 기기로 하여금 상기 k번째 제1 포지셔닝 결과에 따라 포지셔닝 결과 수정을 수행하도록 한다.In step S22, the k-th first positioning result is transmitted to the first electronic device, and the first electronic device performs positioning result correction according to the k-th first positioning result.

상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보 및 제k 프레임의 특징점 매칭 정보 중 적어도 하나를 포함하며, 상기 제k 프레임의 특징점 매칭 정보는 상기 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함한다.The k-th first positioning result includes at least one of k-th first pose information and feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and and matching information between 3D feature points in the point cloud map.

예를 들면, 특정 포지셔닝(k번째 포지셔닝으로 설정, k는 1보다 큰 정수임)의 경우, 단계 S11에서, 제1 전자 기기는 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하여, 자신의 위치를 결정할 수 있다. k번째 제1 포지셔닝 요청에는 제1 전자 기기에 의해 수집된 제k 프레임의 환경 이미지가 포함된다. For example, in the case of a specific positioning (set as k-th positioning, where k is an integer greater than 1), in step S11, the first electronic device sends a k-th first positioning request to the second electronic device to locate its own positioning request. can decide The k-th first positioning request includes the environment image of the k-th frame collected by the first electronic device.

일부 실시예에서, 제2 전자 기기는 k번째 제1 포지셔닝 요청이 수신된 후, k번째 제1 포지셔닝 요청 중의 제k 프레임의 환경 이미지의 특징 정보를 추출할 수 있다. 예를 들어, 사전에 트레이닝된 신경망을 통해 제k 프레임의 환경 이미지에 대해 특징 추출을 수행하여, 제k 프레임의 환경 이미지의 특징 정보를 획득할 수 있다. 본 발명의 실시예는 특징 추출의 구체적인 방식에 대해 한정하지 않는다.In some embodiments, after receiving the k-th first positioning request, the second electronic device may extract feature information of an environment image of a k-th frame in the k-th first positioning request. For example, feature information of the environment image of the kth frame may be obtained by performing feature extraction on the environment image of the kth frame through a pretrained neural network. Embodiments of the present invention are not limited to specific ways of feature extraction.

일부 실시예에서, 제k 프레임의 환경 이미지의 특징 정보가 획득된 후, 제2 전자 기기는 상기 특징 정보를 포인트 클라우드 맵에 매칭하여, 서로 매칭되는 시각 포지셔닝 결과(k번째 제1 포지셔닝 결과라고 할 수 있음)를 결정할 수 있다. 본 발명의 실시예는 특징 정보와 포인트 클라우드 맵을 매칭하는 구체적인 방식에 대해 한정하지 않는다.In some embodiments, after feature information of the environment image of the k th frame is obtained, the second electronic device matches the feature information to a point cloud map, and results in matching visual positioning (referred to as a k-th first positioning result). can be determined). Embodiments of the present invention are not limited to a specific method of matching feature information and a point cloud map.

일부 실시예에서, 상기 k번째 제1 포지셔닝 결과는 제1 전자 기기의 포즈 정보(간략하여 pose라고 할 수 있음) 및 특징점 매칭 정보(간략하여 match라고 할 수 있음) 중 적어도 하나를 포함한다. 여기서, 포즈 정보는 위치 정보 및 자세 정보를 포함하고, 위치 정보는 제1 전자 기기의 위치 좌표를 포함할 수 있으며; 자세 정보는 제1 전자 기기의 방향, 피치각 등을 포함할 수 있다.In some embodiments, the k-th first positioning result includes at least one of pose information (which may be referred to as pose for short) and feature point matching information (which may be referred to as match for short) of the first electronic device. Here, the pose information may include location information and posture information, and the location information may include location coordinates of the first electronic device; The attitude information may include a direction, a pitch angle, and the like of the first electronic device.

일부 실시예에서, 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함할 수 있다. 예를 들어, 제k 프레임의 환경 이미지의 N+1개의 2D 특징점(x₀, x₁, x₂, ..., x_N)과 포인트 클라우드 맵의 N+1개의 3D 특징점(X₀, X₁, X₂, ..., X_N)이 각각 매칭되면, 특징점 매칭 정보는 2D 특징점(x₀, x₁, x₂, ..., x_N)의 좌표, 3D 특징점(X₀, X₁, X₂, ..., X_N)의 좌표 및 이들 사이의 매칭 관계를 포함하고, N은 0보다 큰 정수이다.In some embodiments, the feature point matching information may include matching information between a 2D feature point in the environment image of the kth frame and a 3D feature point in the point cloud map. For example, N+1 2D feature points (x ₀ , x ₁ , x ₂ , ..., x _N ) of the environment image of the kth frame and N+1 3D feature points (X ₀ , X ₁ , X ₂ , ..., X _N ) are each matched, the feature point matching information is the coordinates of 2D feature points (x ₀ , x ₁ , x ₂ , ..., x _N ), 3D feature points (X ₀ , X ₁ , X ₂ , ..., X _N ) and matching relationships therebetween, where N is an integer greater than 0.

일부 실시예에서, 제2 전자 기기는 상기 k개의 제1 포지셔닝 결과를 제1 전자 기기에 송신하여, 제1 전자 기기로 하여금 상기 k번째 제1 포지셔닝 결과에 따라 포지셔닝 결과 수정을 수행하도록 할 수 있다.In some embodiments, the second electronic device may transmit the k-number of first positioning results to the first electronic device so that the first electronic device performs positioning result correction according to the k-th first positioning result. .

본 발명의 실시예에 따르면, 포지셔닝 요청 중의 환경 이미지에 따라 시각 포지셔닝을 수행하여, 클라우드 포지셔닝 결과를 획득하고 제1 전자 기기에 송신하여, 제1 전자 기기가 포지셔닝 결과 수정을 수행함으로써, 포지셔닝의 정밀도와 안정성을 향상시킬 수 있다.According to an embodiment of the present invention, visual positioning is performed according to an environment image in a positioning request, a cloud positioning result is obtained and sent to the first electronic device, and the first electronic device corrects the positioning result, so as to achieve positioning precision. and stability can be improved.

일부 실시예에서, 상기 방법은,In some embodiments, the method

제1 전자 기기로부터 제2 포지셔닝 요청이 수신될 경우, 상기 포인트 클라우드 맵 및 상기 제2 포지셔닝 요청 중의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 제6 포지셔닝 결과를 획득하는 단계;When a second positioning request is received from the first electronic device, visual positioning is performed on the first electronic device according to the point cloud map and the environment image in the second positioning request, so that the second positioning request of the first electronic device is performed. 6 obtaining positioning results;

상기 제6 포지셔닝 결과에 따라, 상기 포인트 클라우드 맵에서 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정해내는 단계; 및determining a point cloud sub-map of a geographic area corresponding to the first electronic device from the point cloud map according to a result of the sixth positioning; and

상기 제1 전자 기기에 영역 맵을 송신하여, 상기 제1 전자 기기로 하여금 상기 영역 맵에 따라 포지셔닝 및 전시를 수행하도록 하는 단계를 더 포함하고, 상기 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함한다.The method further includes sending a region map to the first electronic device so that the first electronic device performs positioning and display according to the region map, wherein the region map corresponds to the first electronic device. Contains the point cloud sub-map of the area.

예를 들면, 제1 전자 기기는 제2 포지셔닝 요청을 송신하여, 클라우드의 고정밀도 서브 맵을 요청할 수 있다. 제2 전자 기기는 제2 포지셔닝 요청이 수신된 후, 제2 포지셔닝 요청 중의 환경 이미지의 특징 정보를 추출하고, 상기 특징 정보를 포인트 클라우드 맵에 매칭하여, 서로 매칭되는 시각 포지셔닝 결과(제6 포지셔닝 결과라고 할 수 있음)를 결정할 수 있으며, 상기 제6 포지셔닝 결과는 제1 전자 기기의 포즈 정보 및 특징점 매칭 정보 중 적어도 하나를 포함한다.For example, the first electronic device may request a high-precision sub-map of the cloud by transmitting a second positioning request. After the second positioning request is received, the second electronic device extracts feature information of the environment image in the second positioning request, matches the feature information to a point cloud map, and matches the visual positioning result (six positioning result). may be referred to as), and the sixth positioning result includes at least one of pose information and feature point matching information of the first electronic device.

일부 실시예에서, 제2 전자 기기는 제6 포지셔닝 결과에 따라, 포인트 클라우드 맵에서 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정해낼 수 있다. 상기 지리 영역은 제1 전자 기기의 위치 부근의 일정한 범위 내의 영역일 수 있고, 예를 들어, 제1 전자 기기의 위치와의 거리가 기설정 거리(예컨대, 5m) 내인 원형 영역이며, 본 발명의 실시예는 이에 대해 한정하지 않는다.In some embodiments, the second electronic device may determine a point cloud sub-map of a geographic area corresponding to the first electronic device from the point cloud map according to the sixth positioning result. The geographic area may be an area within a certain range around the location of the first electronic device, for example, a circular area within a predetermined distance (eg, 5 m) from the location of the first electronic device. The embodiment is not limited in this respect.

일부 실시예에서, 제2 전자 기기는 상기 지리 영역의 포인트 클라우드 서브 맵을 SLAM의 지도 포맷으로 패키징하여, 영역 맵을 생성하고 제1 전자 기기에 송신하여, 상기 제1 전자 기기로 하여금 상기 영역 맵에 따라 포지셔닝 및 전시를 수행하도록 할 수 있다.In some embodiments, the second electronic device packages the point cloud sub-map of the geographic area into a map format of SLAM, generates an area map, and sends it to the first electronic device, so that the first electronic device generates the area map. Positioning and display can be performed according to this.

이러한 방식을 통해, 포인트 클라우드 맵 및 제2 포지셔닝 요청 중의 환경 이미지에 따라, 시각 포지셔닝을 수행하여 포지셔닝 결과를 획득하고; 포지셔닝 결과에 따라, 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정하며; 영역 맵을 생성하고 송신하여, 제1 전자 기기로 하여금 클라우드의 고정밀도 서브 맵을 통해 로컬에서 매칭을 수행할 수 있도록 함으로써, 포지셔닝 정밀도 및 안정성을 향상시킬 수 있다.In this way, according to the point cloud map and the environment image in the second positioning request, visual positioning is performed to obtain a positioning result; According to the positioning result, a point cloud sub-map of the corresponding geographic area is determined; Positioning accuracy and stability may be improved by generating and transmitting an area map to enable the first electronic device to locally perform matching through a high-precision sub-map of the cloud.

일부 실시예에서, 상기 제6 포지셔닝 결과에 따라, 상기 포인트 클라우드 맵에서 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정해내는 단계는,In some embodiments, the step of determining a point cloud sub-map of a geographic area corresponding to the first electronic device from the point cloud map according to the sixth positioning result includes:

상기 제6 포지셔닝 결과 중의 포즈 정보, 상기 제1 전자 기기의 예측 이동 속도 및 기설정된 응답 시간에 따라, 상기 제1 전자 기기의 예측 위치를 결정하는 단계; 및determining a predicted position of the first electronic device according to pose information from the sixth positioning result, a predicted moving speed of the first electronic device, and a preset response time; and

상기 포인트 클라우드 맵에서 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정해내는 단계를 포함하고, 상기 지리 영역은 상기 제6 포지셔닝 결과가 위치한 제1 지리 영역 및 상기 예측 위치가 위치한 제2 지리 영역을 포함한다.and determining a point cloud sub-map of a geographic area corresponding to the first electronic device from the point cloud map, wherein the geographic area is a first geographic area where the sixth positioning result is located and the predicted location is located. Includes a second geographic area.

예를 들면, 일부 응용 시나리오(예컨대, AR 내비게이션 시나리오)에서, 사용자는 지속적으로 이동하는 상태일 수 있고, 제2 전자 기기가 제1 전자 기기의 위치 부근의 일정한 범위 내의 제1 영역 맵 정보를 반환할 경우, 사용자는 상기 범위를 이미 벗어났을 수 있고, 이는 제1 전자 기기가 상응한 위치 및 자세를 매칭할 수 없도록 하므로, 포지셔닝이 실패된다.For example, in some application scenarios (eg, AR navigation scenarios), the user may be in a state of continuous movement, and the second electronic device returns first area map information within a certain range around the location of the first electronic device. In this case, the user may already be out of the above range, which makes the first electronic device unable to match the corresponding position and posture, and thus positioning fails.

일부 실시예에서, 제2 전자 기기는 제1 전자 기기의 이동 속도 및 제1 영역 맵 정보를 반환하는데 필요한 응답 시간을 예측할 수 있다. 예를 들어, 제1 전자 기기가 지난 번에 포지셔닝 요청을 송신한 시각 및 지난 번의 포지셔닝 결과, 및 제1 전자 기기가 금번에 포지셔닝 요청을 송신한 시각 및 포지셔닝 결과에 따라, 제1 전자 기기의 예측 이동 속도를 결정해낼 수 있고; 또한 일정한 기간 내에 제1 전자 기기가 포지셔닝 요청을 송신한 다수의 시각 및 다수의 포지셔닝 결과에 따라, 제1 전자 기기의 예측 이동 속도를 결정해낼 수도 있다. 본 발명의 실시예는 예측 이동 속도의 구체적인 결정 방식에 대해 한정하지 않는다.In some embodiments, the second electronic device may predict a moving speed of the first electronic device and a response time required to return the first area map information. For example, prediction of the first electronic device according to the time when the first electronic device last sent a positioning request and the last positioning result, and the time when the first electronic device sent the current positioning request and the positioning result. can determine movement speed; In addition, the predicted movement speed of the first electronic device may be determined according to a plurality of times at which the first electronic device transmits a positioning request within a certain period of time and a plurality of positioning results. Embodiments of the present invention are not limited to a specific method of determining the predicted moving speed.

일부 실시예에서, 제2 전자 기기는 제1 전자 기기가 지난 번에 요청을 송신한 시각 및 및 제2 전자 기기가 지난 번에 영역 맵을 송신한 시각 사이의 시간 차이에 따라, 응답 시간을 결정해낼 수 있고; 또한 일정한 기간 내에 제1 전자 기기가 요청을 송신한 다수의 시각 및 제2 전자 기기가 영역 맵을 송신한 다수의 시각에 따라, 다수의 시간 차이를 결정하여, 응답 시간을 결정해낼 수도 있다. 본 발명의 실시예는 응답 시간의 구체적인 결정 방식에 대해 한정하지 않는다.In some embodiments, the second electronic device determines the response time according to a time difference between a time when the first electronic device last sent a request and a time when the second electronic device last sent an area map. can make it; In addition, a number of time differences may be determined according to multiple times at which the first electronic device sends requests and multiple times at which the second electronic device sends area maps within a certain period of time to determine the response time. The embodiments of the present invention are not limited to a specific manner of determining the response time.

일부 실시예에서, 제6 포지셔닝 결과 중의 위치 x, 제1 전자 기기의 예측 이동 속도 v 및 기설정된 응답 시간 t에 따라, 제1 전자 기기의 예측 위치 x'=vt+x를 결정할 수 있다. 여기서, t는 예를 들어 5 ~ 10s로 설정될 수 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다.In some embodiments, the predicted position x′=vt+x of the first electronic device may be determined according to the position x of the sixth positioning result, the predicted moving speed v of the first electronic device, and the preset response time t. Here, t may be set to 5 to 10 s, for example, and embodiments of the present invention are not limited thereto.

일부 실시예에서, 제1 전자 기기에 대응되는 지리 영역에 제6 포지셔닝 결과 중의 위치 부근의 일정한 범위 내의 제1 지리 영역, 및 예측 위치 부근의 일정한 범위 내의 제2 지리 영역이 포함되게 설정할 수 있다. 제2 전자 기기는 전체 영역의 포인트 클라우드 맵에서 상기 지리 영역의 포인트 클라우드 서브 맵을 결정해내고, SLAM의 지도 포맷으로 패키징하여, 영역 맵을 생성하고 제1 전자 기기에 송신할 수 있다.In some embodiments, the geographic area corresponding to the first electronic device may include a first geographic area within a certain range of the location of the sixth positioning result and a second geographic area within a certain range of the predicted location. The second electronic device may determine a point cloud sub-map of the geographic area from the point cloud map of the entire area, package it in a SLAM map format, generate an area map, and transmit the map to the first electronic device.

일부 실시예에서, 제2 전자 기기는 전체 영역의 전경 맵에서 상기 지리 영역의 전경 서브 맵을 결정해내고, 마찬가지로 SLAM의 지도 포맷으로 패키징하여, 영역 맵에 추가할 수도 있다. 본 발명의 실시예는 이에 대해 한정하지 않는다.In some embodiments, the second electronic device may determine a foreground sub-map of the geographic area from a foreground map of the entire area, package it in a SLAM map format, and add it to the area map. Embodiments of the present invention are not limited in this respect.

이러한 방식을 통해, 제1 전자 기기의 정확한 포지셔닝의 효율과 성공률을 향상시키고, 포지셔닝 효과를 더 향상시킬 수 있다.Through this method, the efficiency and success rate of accurate positioning of the first electronic device can be improved, and the positioning effect can be further improved.

도 3은 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 인터랙션 모식도이다. 도 3에 도시된 바와 같이, 사용자는 제1 전자 기기(31)를 휴대하거나 착용할 수 있고, 자신의 위치를 결정해야 할 경우, 제1 전자 기기(31)의 수집 부재(미도시)를 통해 위치한 환경의 환경 이미지를 수집하며, 무선 네트워크를 통해 제2 전자 기기(32)에 포지셔닝 요청을 송신할 수 있다.3 is an interaction schematic diagram of a positioning method provided by an embodiment of the present invention. As shown in FIG. 3 , the user may carry or wear the first electronic device 31, and when the user needs to determine his or her location, through a collection member (not shown) of the first electronic device 31. An environment image of the environment in which it is located may be collected, and a positioning request may be transmitted to the second electronic device 32 through a wireless network.

여기서, 제2 전자 기기(32)에는 제1 전자 기기가 위치한 지리 영역(예컨대, 백화점 내부 영역, 도시 영역 등)의 포인트 클라우드 맵이 저장되어 있다. 제2 전자 기기(32)는 시각 포지셔닝 요청이 수신될 경우, 환경 이미지 및 포인트 클라우드 맵에 따라 시각 포지셔닝을 수행하고, 포즈 정보(pose) 및 특징점 매칭 정보(match) 중 적어도 하나를 포함하는 포지셔닝 결과를 반환할 수 있다. 제1 전자 기기(31)는 반환된 포지셔닝 결과에 따라, 로컬의 포지셔닝 결과를 수정한다.Here, the second electronic device 32 stores a point cloud map of a geographic area (eg, a department store interior area, a city area, etc.) where the first electronic device is located. When the visual positioning request is received, the second electronic device 32 performs visual positioning according to the environment image and the point cloud map, and the positioning result includes at least one of pose information and feature point matching information. can return The first electronic device 31 modifies the local positioning result according to the returned positioning result.

도 4a는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 처리 과정의 모식도이다. 도 4a에 도시된 바와 같이, 제1 전자 기기가 포지셔닝을 수행해야 할 경우, 제2 전자 기기에 포지셔닝 요청을 송신하여, 포지셔닝을 구현할 수 있다. 제2 전자 기기에 의해 반환된 포지셔닝 결과가 수신될 경우, 포지셔닝 결과(포즈 정보(pose) 및 특징점 매칭 정보(match)를 포함함) 중 적어도 하나를 이용하여 누적 오차를 수정할 수 있다.4A is a schematic diagram of processing steps of a positioning method provided by an embodiment of the present invention. As shown in FIG. 4A , when the first electronic device needs to perform positioning, it may implement positioning by sending a positioning request to the second electronic device. When the positioning result returned by the second electronic device is received, the cumulative error may be corrected using at least one of the positioning result (including pose information and feature point matching information).

일부 실시예에서, 만약 수정이 실패되면, 포지셔닝 요청을 다시 송신하여 새로운 포지셔닝 결과를 획득하여 수정하거나, 또는 직접 다시 수정할 수 있다. 만약 수정이 성공되면, 누적 오차가 이미 작은 범위로 소거되었다고 간주할 수 있다. 이 경우, 포지셔닝 결과와 포인트 클라우드 서브 맵을 통해 투영 매칭을 수행할 수 있다.In some embodiments, if the modification fails, the positioning request may be sent again to obtain a new positioning result for modification, or the modification may be performed again directly. If the correction is successful, it can be considered that the cumulative error has already been canceled to a small extent. In this case, projection matching may be performed through the positioning result and the point cloud sub-map.

일부 실시예에서, 만약 매칭이 실패되면, 제2 전자 기기에 새로운 포지셔닝 결과를 요청하거나 새로운 고정밀도 서브 맵을 요청하여, 매칭을 수행하거나, 또는 매칭을 직접 다시 수행할 수 있다. 만약 매칭이 성공되면, 이미 정확한 포지셔닝을 획득하였다고 간주할 수 있고, 제1 전자 기기의 로컬의 SLAM 시스템은 위치 추적을 자동으로 구현하며, 실제 응용 시나리오에 따라 상응한 처리를 수행할 수 있으며, 예컨대 AR 내비게이팅을 수행한다. 이러한 방식을 통해, 매칭의 성공률 및 정확도를 향상시키고, 포지셔닝의 정밀도를 더 향상시킬 수 있다.In some embodiments, if matching fails, matching may be performed by requesting a new positioning result or a new high-precision sub-map from the second electronic device, or matching may be directly performed again. If matching is successful, it can be considered that accurate positioning has already been obtained, and the local SLAM system of the first electronic device automatically implements position tracking, and performs corresponding processing according to actual application scenarios, such as Perform AR navigation. Through this method, the success rate and accuracy of matching can be improved, and the precision of positioning can be further improved.

도 4b는 본 발명의 실시예에 의해 제공되는 포지셔닝 방법의 처리 과정의 모식도이다. 도 4b에 도시된 바와 같이, 제1 전자 기기가 포지셔닝을 수행해야 할 경우, 제2 전자 기기에 고정밀도의 포인트 클라우드 서브 맵을 요청하고, 제2 전자 기기에 의해 반환된 포지셔닝 결과 또는 로컬 포지셔닝 결과를 통해 포인트 클라우드 서브 맵과 투영 매칭을 수행할 수 있다. 만약 매칭이 성공되면, 이미 정확한 포지셔닝을 획득하였다고 간주할 수 있고, 제1 전자 기기의 로컬의 SLAM 시스템은 위치 추적을 자동으로 구현하며, 실제 응용 시나리오에 따라 상응한 처리를 수행할 수 있으며, 예컨대 AR 내비게이팅을 수행한다. 만약 매칭이 실패되면, 제2 전자 기기에 새로운 포인트 클라우드 서브 맵을 요청하여, 매칭을 수행하거나, 또는 매칭을 직접 다시 수행할 수 있다. 이러한 방식을 통해, 매칭의 성공률 및 정확도를 향상시키고, 포지셔닝의 정밀도를 더 향상시킬 수 있다.4B is a schematic diagram of processing steps of a positioning method provided by an embodiment of the present invention. As shown in FIG. 4B , when the first electronic device needs to perform positioning, it requests a high-precision point cloud sub-map from the second electronic device, and the positioning result returned by the second electronic device or the local positioning result Through, it is possible to perform projection matching with a point cloud submap. If matching is successful, it can be considered that accurate positioning has already been obtained, and the local SLAM system of the first electronic device automatically implements position tracking, and performs corresponding processing according to actual application scenarios, such as Perform AR navigation. If matching fails, matching may be performed by requesting a new point cloud sub-map from the second electronic device, or matching may be directly performed again. Through this method, the success rate and accuracy of matching can be improved, and the precision of positioning can be further improved.

본 발명의 실시예의 포지셔닝 방법에 따르면, 제2 전자 기기에 환경 이미지가 포함되는 포지셔닝 요청을 송신하고; 제2 전자 기기에 의해 반환된 클라우드 포지셔닝 결과 및 이전의 과거 포지셔닝 결과에 따라, 로컬의 포지셔닝 결과를 수정하며; 수정된 포지셔닝 결과에 따라 전시함으로써, SLAM 시스템의 누적 오차를 감소시키고, 포지셔닝의 정밀도와 안정성을 향상시킬 수 있다.According to the positioning method of an embodiment of the present invention, a positioning request including an environment image is sent to the second electronic device; modify the local positioning result according to the cloud positioning result returned by the second electronic device and the previous past positioning result; By displaying the corrected positioning results, the cumulative error of the SLAM system can be reduced, and the precision and stability of positioning can be improved.

수정 과정에서, 금번 포지셔닝의 클라우드 포즈 및 과거 포지셔닝의 포즈를 통해, 포즈 그래프를 셋업하여, 로컬 맵(Map)을 제약함으로써, 로컬 포즈의 수정을 구현할 수 있다. 또한 제2 전자 기기에 의해 반환된 클라우드의 특징점 매칭 정보를 통해, 국부 제약 조정(LBA)에서 재투영 오차 제약을 수행하여, 로컬 포즈의 수정을 구현할 수도 있다. 또한 양자를 결합한 방식을 사용하여, 로컬 포즈의 수정을 구현할 수도 있다. 이로써, SLAM 시스템 백엔드 맵(Map)의 누적 오차를 억제하고, VIO에서 Map로의 드리프트(Drift)를 수정하여, VIO의 궤적이 Map과 일치하도록 할 수 있다.In the process of correction, correction of the local pose may be implemented by setting up a pose graph through the cloud pose of the current positioning and the pose of the past positioning, and constraining the local map. In addition, local pose correction may be implemented by performing reprojection error constraint in the local constraint adjustment (LBA) through the feature point matching information of the cloud returned by the second electronic device. In addition, a method combining the two may be used to implement local pose correction. As a result, the accumulated error of the SLAM system backend map (Map) can be suppressed, and the drift from VIO to Map can be corrected so that the trajectory of VIO coincides with the Map.

본 발명의 실시예의 포지셔닝 방법에 따르면, 먼저, 클라우드의 포즈(Pose) 및 특징점 매칭 정보(Match)를 통해 누적 오차를 작은 범위로 소거하고, 다음, 포지셔닝 결과(Pose)와 포인트 클라우드 서브 맵을 통해 투영 매칭을 수행함으로써, 매칭의 성공률 및 정확도를 향상시키고, 포지셔닝의 정밀도를 더 향상시킬 수 있다.According to the positioning method of an embodiment of the present invention, first, the cumulative error is canceled to a small range through the pose (Pose) of the cloud and feature point matching information (Match), and then, through the positioning result (Pose) and the point cloud sub-map. By performing projection matching, the success rate and accuracy of matching can be improved, and the precision of positioning can be further improved.

본 발명의 실시예의 포지셔닝 방법에 따르면, 또한 현재 프레임이 이미 로드된 고정밀도 서브 맵에 대해 충분한 관측을 수행하였는지 여부, 또는 네트워크 상태가 수요를 만족하는지 여부 등 상황에 따라, 서브 맵을 요청할지 여부를 선택함으로써, 서브 맵을 요청하는 효율을 향상시키고, 내비게이션 등 응용 시나리오에서 서브 맵에 대한 시스템의 의존을 줄일 수 있다. 클라우드의 포즈(Pose) 및 특징점 매칭 정보(match)를 통해 누적 오차의 전략과 클라우드 고정밀도 서브 맵을 요청하는 전략을 결합하여, 강건한 고정밀도 맵이 밀결합된 SLAM 시스템을 구축하여, 포지셔닝의 정밀도와 안정성을 향상시킴으로써, SLAM 시스템으로 하여금 다양한 시나리오에서 모두 강건한 AR 효과를 유지할 수 있도록 한다.According to the positioning method of the embodiment of the present invention, whether or not to request a submap according to circumstances, such as whether the current frame has performed sufficient observations on already loaded high-precision submaps or whether the network state satisfies the demand. By selecting , it is possible to improve the efficiency of requesting submaps and reduce the system's dependence on submaps in application scenarios such as navigation. By combining the strategy of cumulative error through cloud pose and feature point matching information (match) and the strategy of requesting cloud high-precision sub-maps, a SLAM system in which robust high-precision maps are closely coupled is established, thereby improving positioning accuracy. By improving the AR and stability, it enables the SLAM system to maintain a robust AR effect in all scenarios.

본 발명의 실시예의 포지셔닝 방법에 따르면, 증강 현실(AR)의 다양한 응용 시나리오, 예를 들면, AR 클라우드, AR 내비게이션 등과 같은 시나리오, 및 위치의 서비스(Location Based Services, LBS)에 기반한 다양한 응용 시나리오에 응용되어, 포지셔닝, 전시 및 인터랙션의 효과를 향상시킬 수 있다. 특히, AR 내비게이션, AR 전시 등 응용 시나리오에서, 국부적 범위 내에서 AR 효과가 디스플레이될 때 발생되는 상대적인 오차를 줄이고, 약한 텍스처 시나리오에서 AR 효과의 지터, 윈더 등 현상을 감소시킬 수 있다.According to the positioning method of an embodiment of the present invention, various application scenarios of augmented reality (AR), for example, scenarios such as AR cloud, AR navigation, and the like, and various application scenarios based on location based services (LBS) By being applied, the effect of positioning, exhibition and interaction can be improved. In particular, in application scenarios such as AR navigation and AR exhibition, it is possible to reduce relative errors generated when AR effects are displayed within a local range, and to reduce phenomena such as jitter and winder of AR effects in weak texture scenarios.

원리 및 논리를 위반하지 않을 경우, 본 발명에서 언급된 상기 각 방법 실시예는 모두 서로 결합되어 결합된 실시예를 형성할 수 있다는 점을 이해할 수 있다. 본 기술분야의 통상의 기술자라면 구체적인 실시형태의 상기 방법에서, 각 단계의 구체적인 수행 순서가 그 기능 및 가능한 내적 논리에 의해 결정되어야 함을 이해할 수 있다.It can be understood that without violating the principle and logic, the above respective method embodiments mentioned in the present invention may be combined with each other to form a combined embodiment. A person of ordinary skill in the art can understand that in the above method in a specific embodiment, the specific execution sequence of each step should be determined by its function and possible internal logic.

또한, 본 발명의 실시예는 포지셔닝 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 컴퓨터 프로그램, 컴퓨터 프로그램 제품을 더 제공하고, 이들은 모두 본 발명의 실시예에 의해 제공되는 어느 하나의 포지셔닝 방법을 구현하기 위해 사용될 수 있으며, 상응한 기술적 해결수단 및 설명은 방법 부분의 상응한 기재를 참조하면 된다.In addition, embodiments of the present invention further provide a positioning device, an electronic device, a computer readable storage medium, a computer program, and a computer program product, all of which implement any one positioning method provided by an embodiment of the present invention. can be used for, and the corresponding technical solutions and descriptions refer to the corresponding descriptions in the method section.

도 5는 본 발명의 실시예에 의해 제공되는 포지셔닝 장치의 구성 구조 모식도이고, 도 5에 도시된 바와 같이, 제1 전자 기기에 응용되는 상기 장치는,5 is a structural schematic diagram of a positioning device provided by an embodiment of the present invention. As shown in FIG. 5, the device applied to the first electronic device includes:

제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하도록 구성되는 제1 요청 송신 부분(51) - 상기 k번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함되고, k는 1보다 큰 정수임 - ;A first request sending portion 51 configured to send a k-th first positioning request to a second electronic device, wherein the k-th first positioning request includes an environment image of a k-th frame of an environment in which the first electronic device is located. and k is an integer greater than 1 -;

상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과가 수신될 경우, 상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하도록 구성되는 결과 수정 부분(52) - 상기 k번째 제2 포지셔닝 결과는 상기 제1 전자 기기가 상기 제k 프레임의 환경 이미지에 대해 로컬 포지셔닝을 수행하여 획득됨 - ; 및When the k-th first positioning result transmitted by the second electronic device is received, the k-th second positioning result is modified according to the k-th first positioning result, and the k-th third positioning result of the first electronic device is received. a result modifying portion 52 configured to determine a positioning result, wherein the k-th second positioning result is obtained by the first electronic device performing local positioning on the environment image of the k-th frame; and

상기 k번째 제3 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하도록 구성되는 제1 전시 부분(53)을 포함한다.and a first display portion 53 configured to display a display interface of the first electronic device according to the k-th third positioning result.

일부 실시예에서, 상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보를 포함하고, 상기 k번째 제2 포지셔닝 결과는 k번째 제2 포즈 정보를 포함하며, 상기 k번째 제3 포지셔닝 결과는 k번째 제3 포즈 정보를 포함하고, 상기 결과 수정 부분은, 상기 k번째 제1 포즈 정보 및 상기 k번째 제2 포즈 정보에 따라, k번째 포지셔닝의 현재 포즈 편차를 결정하도록 구성되는 현재 편차 결정 서브 부분; k번의 포지셔닝의 k개의 제2 포즈 정보 및 k개의 제3 포즈 정보에 따라, k번의 포지셔닝의 전체 포즈 편차를 결정하도록 구성되는 전체 편차 결정 서브 부분; 및 상기 k번째 포지셔닝의 현재 포즈 편차 및 상기 k번의 포지셔닝의 전체 포즈 편차에 따라, 상기 k번째 제2 포지셔닝 결과에 대해 포즈 수정을 수행하고, k번째 제3 포즈 정보를 결정하도록 구성되는 제1 수정 서브 부분을 포함한다.In some embodiments, the k-th first positioning result includes k-th first pose information, the k-th second positioning result includes k-th second pose information, and the k-th third positioning result includes k-th second positioning result. the current deviation determination sub-portion, wherein the result correction part is configured to determine the current pose deviation of the k-th positioning according to the k-th first pose information and the k-th second pose information; ; a total deviation determining subsection, configured to determine, according to the k second pose information and the k third pose information of the k positioning, a total pose deviation of the k positioning; and a first modification configured to perform pose modification on the result of the k-th second positioning and determine k-th third pose information according to the current pose deviation of the k-th positioning and the total pose deviation of the k-th positioning. contains sub-parts.

일부 실시예에서, 상기 전체 편차 결정 서브 부분은, i번째 제2 포즈 정보와 j번째 제2 포즈 정보 사이의 제1 포즈 변화 정보를 결정하며, i, j는 정수이고, 1≤i<j≤k이며; i번째 제3 포즈 정보와 j번째 제3 포즈 정보 사이의 제2 포즈 변화 정보를 결정하고; 상기 제1 포즈 변화 정보와 상기 제2 포즈 변화 정보에 따라, 제i 프레임의 환경 이미지에서 제j 프레임의 환경 이미지까지의 포즈 편차를 결정하며; 다수의 포즈 편차에 따라, 상기 k번의 포지셔닝의 전체 포즈 편차를 결정하도록 구성된다.In some embodiments, the total deviation determining subpart determines first pose change information between the i-th second pose information and the j-th second pose information, i and j are integers, and 1≤i<j≤ is k; determine second pose change information between the i-th third pose information and the j-th third pose information; determine a pose deviation from the environment image of the i-th frame to the environment image of the j-th frame according to the first pose change information and the second pose change information; and determine, according to the number of pose deviations, a total pose deviation of the k number of positioning.

일부 실시예에서, 상기 k번째 제1 포지셔닝 결과는 제k 프레임의 특징점 매칭 정보를 더 포함하고, 상기 제k 프레임의 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 제2 전자 기기의 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하며, 상기 결과 수정 부분은, 상기 제k 프레임의 특징점 매칭 정보에 따라, k번째 제3 포즈 정보를 수정하고, 수정된 k번째 제3 포지셔닝 결과를 결정하도록 구성되는 제2 수정 서브 부분을 더 포함한다.In some embodiments, the k-th first positioning result further includes feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and the second electronic device. includes matching information between 3D feature points in the point cloud map of , and the result modification part modifies the k-th third pose information according to the feature point matching information of the k-th frame, and performs the modified k-th third positioning and a second modifying sub-portion configured to determine a result.

일부 실시예에서, 상기 k번째 제1 포지셔닝 결과는 제k 프레임의 특징점 매칭 정보를 포함하고, 상기 제k 프레임의 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 제2 전자 기기의 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하며, 상기 결과 수정 부분은, 제k 프레임의 특징점 매칭 정보에 따라, 상기 k번째 제2 포지셔닝 결과를 수정하고, 수정된 k번째 제3 포지셔닝 결과를 결정하도록 구성되는 제3 수정 서브 부분을 포함한다.In some embodiments, the k-th first positioning result includes feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and the second electronic device. It includes matching information between 3D feature points in the point cloud map, and the result modification part modifies the k-th second positioning result according to the feature point matching information of the k-th frame, and the modified k-th third positioning result. and a third modification sub-portion configured to determine .

일부 실시예에서, 상기 장치는, 제2 전자 기기에 a번째 제1 포지셔닝 요청을 송신하도록 구성되는 제2 요청 송신 부분 - 상기 a번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제a 프레임의 환경 이미지가 포함되며, a는 정수이고, a≥1임 - ; 및 상기 제2 전자 기기에 의해 송신된 a번째 제1 포지셔닝 결과가 수신될 경우, 상기 a번째 제1 포지셔닝 결과에 따라, 상기 제1 전자 기기 중의 동시적 위치 결정 및 지도 작성(SLAM) 시스템을 초기화하여, 상기 제1 전자 기기의 초기 포지셔닝 결과를 결정하도록 구성되는 초기화 부분을 더 포함하고, 상기 a번째 제1 포지셔닝 결과는 a번째 제1 포즈 정보 및 제a 프레임의 특징점 매칭 정보 중 적어도 하나를 포함한다.In some embodiments, the device includes a second request sending part configured to send an a-th first positioning request to a second electronic device, wherein the a-th first positioning request includes a second request of an environment in which the first electronic device is located. The environment image of the frame is included, a is an integer, and a≥1 - ; and when the a-th first positioning result transmitted by the second electronic device is received, according to the a-th first positioning result, a simultaneous positioning and mapping (SLAM) system in the first electronic device is initialized. and an initialization part configured to determine an initial positioning result of the first electronic device, wherein the a-th first positioning result includes at least one of a-th first pose information and feature point matching information of an a-th frame. do.

일부 실시예에서, 상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과는 제1 영역 맵을 더 포함하고, 상기 제1 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함하며, 상기 장치는, 상기 k번째 제3 포지셔닝 결과와 상기 제1 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 상기 제1 전자 기기의 제4 포지셔닝 결과를 결정하도록 구성되는 제1 매칭 포지셔닝 부분; 및 상기 제4 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하도록 구성되는 제2 전시 부분을 더 포함한다.In some embodiments, the k-th first positioning result sent by the second electronic device further includes a first area map, wherein the first area map is a point cloud sub-point cloud of a geographic area corresponding to the first electronic device. a map, wherein the device is configured to perform projection matching on the k-th third positioning result and a point cloud sub-map in the first area map to determine a fourth positioning result of the first electronic device. a first matching positioning part; and a second display part configured to display a display interface of the first electronic device according to the fourth positioning result.

일부 실시예에서, 상기 장치는, 상기 제1 전자 기기의 k번째 제2 포지셔닝 결과 및 상기 제1 전자 기기의 로컬의 제2 영역 맵에 따라, 상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치하는지 여부를 판정하도록 구성되는 영역 판정 부분을 더 포함하고, 상기 제2 영역 맵은 상기 제2 전자 기기에 의해 이미 송신된 영역 맵이며; 상기 제1 요청 송신 부분은, 상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치할 경우, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하도록 구성되는 제1 송신 서브 부분을 포함한다.In some embodiments, the device determines that the first electronic device is located within the second area map according to a k-th second positioning result of the first electronic device and a local second area map of the first electronic device. and an area judging section, configured to determine whether the second area map is an area map already sent by the second electronic device; The first request sending part includes a first sending sub-part, configured to send a k-th first positioning request to a second electronic device when the first electronic device is located in the second area map.

일부 실시예에서, 상기 장치는, 상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치하지 않을 경우, 상기 제2 전자 기기에 제2 포지셔닝 요청을 송신하도록 구성되는 제3 요청 송신 부분 - 상기 제2 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함됨 - ; 상기 제2 전자 기기에 의해 송신된 제3 영역 맵이 수신될 경우, 현재의 제2 포지셔닝 결과와 상기 제3 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 상기 제1 전자 기기의 제5 포지셔닝 결과를 결정하도록 구성되는 제2 매칭 포지셔닝 부분 - 상기 제3 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함함 - ; 및 상기 제5 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하도록 구성되는 제3 전시 부분을 더 포함한다.In some embodiments, the device comprises a third request sending part, configured to send a second positioning request to the second electronic device if the first electronic device is not located within the second area map - the second The positioning request includes the environment image of the kth frame of the environment in which the first electronic device is located -; When the third area map transmitted by the second electronic device is received, projection matching is performed on a current second positioning result and a point cloud sub-map in the third area map, 5 a second matching positioning part configured to determine a positioning result, wherein the third area map includes a point cloud sub-map of a geographic area corresponding to the first electronic device; and a third display portion configured to display a display interface of the first electronic device according to a result of the fifth positioning.

일부 실시예에서, 상기 장치는, 상기 제1 전자 기기의 네트워크 상태를 획득하도록 구성되는 네트워크 상태 획득 부분을 더 포함하고, 상기 네트워크 상태는 네트워크 신호 세기 및 정보 전송 속도 중 적어도 하나를 포함하며; 상기 제1 요청 송신 부분은, 상기 네트워크 상태가 기설정된 영역 맵 획득 조건을 만족하지 않을 경우, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하도록 구성되는 제2 송신 서브 부분을 포함하고, 상기 영역 맵 획득 조건은, 상기 네트워크 신호 세기가 신호 세기 임계값보다 크거나 같은 것; 및 상기 정보 전송 속도가 속도 임계값보다 크거나 같은 것 중 적어도 하나를 포함한다.In some embodiments, the device further includes a network state obtaining portion, configured to acquire a network state of the first electronic device, wherein the network state includes at least one of network signal strength and information transmission rate; The first request sending part includes a second sending sub part, configured to send a k-th first positioning request to a second electronic device when the network state does not satisfy a preset area map obtaining condition; Area map obtaining condition is that the network signal strength is greater than or equal to the signal strength threshold; and the information transfer rate is greater than or equal to a rate threshold.

도 6은 본 발명의 실시예에 의해 제공되는 포지셔닝 장치의 구성 구조 모식도이고, 도 6에 도시되는 바와 같이, 제2 전자 기기에 응용되는 상기 장치는,6 is a structural schematic diagram of a positioning device provided by an embodiment of the present invention. As shown in FIG. 6, the device applied to a second electronic device includes:

제1 전자 기기로부터 k번째 제1 포지셔닝 요청이 수신될 경우, 기설정된 포인트 클라우드 맵 및 상기 k번째 제1 포지셔닝 요청 중의 제k 프레임의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 k번째 제1 포지셔닝 결과를 획득하도록 구성되는 제1 포지셔닝 부분(61); 및When the k-th first positioning request is received from the first electronic device, visual positioning is performed on the first electronic device according to a preset point cloud map and an environment image of the k-th frame of the k-th first positioning request. a first positioning part 61, configured to obtain a k-th first positioning result of the first electronic device; and

상기 제1 전자 기기에 상기 k번째 제1 포지셔닝 결과를 송신하여, 상기 제1 전자 기기로 하여금 상기 k번째 제1 포지셔닝 결과에 따라 포지셔닝 결과 수정을 수행하게 하도록 구성되는 결과 송신 부분(62)을 포함하고,and a result transmitting portion 62, configured to send the k-th first positioning result to the first electronic device, and cause the first electronic device to perform positioning result modification according to the k-th first positioning result. do,

상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보 및 제k 프레임의 특징점 매칭 정보 중 적어도 하나를 포함하며, 상기 제k 프레임의 특징점 매칭 정보는 상기 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함한다.The k-th first positioning result includes at least one of k-th first pose information and feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and and matching information between 3D feature points in the point cloud map.

일부 실시예에서, 상기 장치는, 제1 전자 기기로부터 제2 포지셔닝 요청이 수신될 경우, 상기 포인트 클라우드 맵 및 상기 제2 포지셔닝 요청 중의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 제6 포지셔닝 결과를 획득하도록 구성되는 제2 포지셔닝 부분; 상기 제6 포지셔닝 결과에 따라, 상기 포인트 클라우드 맵에서 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정해내도록 구성되는 서브 맵 결정 부분; 및 상기 제1 전자 기기에 영역 맵을 송신하여, 상기 제1 전자 기기로 하여금 상기 영역 맵에 따라 포지셔닝 및 전시를 수행하게 하도록 구성되는 영역 맵 송신 부분을 더 포함하고, 상기 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함한다.In some embodiments, when receiving a second positioning request from the first electronic device, the device performs visual positioning on the first electronic device according to the point cloud map and the environment image in the second positioning request. a second positioning unit, configured to obtain a sixth positioning result of the first electronic device by doing so; a sub-map determination unit configured to determine a point cloud sub-map of a geographic area corresponding to the first electronic device from the point cloud map according to the sixth positioning result; and an area map sending part configured to send an area map to the first electronic device, so that the first electronic device performs positioning and display according to the area map, wherein the area map includes the first electronic device. and a point cloud sub-map of the geographic area corresponding to the electronic device.

일부 실시예에서, 본 발명의 실시예에 의해 제공되는 장치에 구비된 기능 또는 포함된 부분은 상기 방법 실시예에서 설명된 방법을 수행하도록 구성될 수 있고, 그 구체적인 구현은 상기 방법 실시예의 설명을 참조할 수 있다.In some embodiments, functions or parts included in devices provided by the embodiments of the present invention may be configured to perform the methods described in the method embodiments, and specific implementations refer to the descriptions of the method embodiments. can refer

본 발명의 실시예 및 다른 실시예에서, “일부”는 일부 회로, 일부 프로세서, 일부 프로그램 또는 소프트웨어 등일 수 있으며, 물론 유닛일 수도 있고, 모듈이거나 비모듈화된 것일 수도 있다.In the embodiment of the present invention and other embodiments, “part” may be part circuit, part processor, part program or software, etc., and of course may be unit, module or non-modular.

본 발명의 실시예는 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 상기 방법이 구현된다. 컴퓨터 판독 가능 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체이거나, 휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.Embodiments of the present invention further provide a computer readable storage medium in which computer program instructions are stored, and when the computer program instructions are executed by a processor, the method is implemented. The computer readable storage medium may be a non-volatile computer readable storage medium or a volatile computer readable storage medium.

본 발명의 실시예는 프로세서; 및 프로세서에 의해 실행 가능한 명령을 저장하도록 구성되는 메모리를 포함하는 전자 기기를 더 제공하고; 상기 프로세서는 상기 메모리에 저장된 실행 가능 명령을 호출하여, 상기 방법을 수행하도록 구성된다.An embodiment of the present invention is a processor; and a memory configured to store instructions executable by the processor; The processor is configured to invoke executable instructions stored in the memory to perform the method.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 더 제공하고, 컴퓨터 판독 가능 코드가 기기에서 실행될 경우, 기기의 프로세서는 상기 어느 하나의 실시예에 의해 제공되는 포지셔닝 방법을 구현하기 위한 명령을 실행한다.An embodiment of the present invention further provides a computer program including computer readable code, and when the computer readable code is executed in a device, a processor of the device implements a positioning method provided by any one of the above embodiments. run the command

본 발명의 실시예는 컴퓨터 판독 가능 명령을 저장하기 위한 컴퓨터 프로그램 제품을 더 제공하고, 명령이 실행될 경우, 컴퓨터로 하여금 상기 어느 하나의 실시예에 의해 제공되는 포지셔닝 방법의 조작을 수행하도록 한다.Embodiments of the present invention further provide a computer program product for storing computer readable instructions, and when the instructions are executed, cause a computer to perform operations of the positioning method provided by any one of the above embodiments.

전자 기기는 단말기, 서버 또는 다른 형태의 기기로 제공될 수 있다.Electronic devices may be provided as terminals, servers, or other types of devices.

도 7은 본 발명의 실시예에 의해 제공되는 전자 기기(800)의 구성 구조 모식도이다. 예를 들어, 전자 기기(800)는 휴대전화, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대 정보 단말기 등 단말기일 수 있다.7 is a structural schematic diagram of an electronic device 800 provided by an embodiment of the present invention. For example, the electronic device 800 may be a mobile phone, a computer, a digital broadcasting terminal, a message sending/receiving device, a game console, a tablet device, a medical device, a fitness device, a personal digital assistant, and the like.

도 7을 참조하면, 전자 기기(800)는 프로세싱 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(Input/Output, I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 다수의 컴포넌트를 포함할 수 있다.Referring to FIG. 7 , an electronic device 800 includes a processing component 802, a memory 804, a power component 806, a multimedia component 808, an audio component 810, an input/output (Input/Output, I /O) interface 812 , sensor component 814 , and communication component 816 .

프로세싱 컴포넌트(802)는 일반적으로 디스플레이, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체 동작을 제어한다. 프로세싱 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하도록, 하나 또는 다수의 프로세서(820)를 포함하여 명령을 실행할 수 있다. 또한, 프로세싱 컴포넌트(802)는, 프로세싱 컴포넌트(802)와 다른 컴포넌트 사이의 인터랙션을 수행하기 편리하도록, 하나 또는 다수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(802)는, 멀티미디어 컴포넌트(808)와 프로세싱 컴포넌트(802) 사이의 인터랙션을 수행하기 편리하도록, 멀티미디어 모듈을 포함할 수 있다.Processing component 802 generally controls overall operation of electronic device 800, such as operations related to display, telephone calls, data communication, camera operation, and recording operations. Processing component 802 may include one or more processors 820 to execute instructions to complete all or some steps of the method. Further, the processing component 802 may include one or multiple modules to facilitate interaction between the processing component 802 and other components. For example, processing component 802 can include a multimedia module to facilitate interaction between multimedia component 808 and processing component 802 .

메모리(804)는 다양한 유형의 데이터를 저장하여 전자 기기(800)에서의 동작을 지원하도록 구성된다. 이러한 데이터의 예시로, 전자 기기(800)에서 동작하는 임의의 응용 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는, 정적 랜덤 액세스 메모리(Static Random-Access Memory, SRAM), 전기적 소거 가능 프로그램 가능 판독 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능 프로그램 가능 판독 전용 메모리(Electrical Programmable Read Only Memory, EPROM), 프로그램 가능 판독 전용 메모리(Programmable read-only memory, PROM), 판독 전용 메모리(Read-Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크와 같은 임의의 유형의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합으로 구현될 수 있다.The memory 804 is configured to support operations in the electronic device 800 by storing various types of data. Examples of such data include commands, contact data, phone book data, messages, pictures, videos, and the like of any application or method operating on the electronic device 800 . The memory 804 includes static random-access memory (SRAM), electrically erasable programmable read only memory (EEPROM), and erasable programmable read-only memory (Electrical Programmable Read Only Memory). Any type of memory, such as EPROM (programmable read-only memory), programmable read-only memory (PROM), read-only memory (ROM), magnetic memory, flash memory, magnetic disk, or optical disk. It may be implemented as a volatile or non-volatile storage device or a combination thereof.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 다수의 전원, 및 전자 기기(800)에 대한 전력 생성, 관리, 및 할당과 관련되는 다른 컴포넌트를 포함할 수 있다.Power component 806 provides power to various components of electronic device 800 . Power component 806 may include a power management system, one or more power sources, and other components related to power generation, management, and allocation for electronic device 800 .

멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(Liquid Crystal Display, LCD) 및 터치 패드(Touch panel, TP)를 포함할 수 있다. 만약 스크린이 터치 패드를 포함하면, 사용자로부터 입력 신호를 수신하도록, 스크린은 터치 스크린으로 구현될 수 있다. 터치 패드는 터치, 슬라이드 및 터치 패드에서의 제스처를 감지하도록, 하나 또는 다수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라, 상기 터치 또는 슬라이드 동작에 관련된 지속 시간 및 압력을 감지할 수도 있다. 일부 실시예에서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드일 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라와 후방 카메라는 하나의 고정된 광학 렌즈 시스템일 수 있거나 초점 거리 및 광학 줌 기능을 가질 수 있다.The multimedia component 808 includes a screen that provides an output interface between the electronic device 800 and the user. In some embodiments, the screen may include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch pad, the screen may be implemented as a touch screen to receive an input signal from a user. The touchpad includes one or more touch sensors to detect touches, slides and gestures on the touchpad. The touch sensor not only detects a boundary of a touch or slide motion, but also may detect a duration and pressure related to the touch or slide motion. In some embodiments, multimedia component 808 includes at least one of a front camera and a rear camera. When the electronic device 800 is in an operation mode such as a shooting mode or a video mode, at least one of the front camera and the rear camera may receive external multimedia data. Each front and rear camera may be a fixed optical lens system or may have a focal length and optical zoom capability.

오디오 컴포넌트(810)는 오디오 신호에 대해 출력 및 입력 중 적어도 하나를 수행하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 전자 기기(800)가 호출 모드, 기록 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크는 외부 오디오 신호를 수신하도록 구성된다. 일부 실시예에서, 수신된 오디오 신호는 메모리(804)에 저장되거나 통신 컴포넌트(816)를 통해 송신될 수 있다. 일부 실시예에서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.Audio component 810 is configured to perform at least one of outputting and inputting an audio signal. For example, the audio component 810 includes a microphone (MIC), and when the electronic device 800 is in an operating mode such as a calling mode, a recording mode, and a voice recognition mode, the microphone is configured to receive an external audio signal. It consists of In some embodiments, the received audio signal may be stored in memory 804 or transmitted via communication component 816 . In some embodiments, audio component 810 further includes one speaker for outputting an audio signal.

I/O 인터페이스(812)는 프로세싱 컴포넌트(802)와 주변 장치 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 주변 장치 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.I/O interface 812 provides an interface between processing component 802 and a peripheral interface module, which may be a keyboard, click wheel, button, or the like. Such buttons may include, but are not limited to, a home button, a volume button, a start button, and a lock button.

센서 컴포넌트(814)는 다양한 양태의 상태 평가를 전자 기기(800)에 제공하기 위한 하나 또는 다수의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 디스플레이 장치 및 키패드이고, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)의 하나의 컴포넌트의 위치 변화, 사용자와 전자 기기(800) 사이의 접촉 여부, 전자 기기(800) 방향 또는 가속/감속, 및 전자 기기(800)의 온도 변화를 검출할 수도 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없을 때 주변 물체의 존재를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 이미징 응용에서 사용하기 위한 상보성 금속 산화물 반도체(Complementary Metal-Oxide-Semiconductor, CMOS) 또는 전하 결합 장치(Charge Coupled Device, CCD) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.Sensor component 814 includes one or more sensors to provide various aspects of condition assessment to electronic device 800 . For example, the sensor component 814 can detect the on/off state of the electronic device 800 and the relative positions of components, such as a display device and a keypad of the electronic device 800; The sensor component 814 includes a change in the position of the electronic device 800 or one component of the electronic device 800, whether there is contact between the user and the electronic device 800, the direction or acceleration/deceleration of the electronic device 800, and the electronic device 800. A change in temperature of the device 800 may be detected. Sensor component 814 can include a proximity sensor configured to detect the presence of a nearby object in the absence of any physical contact. Sensor component 814 may further include an optical sensor, such as a Complementary Metal-Oxide-Semiconductor (CMOS) or Charge Coupled Device (CCD) image sensor for use in imaging applications. In some embodiments, the sensor component 814 may further include an accelerometer sensor, a gyro sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식의 통신이 용이하도록 구성된다. 전자 기기(800)는 무선 네트워크(WiFi), 차세대 이동 통신 기술(The 2nd Generation, 2G) 또는 3세대 이동 통신 기술(The 3rd Generation, 3G) 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 접속할 수 있다. 일 예시적인 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적인 실시예에서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하도록 근거리 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별(Radio Frequency Identification, RFID) 기술, 적외선 통신 데이터 협회(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wide Band, UWB) 기술, 블루투스(Bluetooth, BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.The communication component 816 is configured to facilitate wired or wireless communication between the electronic device 800 and another device. The electronic device 800 may access a wireless network based on a communication standard such as a wireless network (WiFi), a next generation mobile communication technology (The 2nd Generation, 2G) or a 3rd Generation mobile communication technology (The 3rd Generation, 3G), or a combination thereof. can In one exemplary embodiment, the communication component 816 receives a broadcast signal or broadcast-related information from an external broadcast management system over a broadcast channel. In one exemplary embodiment, the communications component 816 further includes a Near Field Communication (NFC) module to facilitate short-range communications. For example, the NFC module may include Radio Frequency Identification (RFID) technology, Infrared Data Association (IrDA) technology, Ultra Wide Band (UWB) technology, and Bluetooth (BT) technology. and other technologies.

예시적인 실시예에서, 전자 기기(800)는 하나 또는 다수의 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 기기(Digital Signal Processing Device, DSPD), 프로그램 가능 논리 소자(Programmable Logic Device, PLD), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 구현되어, 상기 방법을 수행할 수 있다.In an exemplary embodiment, the electronic device 800 includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices, DSPD), Programmable Logic Device (PLD), Field Programmable Gate Array (FPGA), controller, microcontroller, microprocessor or other electronic device to perform the method. can

예시적인 실시예에서, 상기 방법을 완료하도록 전자 기기(800)의 프로세서(820)에 의해 실행 가능한 컴퓨터 프로그램 명령을 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공한다.In an exemplary embodiment, there is further provided a non-volatile computer readable storage medium such as memory 804 containing computer program instructions executable by processor 820 of electronic device 800 to complete the method.

도 8은 본 발명의 실시예에 의해 제공되는 전자 기기(1900)의 구성 구조 모식도이다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 8을 참조하면, 전자 기기(1900)는 프로세싱 컴포넌트(1922)를 포함하고, 일부 실시예에서 이는 또한 하나 또는 다수의 프로세서, 및 응용 프로그램과 같이, 프로세싱 컴포넌트(1922)에 의해 실행 가능한 명령을 저장하기 위한, 메모리(1932)를 대표로 하는 메모리 리소스를 포함한다. 메모리(1932)에 저장된 응용 프로그램은 한 그룹의 명령에 대응하는 하나 또는 하나 이상의 모듈을 포함할 수 있다. 이 외에, 프로세싱 컴포넌트(1922)는 명령을 실행하여, 상기 방법을 수행하도록 구성된다.8 is a structural schematic diagram of an electronic device 1900 provided by an embodiment of the present invention. For example, the electronic device 1900 may be provided as one server. Referring to FIG. 8 , electronic device 1900 includes processing component 1922, which in some embodiments also includes one or more processors and instructions executable by processing component 1922, such as an application program. It includes a memory resource, represented by the memory 1932, for storage. An application program stored in memory 1932 may include one or more than one module corresponding to a group of instructions. In addition, the processing component 1922 is configured to execute instructions to perform the method.

전자 기기(1900)는 전자 기기(1900)의 전원 관리를 실행하도록 구성되는 하나의 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성되는 하나의 유선 또는 무선 네트워크 인터페이스(1950), 및 입출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 메모리(1932)에 저장된 운영 체제, 예를 들면, 마이크로소프트 서버 운영 체제(Windows Server^TM), 애플 회사에서 출시한 그래픽 기반 사용자 인터페이스 운영 체제(Mac OS X^TM), 멀티 유저 멀티 프로세스의 컴퓨터 운영 체제(Unix^TM), 무료 및 오픈소스 코드 Unix 계열 운영 체제(Linux^TM), 오픈소스 코드 Unix 계열 운영체제(FreeBSD^TM) 등과 같은 것을 작동시킬 수 있다.The electronic device 1900 includes one power component 1926 configured to perform power management of the electronic device 1900, one wired or wireless network interface 1950 configured to connect the electronic device 1900 to a network, and an input/output (I/O) interface 1958. The electronic device 1900 includes an operating system stored in the memory 1932, for example, a Microsoft server operating system (Windows Server ^TM ), a graphical user interface operating system (Mac OS X ^TM ) released by Apple, and a multi-user operating system. It can operate things like multi-process computer operating systems (Unix ^TM ), free and open source code Unix-like operating systems (Linux ^TM ), and open-source code Unix-like operating systems (FreeBSD ^TM ).

일부 실시예에서, 상기 방법을 완료하도록 전자 기기(1900)의 프로세싱 컴포넌트(1922)에 의해 실행 가능한 컴퓨터 프로그램 명령을 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공한다.In some embodiments, a non-volatile computer readable storage medium such as memory 1932 containing computer program instructions executable by processing component 1922 of electronic device 1900 to complete the method is provided.

본 발명의 실시예는 시스템, 방법, 컴퓨터 판독 가능 저장 매체, 컴퓨터 프로그램 제품, 컴퓨터 프로그램 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은, 프로세서로 하여금 본 발명의 상기 어느 하나의 실시예에 의해 제공되는 포지셔닝 방법을 구현하도록 하는 컴퓨터 판독 가능 프로그램 명령이 탑재된 컴퓨터 판독 가능 저장 매체를 포함할 수 있다.An embodiment of the present invention may be at least one of a system, a method, a computer readable storage medium, a computer program product, and a computer program. The computer program product may include a computer readable storage medium having computer readable program instructions for causing a processor to implement the positioning method provided by any one embodiment of the present invention.

컴퓨터 판독 가능 저장 매체는 명령 실행 기기에 의해 사용되는 명령을 유지하고 저장할 수 있는 유형의 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 이들의 임의의 적합한 조합일 수 있다(그러나 이에 한정되지 않음). 컴퓨터 판독 가능 저장 매체의 더욱 구체적인 예(비 완전 리스트)로는, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 콤팩트 디스크 판독 전용 메모리(Compact Disc Read-Only Memory, CD-ROM), 디지털 다기능 디스크(Digital Video Disc, DVD), 메모리 스틱, 플로피 디스크, 기계적 인코딩 기기, 명령이 저장된 펀치 카드 또는 요홈 내 돌기 구조, 및 이들의 임의의 적합한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는 무선 전기파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광 펄스), 또는 전기선을 통해 전송되는 전기 신호와 같은 일시적 신호 자체로 해석되지 않는다.A computer-readable storage medium may be a tangible device capable of holding and storing instructions used by an instruction execution device. A computer readable storage medium may be (but is not limited to) an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination thereof. More specific examples (non-exhaustive list) of computer-readable storage media include portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM). or flash memory), static random access memory (SRAM), compact disc read-only memory (CD-ROM), digital versatile disc (Digital Video Disc, DVD), memory stick, floppy disk, mechanical encoding devices, punch cards with stored instructions or protrusion structures in grooves, and any suitable combination thereof. As used herein, computer readable storage media are radio electrical waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other transmission media (e.g., light pulses through fiber optic cables), or electrical signals transmitted through electrical wires. It is not interpreted as a temporary signal itself.

여기서 설명되는 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 저장 매체로부터 각 컴퓨팅/처리 기기에 다운로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 인터넷과 같은 네트워크를 통해 외부 컴퓨터 또는 외부 저장 기기에 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 또는 네트워크 인터페이스는, 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전달하여, 각 컴퓨팅/처리 기기의 컴퓨터 판독 가능 저장 매체에 저장한다.The computer readable program instructions described herein can be downloaded to each computing/processing device from a computer readable storage medium, or can be downloaded to an external computer or external storage device via a network such as the Internet, local area network, wide area network, and/or wireless Internet. can be downloaded. The network may include at least one of copper transmission cables, fiber optic transmission, wireless transmission, routers, firewalls, switches, gateway computers, and edge servers. A network adapter or network interface of each computing/processing device receives computer readable program instructions from the network, transmits the computer readable program instructions, and stores them in a computer readable storage medium of each computing/processing device.

본 발명의 동작을 실행하는 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(Instruction Set Architecture, ISA) 명령, 기계 명령, 기계 관련 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 하나 또는 다수의 프로그래밍 언어의 임의의 조합으로 작성되는 소스 코드 또는 오브젝트 코드일 수 있고, 상기 프로그래밍 언어는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어, 및 “C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 절차적 프로그래밍 언어를 포함한다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 하나의 독립적인 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우, 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN) 또는 광역 통신망(Wide Area Network, WAN)을 포함한 임의의 종류의 네트워크를 통해 사용자 컴퓨터에 연결되거나, 또는 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결). 일부 실시예에서, 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 프로그램 가능 논리 회로, 필드 프로그램 가능 게이트 어레이(FPGA) 또는 프로그램 가능 논리 어레이(Programmable Logic Arrays, PLA)와 같은 전자 회로를 맞춤 제작하고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 실시예를 구현할 수 있다.Computer program instructions that carry out the operations of the present invention may be assembly instructions, Instruction Set Architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or one or more programming languages. It can be source code or object code written in any combination of programming languages, including object-oriented programming languages such as Smalltalk, C++, etc., and conventional procedural programming languages such as “C” language or similar programming languages. Computer readable program instructions may be executed entirely on the user's computer, partly on the user's computer, as an independent software package, partly on the user's computer and partly on a remote computer, or entirely on the user's computer. may run on a remote computer or server, in the case of a remote computer, the remote computer may be connected to the user's computer through any kind of network, including a Local Area Network (LAN) or a Wide Area Network (WAN); , or can be connected to an external computer (eg, through the Internet using an Internet service provider) In some embodiments, programmable logic circuits, field programs, using state information in computer readable program instructions Embodiments of the present invention may be implemented by custom fabricating electronic circuits, such as FPGAs or Programmable Logic Arrays (PLAs), and the electronic circuits executing computer readable program instructions.

여기서 본 발명의 실시예의 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 구성 구조도 중 적어도 하나를 참조하여 본 발명의 실시예를 설명한다. 흐름도 및 구성 구조도 중 적어도 하나의 각각의 블록 및, 흐름도 및 구성 구조도 중 적어도 하나 등 중 각 블록의 조합은 모두 컴퓨터 판독 가능 프로그램 명령에 의해 구현될 수 있음을 이해해야 한다.Here, embodiments of the present invention will be described with reference to at least one of flowcharts and configuration diagrams of methods, apparatus (systems), and computer program products of embodiments of the present invention. It should be understood that each block of at least one of the flowchart and the structural diagram and a combination of each block of the at least one of the flowchart and the structural diagram may all be implemented by computer readable program instructions.

이러한 컴퓨터 판독 가능 프로그램 명령은 일반 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공되어 하나의 기계를 생성함으로써, 이러한 명령이 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 의해 실행될 경우, 흐름도 및/또는 구성 구조도 중 하나 또는 다수의 블록에 지정된 기능/동작을 구현하는 장치를 생성할 수 있다. 또한, 이러한 컴퓨터 판독 가능 프로그램 명령을 컴퓨터 판독 가능 저장 매체에 저장할 수도 있고, 이러한 명령은 컴퓨터, 프로그램 가능 데이터 처리 장치 및 다른 기기 중 적어도 하나가 특정된 방식으로 작업하도록 함으로써, 명령이 저장된 컴퓨터 판독 가능 매체는 흐름도 및 구성 구조도 중 적어도 하나 등 중 하나 또는 다수의 블록에 지정된 기능/동작의 각 양태를 구현하는 명령을 포함하는 하나의 제조품을 포함한다.Such computer readable program instructions are provided to the processor of a general computer, special purpose computer or other programmable data processing device to create a machine, so that when these instructions are executed by the processor of the computer or other programmable data processing device; An apparatus may be created that implements the functions/operations specified in one or more blocks of the flow diagram and/or configuration diagram. In addition, such computer readable program instructions may be stored in a computer readable storage medium, and such instructions cause at least one of a computer, a programmable data processing device, and other devices to work in a specified manner, so that the computer readable instructions stored therein are readable. The medium includes an article of manufacture containing instructions implementing each aspect of the function/operation specified in one or multiple blocks, such as at least one of a flow diagram and a configuration diagram.

또한 컴퓨터 판독 가능 프로그램 명령을 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에 로딩하여, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 일련의 동작의 단계가 수행되도록 하여, 컴퓨터에 의해 구현되는 프로세스를 생성함으로써, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에서 실행되는 명령으로 하여금 흐름도 및 구성 구조도 중 적어도 하나 또는 다수의 블록에 지정된 기능/동작을 구현하도록 할 수 있다.In addition, by loading computer readable program instructions into a computer, other programmable data processing device, or other device, and causing the computer, other programmable data processing device, or other device to perform steps in a series of operations, By creating a process, instructions executed on a computer, other programmable data processing device, or other device can be used to implement functions/operations specified in at least one or more blocks of the flow diagram and the structural diagram.

도면의 흐름도 및 구성 구조도는 본 발명의 다수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 구성 구조도의 각 블록은 지정된 논리적 기능을 구현하기 위한 하나 또는 다수의 실행 가능한 명령을 포함하는 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부를 대표할 수 있다. 일부 실시예에서, 블록에 표기된 기능은 도면에 도시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 연속적인 2개의 블록은 실제로 거의 병렬되게 수행될 수 있고, 이들은 관련 기능에 따라 때때로 역순으로 수행될 수도 있다. 또한, 구성 구조도 및/또는 흐름도의 각 블록, 및 구성 구조도 및 흐름도 중 적어도 하나의 블록의 조합은 지정된 기능 또는 동작을 수행하는 전문적인 하드웨어 기반 전용 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령의 조합에 의해 구현될 수도 있음에 유의해야 한다.The flow diagrams and structural diagrams of the drawings illustrate the implementable architectures, functions, and operations of systems, methods, and computer program products in accordance with multiple embodiments of the present invention. In this regard, each block of a flowchart or organizational structure diagram may represent a module, program segment, or portion of instructions that includes one or more executable instructions for implementing a specified logical function. In some embodiments, the functions indicated in the blocks may occur in a different order than shown in the drawings. For example, two blocks in succession may in fact be performed almost in parallel, and they may sometimes be performed in reverse order depending on the function involved. In addition, each block of the configuration structure diagram and/or flow chart, and a combination of at least one block of the configuration structure diagram and flow chart may be implemented by a specialized hardware-based dedicated system that performs designated functions or operations, or may be implemented by dedicated hardware and It should be noted that it may be implemented by a combination of computer instructions.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 일부 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되고, 다른 일부 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.The computer program product may be specifically implemented as hardware, software, or a combination thereof. In some embodiments, the computer program product is specifically implemented as a computer storage medium, and in some other embodiments, the computer program product is specifically implemented as a software product such as a Software Development Kit (SDK).

이상 내용에서는 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적인 것일 뿐 완전한 것이 아니며, 또한 개시된 각 실시예에 한정되지 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 전제 하에 이루어진 많은 수정 및 변경은 본 기술분야의 통상의 지식을 가진 자에게 있어서 모두 자명한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장의 기술에 대한 개선을 가장 잘 해석하거나, 또는 본 기술분야의 다른 통상의 지식을 가진 자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 하기 위한 것이다.In the above description, each embodiment of the present invention has been described, and the above description is illustrative only, not complete, and is not limited to each embodiment disclosed. Many modifications and changes made under the premise that they do not depart from the scope and spirit of each embodiment described are obvious to those skilled in the art. The choice of terms used herein is the best interpretation of the principles of each embodiment, practical application, or improvement to the market's technology, or the understanding of each embodiment disclosed herein by another person skilled in the art. is to make it possible.

본 발명의 실시예는 포지셔닝 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 제품, 컴퓨터 프로그램을 제공하고, 제2 전자 기기에 응용되는 상기 방법은, 제1 전자 기기로부터 포지셔닝 요청이 수신될 경우, 상기 포지셔닝 요청 중의 제1 포지셔닝 결과에 따라, 상기 제1 전자 기기가 위치한 현재 지리 영역을 결정하는 단계 - 상기 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 환경 이미지 및 상기 제1 전자 기기의 로컬의 제1 포지셔닝 결과가 포함됨 - ; 기설정된 포인트 클라우드 맵에서 상기 현재 지리 영역에 대응되는 포인트 클라우드 서브 맵을 결정해내는 단계; 상기 환경 이미지 및 상기 포인트 클라우드 서브 맵에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 제2 포지셔닝 결과를 획득하는 단계; 및 상기 제1 전자 기기에 상기 제2 포지셔닝 결과를 송신하는 단계를 포함한다. 본 발명의 실시예에 따르면, 제1 전자 기기 및 제2 전자 기기를 통해 포지셔닝을 구현할 수 있으므로, 포지셔닝의 정밀도와 안정성을 향상시킬 수 있다.Embodiments of the present invention provide a positioning method and device, an electronic device, a storage medium, a computer program product, and a computer program, and the method applied to a second electronic device, when a positioning request is received from the first electronic device, determining a current geographic area in which the first electronic device is located according to a first positioning result of the positioning request; in the positioning request, an environment image of an environment in which the first electronic device is located and a local area of the first electronic device The first positioning result is included - ; determining a point cloud sub-map corresponding to the current geographic area from a preset point cloud map; obtaining a second positioning result of the first electronic device by performing visual positioning on the first electronic device according to the environment image and the point cloud sub-map; and transmitting the second positioning result to the first electronic device. According to an embodiment of the present invention, since positioning can be implemented through the first electronic device and the second electronic device, precision and stability of positioning can be improved.

Claims (28)

제1 전자 기기에 응용되는 포지셔닝 방법으로서,
제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계 - 상기 k번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함되고, k는 1보다 큰 정수임 - ;
상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과가 수신될 경우, 상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하는 단계 - 상기 k번째 제2 포지셔닝 결과는 상기 제1 전자 기기가 상기 제k 프레임의 환경 이미지에 대해 로컬 포지셔닝을 수행하여 획득됨 - ; 및
상기 k번째 제3 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하는 단계를 포함하는 포지셔닝 방법.As a positioning method applied to a first electronic device,
Transmitting a k-th first positioning request to a second electronic device, wherein the k-th first positioning request includes an environment image of a k-th frame of an environment in which the first electronic device is located, where k is an integer greater than 1; ;
When the k-th first positioning result transmitted by the second electronic device is received, the k-th second positioning result is modified according to the k-th first positioning result, and the k-th third positioning result of the first electronic device is received. determining a positioning result, wherein the k-th second positioning result is obtained by performing local positioning on the environment image of the k-th frame by the first electronic device; and
and displaying a display interface of the first electronic device according to the result of the k-th third positioning. 제1항에 있어서,
상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보를 포함하고, 상기 k번째 제2 포지셔닝 결과는 k번째 제2 포즈 정보를 포함하며, 상기 k번째 제3 포지셔닝 결과는 k번째 제3 포즈 정보를 포함하고,
상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하는 단계는,
상기 k번째 제1 포즈 정보 및 상기 k번째 제2 포즈 정보에 따라, k번째 포지셔닝의 현재 포즈 편차를 결정하는 단계;
k번의 포지셔닝의 k개의 제2 포즈 정보 및 k개의 제3 포즈 정보에 따라, k번의 포지셔닝의 전체 포즈 편차를 결정하는 단계; 및
상기 k번째 포지셔닝의 현재 포즈 편차 및 상기 k번의 포지셔닝의 전체 포즈 편차에 따라, 상기 k번째 제2 포지셔닝 결과에 대해 포즈 수정을 수행하고, k번째 제3 포즈 정보를 결정하는 단계를 포함하는 포지셔닝 방법.According to claim 1,
The k-th first positioning result includes k-th first pose information, the k-th second positioning result includes k-th second pose information, and the k-th third positioning result includes k-th third pose information including,
The step of correcting the k-th second positioning result and determining the k-th third positioning result of the first electronic device according to the k-th first positioning result,
determining a current pose deviation of the k-th positioning according to the k-th first pose information and the k-th second pose information;
determining a total pose deviation of k positioning according to k second pose information and k third pose information of k positioning; and
and performing pose correction on the k-th second positioning result and determining k-th third pose information according to the current pose deviation of the k-th positioning and the total pose deviation of the k-th positioning. . 제2항에 있어서,
상기 k번의 포지셔닝의 k개의 제2 포즈 정보 및 k개의 제3 포즈 정보에 따라, k번의 포지셔닝의 전체 포즈 편차를 결정하는 단계는,
i번째 제2 포즈 정보와 j번째 제2 포즈 정보 사이의 제1 포즈 변화 정보를 결정하는 단계 - i, j는 정수이고, 1≤i<j≤k임 - ;
i번째 제3 포즈 정보와 j번째 제3 포즈 정보 사이의 제2 포즈 변화 정보를 결정하는 단계;
상기 제1 포즈 변화 정보와 상기 제2 포즈 변화 정보에 따라, 제i 프레임의 환경 이미지에서 제j 프레임의 환경 이미지까지의 포즈 편차를 결정하는 단계; 및
다수의 포즈 편차에 따라, 상기 k번의 포지셔닝의 전체 포즈 편차를 결정하는 단계를 포함하는 포지셔닝 방법.According to claim 2,
According to the k second pose information and the k third pose information of the k positioning, the step of determining the total pose deviation of the k positioning,
determining first pose change information between the i-th second pose information and the j-th second pose information, wherein i and j are integers, and 1≤i<j≤k;
determining second pose change information between the i-th third pose information and the j-th third pose information;
determining a pose deviation from the environment image of the i-th frame to the environment image of the j-th frame according to the first pose change information and the second pose change information; and
and determining a total pose deviation of the k number of positioning according to a plurality of pose deviations. 제2항 또는 제3항에 있어서,
상기 k번째 제1 포지셔닝 결과는 제k 프레임의 특징점 매칭 정보를 더 포함하고, 상기 제k 프레임의 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 제2 전자 기기의 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하며,
상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하는 단계는,
상기 제k 프레임의 특징점 매칭 정보에 따라, k번째 제3 포즈 정보를 수정하고, 수정된 k번째 제3 포지셔닝 결과를 결정하는 단계를 더 포함하는 포지셔닝 방법.According to claim 2 or 3,
The k-th first positioning result further includes feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a two-dimensional feature point in the environment image of the k-th frame and a point cloud map of the second electronic device. Includes matching information between 3D feature points,
The step of correcting the k-th second positioning result and determining the k-th third positioning result of the first electronic device according to the k-th first positioning result,
The positioning method further comprising modifying k-th pose information according to feature point matching information of the k-th frame and determining a modified k-th third positioning result. 제1항에 있어서,
상기 k번째 제1 포지셔닝 결과는 제k 프레임의 특징점 매칭 정보를 포함하고, 상기 제k 프레임의 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 제2 전자 기기의 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하며,
상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하는 단계는,
제k 프레임의 특징점 매칭 정보에 따라, 상기 k번째 제2 포지셔닝 결과를 수정하고, 수정된 k번째 제3 포지셔닝 결과를 결정하는 단계를 포함하는 포지셔닝 방법.According to claim 1,
The k-th first positioning result includes feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and three points of the point cloud map of the second electronic device. Includes matching information between dimensional feature points,
The step of correcting the k-th second positioning result and determining the k-th third positioning result of the first electronic device according to the k-th first positioning result,
and modifying the k-th second positioning result according to feature point matching information of the k-th frame, and determining a modified k-th third positioning result. 제1항에 있어서,
상기 포지셔닝 방법은,
제2 전자 기기에 a번째 제1 포지셔닝 요청을 송신하는 단계 - 상기 a번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제a 프레임의 환경 이미지가 포함되고, a는 정수이며, a≥1임 - ; 및
상기 제2 전자 기기에 의해 송신된 a번째 제1 포지셔닝 결과가 수신될 경우, 상기 a번째 제1 포지셔닝 결과에 따라, 상기 제1 전자 기기 중의 동시적 위치 결정 및 지도 작성(SLAM) 시스템을 초기화하여, 상기 제1 전자 기기의 초기 포지셔닝 결과를 결정하는 단계를 더 포함하고, 상기 a번째 제1 포지셔닝 결과는 a번째 제1 포즈 정보 및 제a 프레임의 특징점 매칭 정보 중 적어도 하나를 포함하는 포지셔닝 방법.According to claim 1,
The positioning method,
Transmitting an a-th first positioning request to a second electronic device, wherein the a-th first positioning request includes an environment image of an a-th frame of an environment in which the first electronic device is located, a is an integer, and a≥ 1 - ; and
When the a-th first positioning result transmitted by the second electronic device is received, according to the a-th first positioning result, a simultaneous positioning and mapping (SLAM) system in the first electronic device is initialized, , determining an initial positioning result of the first electronic device, wherein the a-th first positioning result includes at least one of a-th first pose information and feature point matching information of an a-th frame. 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과는 제1 영역 맵을 더 포함하고, 상기 제1 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함하며, 상기 k번째 제3 포지셔닝 결과가 결정된 후, 상기 포지셔닝 방법은,
상기 k번째 제3 포지셔닝 결과와 상기 제1 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 상기 제1 전자 기기의 제4 포지셔닝 결과를 결정하는 단계; 및
상기 제4 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하는 단계를 더 포함하는 포지셔닝 방법.According to any one of claims 1 to 6,
The k-th first positioning result sent by the second electronic device further includes a first area map, the first area map including a point cloud sub-map of a geographic area corresponding to the first electronic device; After the k-th third positioning result is determined, the positioning method,
determining a fourth positioning result of the first electronic device by performing projection matching on the k-th third positioning result and a point cloud sub-map in the first area map; and
The positioning method further comprising displaying a display interface of the first electronic device according to a result of the fourth positioning. 제1항 내지 제6항 중 어느 한 항에 있어서,
제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하기 전에, 상기 포지셔닝 방법은,
상기 제1 전자 기기의 k번째 제2 포지셔닝 결과 및 상기 제1 전자 기기의 로컬의 제2 영역 맵에 따라, 상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치하는지 여부를 판정하는 단계를 더 포함하고, 상기 제2 영역 맵은 상기 제2 전자 기기에 의해 이미 송신된 영역 맵이며;
상기 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계는,
상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치할 경우, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계를 포함하는 포지셔닝 방법.According to any one of claims 1 to 6,
Before sending the k-th first positioning request to the second electronic device, the positioning method includes:
Further comprising determining whether the first electronic device is located within the second area map according to a k-th second positioning result of the first electronic device and a local second area map of the first electronic device. and the second area map is an area map already sent by the second electronic device;
Transmitting a k-th first positioning request to the second electronic device includes:
and transmitting a k-th first positioning request to a second electronic device when the first electronic device is located within the second area map. 제8항에 있어서,
상기 포지셔닝 방법은,
상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치하지 않을 경우, 상기 제2 전자 기기에 제2 포지셔닝 요청을 송신하는 단계 - 상기 제2 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함됨 - ;
상기 제2 전자 기기에 의해 송신된 제3 영역 맵이 수신될 경우, 현재의 제2 포지셔닝 결과와 상기 제3 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 상기 제1 전자 기기의 제5 포지셔닝 결과를 결정하는 단계 - 상기 제3 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함함 - ; 및
상기 제5 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하는 단계를 더 포함하는 포지셔닝 방법.According to claim 8,
The positioning method,
Sending a second positioning request to the second electronic device when the first electronic device is not located within the second area map - the second positioning request includes a kth frame of an environment in which the first electronic device is located - Contains environment image of ;
When the third area map transmitted by the second electronic device is received, projection matching is performed on a current second positioning result and a point cloud sub-map in the third area map, 5 determining a positioning result, wherein the third area map includes a point cloud sub-map of a geographic area corresponding to the first electronic device; and
The positioning method further comprising displaying a display interface of the first electronic device according to a result of the fifth positioning. 제1항 내지 제9항 중 어느 한 항에 있어서,
제2 전자 기기에 제1 포지셔닝 요청을 송신하기 전에, 상기 포지셔닝 방법은,
상기 제1 전자 기기의 네트워크 상태를 획득하는 단계를 더 포함하고, 상기 네트워크 상태는 네트워크 신호 세기 및 정보 전송 속도 중 적어도 하나를 포함하며;
상기 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계는,
상기 네트워크 상태가 기설정된 영역 맵 획득 조건을 만족하지 않을 경우, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하는 단계를 포함하고,
상기 영역 맵 획득 조건은, 상기 네트워크 신호 세기가 신호 세기 임계값보다 크거나 같은 것; 및 상기 정보 전송 속도가 속도 임계값보다 크거나 같은 것 중 적어도 하나를 포함하는 포지셔닝 방법.According to any one of claims 1 to 9,
Before sending the first positioning request to the second electronic device, the positioning method includes:
further comprising obtaining a network state of the first electronic device, wherein the network state includes at least one of network signal strength and information transmission speed;
Transmitting a k-th first positioning request to the second electronic device includes:
sending a k-th first positioning request to a second electronic device when the network state does not satisfy a preset area map acquisition condition;
The area map obtaining condition is that the network signal strength is greater than or equal to the signal strength threshold; and the information transfer rate is greater than or equal to a rate threshold. 제2 전자 기기에 응용되는 포지셔닝 방법으로서,
제1 전자 기기로부터 k번째 제1 포지셔닝 요청이 수신될 경우, 기설정된 포인트 클라우드 맵 및 상기 k번째 제1 포지셔닝 요청 중의 제k 프레임의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 k번째 제1 포지셔닝 결과를 획득하는 단계; 및
상기 제1 전자 기기에 상기 k번째 제1 포지셔닝 결과를 송신하여, 상기 제1 전자 기기로 하여금 상기 k번째 제1 포지셔닝 결과에 따라 포지셔닝 결과 수정을 수행하도록 하는 단계를 포함하고, 상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보 및 제k 프레임의 특징점 매칭 정보 중 적어도 하나를 포함하며, 상기 제k 프레임의 특징점 매칭 정보는 상기 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하는 포지셔닝 방법.As a positioning method applied to a second electronic device,
When the k-th first positioning request is received from the first electronic device, visual positioning is performed on the first electronic device according to a preset point cloud map and an environment image of the k-th frame of the k-th first positioning request. obtaining a k-th first positioning result of the first electronic device; and
transmitting the k-th first positioning result to the first electronic device, and causing the first electronic device to perform positioning result correction according to the k-th first positioning result; The positioning result includes at least one of k-th first pose information and feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a two-dimensional feature point in the environment image of the k-th frame and the point cloud map. A positioning method including matching information between 3D feature points. 제11항에 있어서,
상기 포지셔닝 방법은,
제1 전자 기기로부터 제2 포지셔닝 요청이 수신될 경우, 상기 포인트 클라우드 맵 및 상기 제2 포지셔닝 요청 중의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 제6 포지셔닝 결과를 획득하는 단계;
상기 제6 포지셔닝 결과에 따라, 상기 포인트 클라우드 맵에서 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정해내는 단계; 및
상기 제1 전자 기기에 영역 맵을 송신하여, 상기 제1 전자 기기로 하여금 상기 영역 맵에 따라 포지셔닝 및 전시를 수행하도록 하는 단계를 더 포함하고, 상기 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함하는 포지셔닝 방법.According to claim 11,
The positioning method,
When a second positioning request is received from the first electronic device, visual positioning is performed on the first electronic device according to the point cloud map and the environment image in the second positioning request, so that the second positioning request of the first electronic device is performed. 6 obtaining positioning results;
determining a point cloud sub-map of a geographic area corresponding to the first electronic device from the point cloud map according to a result of the sixth positioning; and
The method further includes sending a region map to the first electronic device so that the first electronic device performs positioning and display according to the region map, wherein the region map corresponds to the first electronic device. A positioning method that includes a point cloud sub-map of the area. 제1 전자 기기에 응용되는 포지셔닝 장치로서,
제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하도록 구성되는 제1 요청 송신 부분 - 상기 k번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함되고, k는 1보다 큰 정수임 - ;
상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과가 수신될 경우, 상기 k번째 제1 포지셔닝 결과에 따라, k번째 제2 포지셔닝 결과를 수정하고, 상기 제1 전자 기기의 k번째 제3 포지셔닝 결과를 결정하도록 구성되는 결과 수정 부분 - 상기 k번째 제2 포지셔닝 결과는 상기 제1 전자 기기가 상기 제k 프레임의 환경 이미지에 대해 로컬 포지셔닝을 수행하여 획득됨 - ; 및
상기 k번째 제3 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하도록 구성되는 제1 전시 부분을 포함하는 포지셔닝 장치.As a positioning device applied to a first electronic device,
A first request sending portion configured to transmit a k-th first positioning request to a second electronic device, wherein the k-th first positioning request includes an environment image of a k-th frame of an environment in which the first electronic device is located, and k - is an integer greater than 1;
When the k-th first positioning result transmitted by the second electronic device is received, the k-th second positioning result is modified according to the k-th first positioning result, and the k-th third positioning result of the first electronic device is received. a result modifying portion configured to determine a positioning result, wherein the k-th second positioning result is obtained by performing local positioning on the environment image of the k-th frame by the first electronic device; and
and a first display portion configured to display a display interface of the first electronic device according to the k-th positioning result. 제13항에 있어서,
상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보를 포함하고, 상기 k번째 제2 포지셔닝 결과는 k번째 제2 포즈 정보를 포함하며, 상기 k번째 제3 포지셔닝 결과는 k번째 제3 포즈 정보를 포함하고,
상기 결과 수정 부분은,
상기 k번째 제1 포즈 정보 및 상기 k번째 제2 포즈 정보에 따라, k번째 포지셔닝의 현재 포즈 편차를 결정하도록 구성되는 현재 편차 결정 서브 부분;
k번의 포지셔닝의 k개의 제2 포즈 정보 및 k개의 제3 포즈 정보에 따라, k번의 포지셔닝의 전체 포즈 편차를 결정하도록 구성되는 전체 편차 결정 서브 부분; 및
상기 k번째 포지셔닝의 현재 포즈 편차 및 상기 k번의 포지셔닝의 전체 포즈 편차에 따라, 상기 k번째 제2 포지셔닝 결과에 대해 포즈 수정을 수행하고, k번째 제3 포즈 정보를 결정하도록 구성되는 제1 수정 서브 부분을 포함하는 포지셔닝 장치.According to claim 13,
The k-th first positioning result includes k-th first pose information, the k-th second positioning result includes k-th second pose information, and the k-th third positioning result includes k-th third pose information including,
The correction part of the result is,
a current deviation determining sub-portion, configured to determine a current pose deviation of the k-th positioning according to the k-th first pose information and the k-th second pose information;
a total deviation determining subsection, configured to determine, according to the k second pose information and the k third pose information of the k positioning, a total pose deviation of the k positioning; and
A first modification sub configured to perform pose correction on the result of the k-th second positioning and determine k-th third pose information according to the current pose deviation of the k-th positioning and the total pose deviation of the k-th positioning. A positioning device comprising a part. 제14항에 있어서,
상기 전체 편차 결정 서브 부분은 또한,
i번째 제2 포즈 정보와 j번째 제2 포즈 정보 사이의 제1 포즈 변화 정보를 결정하며, i, j는 정수이고, 1≤i<j≤k이며;
i번째 제3 포즈 정보와 j번째 제3 포즈 정보 사이의 제2 포즈 변화 정보를 결정하고;
상기 제1 포즈 변화 정보와 상기 제2 포즈 변화 정보에 따라, 제i 프레임의 환경 이미지에서 제j 프레임의 환경 이미지까지의 포즈 편차를 결정하며;
다수의 포즈 편차에 따라, 상기 k번의 포지셔닝의 전체 포즈 편차를 결정하도록 구성되는 포지셔닝 장치.According to claim 14,
The total deviation determination sub-part also includes,
determining first pose change information between the i-th second pose information and the j-th second pose information, where i and j are integers, and 1≤i<j≤k;
determine second pose change information between the i-th third pose information and the j-th third pose information;
determine a pose deviation from the environment image of the i-th frame to the environment image of the j-th frame according to the first pose change information and the second pose change information;
The positioning device configured to determine, according to a plurality of pose deviations, a total pose deviation of the k number of positioning. 제14항 또는 제15항에 있어서,
상기 k번째 제1 포지셔닝 결과는 제k 프레임의 특징점 매칭 정보를 더 포함하고, 상기 제k 프레임의 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 제2 전자 기기의 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하며,
상기 결과 수정 부분은,
상기 제k 프레임의 특징점 매칭 정보에 따라, k번째 제3 포즈 정보를 수정하고, 수정된 k번째 제3 포지셔닝 결과를 결정하도록 구성되는 제2 수정 서브 부분을 더 포함하는 포지셔닝 장치.The method of claim 14 or 15,
The k-th first positioning result further includes feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a two-dimensional feature point in the environment image of the k-th frame and a point cloud map of the second electronic device. Includes matching information between 3D feature points,
The correction part of the result is,
and a second modification sub-part configured to modify the k-th pose information according to the feature point matching information of the k-th frame and determine a modified k-th third positioning result. 제13항에 있어서,
상기 k번째 제1 포지셔닝 결과는 제k 프레임의 특징점 매칭 정보를 포함하고, 상기 제k 프레임의 특징점 매칭 정보는 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 제2 전자 기기의 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하며,
상기 결과 수정 부분은,
제k 프레임의 특징점 매칭 정보에 따라, 상기 k번째 제2 포지셔닝 결과를 수정하고, 수정된 k번째 제3 포지셔닝 결과를 결정하도록 구성되는 제3 수정 서브 부분을 포함하는 포지셔닝 장치.According to claim 13,
The k-th first positioning result includes feature point matching information of the k-th frame, and the feature point matching information of the k-th frame includes a 2-dimensional feature point in the environment image of the k-th frame and three points of the point cloud map of the second electronic device. Includes matching information between dimensional feature points,
The correction part of the result is,
and a third modification sub-part, configured to modify the k-th second positioning result according to feature point matching information of the k-th frame, and determine a modified k-th third positioning result. 제13항에 있어서,
상기 포지셔닝 장치는,
제2 전자 기기에 a번째 제1 포지셔닝 요청을 송신하도록 구성되는 제2 요청 송신 부분 - 상기 a번째 제1 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제a 프레임의 환경 이미지가 포함되며, a는 정수이고, a≥1임 - ; 및
상기 제2 전자 기기에 의해 송신된 a번째 제1 포지셔닝 결과가 수신될 경우, 상기 a번째 제1 포지셔닝 결과에 따라, 상기 제1 전자 기기 중의 SLAM 시스템을 초기화하여, 상기 제1 전자 기기의 초기 포지셔닝 결과를 결정하도록 구성되는 초기화 부분을 더 포함하고, 상기 a번째 제1 포지셔닝 결과는 a번째 제1 포즈 정보 및 제a 프레임의 특징점 매칭 정보 중 적어도 하나를 포함하는 포지셔닝 장치.According to claim 13,
The positioning device,
A second request sending portion, configured to send an a-th first positioning request to a second electronic device, wherein the a-th first positioning request includes an environment image of an a-th frame of an environment in which the first electronic device is located; is an integer, and a≥1 -; and
When the a-th first positioning result transmitted by the second electronic device is received, according to the a-th first positioning result, a SLAM system in the first electronic device is initialized, and the first electronic device is initially positioned. The positioning device further includes an initialization portion configured to determine a result, wherein the a-th first positioning result includes at least one of a-th first pose information and feature point matching information of an a-th frame. 제13항 내지 제18항 중 어느 한 항에 있어서,
상기 제2 전자 기기에 의해 송신된 k번째 제1 포지셔닝 결과는 제1 영역 맵을 더 포함하고, 상기 제1 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함하며,
상기 포지셔닝 장치는,
상기 k번째 제3 포지셔닝 결과와 상기 제1 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 상기 제1 전자 기기의 제4 포지셔닝 결과를 결정하도록 구성되는 제1 매칭 포지셔닝 부분; 및
상기 제4 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하도록 구성되는 제2 전시 부분을 더 포함하는 포지셔닝 장치.According to any one of claims 13 to 18,
The k-th first positioning result sent by the second electronic device further includes a first area map, the first area map including a point cloud sub-map of a geographic area corresponding to the first electronic device;
The positioning device,
a first matching positioning unit, configured to perform projection matching on the k-th third positioning result and a point cloud sub-map in the first area map to determine a fourth positioning result of the first electronic device; and
The positioning device further includes a second display portion configured to display a display interface of the first electronic device according to the fourth positioning result. 제13항 내지 제18항 중 어느 한 항에 있어서,
상기 포지셔닝 장치는,
상기 제1 전자 기기의 k번째 제2 포지셔닝 결과 및 상기 제1 전자 기기의 로컬의 제2 영역 맵에 따라, 상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치하는지 여부를 판정하도록 구성되는 영역 판정 부분을 더 포함하고, 상기 제2 영역 맵은 상기 제2 전자 기기에 의해 이미 송신된 영역 맵이며;
상기 제1 요청 송신 부분은,
상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치할 경우, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하도록 구성되는 제1 송신 서브 부분을 포함하는 포지셔닝 장치.According to any one of claims 13 to 18,
The positioning device,
area determination, configured to determine whether the first electronic device is located within the second area map according to a k-th second positioning result of the first electronic device and a local second area map of the first electronic device; section, wherein the second area map is an area map already sent by the second electronic device;
The first request transmission part,
and a first transmitting sub-portion, configured to transmit a k-th first positioning request to a second electronic device when the first electronic device is located in the second area map. 제20항에 있어서,
상기 포지셔닝 장치는,
상기 제1 전자 기기가 상기 제2 영역 맵 내에 위치하지 않을 경우, 상기 제2 전자 기기에 제2 포지셔닝 요청을 송신하도록 구성되는 제3 요청 송신 부분 - 상기 제2 포지셔닝 요청에는 상기 제1 전자 기기가 위치한 환경의 제k 프레임의 환경 이미지가 포함됨 - ;
상기 제2 전자 기기에 의해 송신된 제3 영역 맵이 수신될 경우, 현재의 제2 포지셔닝 결과와 상기 제3 영역 맵 중의 포인트 클라우드 서브 맵에 대해 투영 매칭을 수행하여, 상기 제1 전자 기기의 제5 포지셔닝 결과를 결정하도록 구성되는 제2 매칭 포지셔닝 부분 - 상기 제3 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함함 - ; 및
상기 제5 포지셔닝 결과에 따라, 상기 제1 전자 기기의 디스플레이 인터페이스를 전시하도록 구성되는 제3 전시 부분을 더 포함하는 포지셔닝 장치.According to claim 20,
The positioning device,
A third request sending part, configured to send a second positioning request to the second electronic device when the first electronic device is not located within the second area map, wherein the second positioning request includes the first electronic device - contains the environment image of the kth frame of the located environment;
When the third area map transmitted by the second electronic device is received, projection matching is performed on a current second positioning result and a point cloud sub-map in the third area map, 5 a second matching positioning part configured to determine a positioning result, wherein the third area map includes a point cloud sub-map of a geographic area corresponding to the first electronic device; and
The positioning device further includes a third display portion configured to display a display interface of the first electronic device according to a result of the fifth positioning. 제13항 내지 제21항 중 어느 한 항에 있어서,
상기 포지셔닝 장치는,
상기 제1 전자 기기의 네트워크 상태를 획득하도록 구성되는 네트워크 상태 획득 부분을 더 포함하고, 상기 네트워크 상태는 네트워크 신호 세기 및 정보 전송 속도 중 적어도 하나를 포함하며;
상기 제1 요청 송신 부분은,
상기 네트워크 상태가 기설정된 영역 맵 획득 조건을 만족하지 않을 경우, 제2 전자 기기에 k번째 제1 포지셔닝 요청을 송신하도록 구성되는 제2 송신 서브 부분을 포함하고,
상기 영역 맵 획득 조건은, 상기 네트워크 신호 세기가 신호 세기 임계값보다 크거나 같은 것; 및 상기 정보 전송 속도가 속도 임계값보다 크거나 같은 것 중 적어도 하나를 포함하는 포지셔닝 장치.According to any one of claims 13 to 21,
The positioning device,
It further includes a network state acquiring section, configured to acquire a network state of the first electronic device, wherein the network state includes at least one of network signal strength and information transmission rate;
The first request transmission part,
a second sending subpart, configured to send a k-th first positioning request to a second electronic device when the network state does not satisfy a preset area map obtaining condition;
The area map obtaining condition is that the network signal strength is greater than or equal to the signal strength threshold; and the information transfer rate is greater than or equal to a rate threshold. 제2 전자 기기에 응용되는 포지셔닝 장치로서,
제1 전자 기기로부터 k번째 제1 포지셔닝 요청이 수신될 경우, 기설정된 포인트 클라우드 맵 및 상기 k번째 제1 포지셔닝 요청 중의 제k 프레임의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 k번째 제1 포지셔닝 결과를 획득하도록 구성되는 제1 포지셔닝 부분; 및
상기 제1 전자 기기에 상기 k번째 제1 포지셔닝 결과를 송신하여, 상기 제1 전자 기기로 하여금 상기 k번째 제1 포지셔닝 결과에 따라 포지셔닝 결과 수정을 수행하게 하도록 구성되는 결과 송신 부분을 포함하고, 상기 k번째 제1 포지셔닝 결과는 k번째 제1 포즈 정보 및 제k 프레임의 특징점 매칭 정보 중 적어도 하나를 포함하며, 상기 제k 프레임의 특징점 매칭 정보는 상기 제k 프레임의 환경 이미지 중의 2차원 특징점과 상기 포인트 클라우드 맵 중의 3차원 특징점 사이의 매칭 정보를 포함하는 포지셔닝 장치.As a positioning device applied to a second electronic device,
When the k-th first positioning request is received from the first electronic device, visual positioning is performed on the first electronic device according to a preset point cloud map and an environment image of the k-th frame of the k-th first positioning request. a first positioning unit, configured to obtain a k-th first positioning result of the first electronic device; and
a result transmitting part configured to transmit the k-th first positioning result to the first electronic device, and cause the first electronic device to perform positioning result correction according to the k-th first positioning result; The k-th first positioning result includes at least one of k-th first pose information and k-th feature point matching information of the k-th frame, wherein the k-th feature point matching information includes a 2-dimensional feature point in the environment image of the k-th frame and the feature point matching information of the k-th frame. A positioning device including matching information between 3D feature points in a point cloud map. 제23항에 있어서,
상기 포지셔닝 장치는,
제1 전자 기기로부터 제2 포지셔닝 요청이 수신될 경우, 상기 포인트 클라우드 맵 및 상기 제2 포지셔닝 요청 중의 환경 이미지에 따라, 상기 제1 전자 기기에 대해 시각 포지셔닝을 수행하여, 상기 제1 전자 기기의 제6 포지셔닝 결과를 획득하도록 구성되는 제2 포지셔닝 부분;
상기 제6 포지셔닝 결과에 따라, 상기 포인트 클라우드 맵에서 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 결정해내도록 구성되는 서브 맵 결정 부분; 및
상기 제1 전자 기기에 영역 맵을 송신하여, 상기 제1 전자 기기로 하여금 상기 영역 맵에 따라 포지셔닝 및 전시를 수행하게 하도록 구성되는 영역 맵 송신 부분을 더 포함하고, 상기 영역 맵은 상기 제1 전자 기기에 대응되는 지리 영역의 포인트 클라우드 서브 맵을 포함하는 포지셔닝 장치.According to claim 23,
The positioning device,
When a second positioning request is received from the first electronic device, visual positioning is performed on the first electronic device according to the point cloud map and the environment image in the second positioning request, so that the second positioning request of the first electronic device is performed. a second positioning part, configured to obtain 6 positioning results;
a sub-map determination unit configured to determine a point cloud sub-map of a geographic area corresponding to the first electronic device from the point cloud map according to the sixth positioning result; and
and an area map sending part configured to send an area map to the first electronic device, so that the first electronic device performs positioning and display according to the area map, wherein the area map comprises the first electronic device. A positioning device comprising a point cloud sub-map of the geographic area corresponding to the device. 전자 기기로서,
프로세서; 및
프로세서에 의해 실행 가능한 명령을 저장하도록 구성되는 메모리를 포함하고;
상기 프로세서는 상기 메모리에 저장된 명령을 호출하여, 제1항 내지 제12항 중 어느 한 항에 따른 포지셔닝 방법을 수행하도록 구성되는 전자 기기.As an electronic device,
processor; and
a memory configured to store instructions executable by the processor;
The electronic device configured to perform the positioning method according to any one of claims 1 to 12 by calling a command stored in the memory. 컴퓨터 판독 가능 저장 매체로서,
컴퓨터 프로그램 명령이 저장되고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제12항 중 어느 한 항에 따른 방법이 구현되는 컴퓨터 판독 가능 저장 매체.As a computer readable storage medium,
A computer-readable storage medium on which computer program instructions are stored and, when the computer program instructions are executed by a processor, the method according to any one of claims 1 to 12 is implemented. 컴퓨터 프로그램으로서,
컴퓨터 판독 가능 코드를 포함하고, 컴퓨터 판독 가능 코드가 기기에서 실행될 경우, 기기의 프로세서는 제1항 내지 제12항 중 어느 한 항에 따른 포지셔닝 방법을 수행하는 컴퓨터 프로그램.As a computer program,
A computer program comprising computer readable code, wherein when the computer readable code is executed in the device, a processor of the device performs the positioning method according to any one of claims 1 to 12. 컴퓨터 프로그램 제품으로서,
컴퓨터 판독 가능 명령을 저장하기 위한 것이고, 상기 컴퓨터 판독 가능 명령이 실행될 경우, 컴퓨터로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 포지셔닝 방법을 수행하도록 하는 컴퓨터 프로그램 제품.As a computer program product,
A computer program product for storing computer readable instructions, which, when executed, causes a computer to perform the positioning method according to any one of claims 1 to 12.

Images