KR20220028042A

KR20220028042A - 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램

Info

Publication number: KR20220028042A
Application number: KR1020227003200A
Authority: KR
Inventors: 하오민 리우; 멩 항; 주앙 장; 구오펭 장
Original assignee: 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2020-08-17
Filing date: 2020-12-28
Publication date: 2022-03-08
Also published as: TW202208879A; JP2022548441A; JP7236565B2; CN111983635A; CN114814872A; WO2022036980A1; CN111983635B

Abstract

본 발명은 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램에 관한것이다. 상기 방법은, 타깃 시나리오에서의 제1 단말에 의해 수집된 수집 데이터를 획득하는 단계; 상기 타깃 시나리오를 포함하는 글로벌 지도를 획득하는 단계 - 상기 글로벌 지도는, 제2 단말이 상기 타깃 시나리오를 포함하는 글로벌 시나리오에 대해 데이터 수집을 수행하여 획득한 지도 데이터에 기반하여 생성된 것이고, 상기 글로벌 지도는 정밀도 조건을 만족함 - ; 및 상기 수집 데이터 및 상기 글로벌 지도 사이의 특징 대응 관계에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하는 단계를 포함한다. 상기 방법을 통해, 수집 정밀도가 비교적 높은 제1 포즈 데이터를 규모화로 수집할 수 있고, 타깃 시나리오에 대한 별도 기기 설정 또는 복수 개 기기 사이의 별도 교정 동기화에 의해 생성된 연산량을 감소시킬 수 있다.

Description

포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램

관련 출원에 대한 상호 참조

본 발명은 출원 번호가 202010826704.X이고, 출원일이 2020년 8월 17일인 중국 특허 출원에 기반하여 제출한 것이며, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.

본 발명은 컴퓨터 시각 기술 분야에 관한 것으로서, 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램에 관한 것이지만 이에 한정되지 않는다.

이동 센서, 네트워크 인프라 및 클라우드 컴퓨팅의 쾌속 발전에 따라, 증강 현실 응용 시나리오의 규모는 이미 중소형으로부터 대규모 환경으로 확장되고, 대규모 환경에서의 포지셔닝은 증강 현실 응용의 관건적인 수요이다. 관련 기술에서의 포지셔닝 기술은, 예를 들어 기기가 이동 과정에서의 포즈 데이터와 같은 대량의 운동 참값 데이터의 도움을 받아야만 구현될 수 있고, 또한, 알고리즘 기준 테스트 또는 모델 훈련을 수행할 경우, 대량의 포즈 데이터를 포함하는 운동 참값 데이터의 도움을 받아야만 구현될 수 있다. 따라서, 비교적 낮은 비용으로 정밀도가 비교적 높은 운동 참값 데이터를 획득하는 방법은, 현재 급히 해결해야 하는 문제이다.

본 발명의 실시예는 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램을 제공한다.

본 발명의 실시예는 포즈 결정 방법을 제공하고, 상기 방법은,

타깃 시나리오에서의 제1 단말에 의해 수집된 수집 데이터를 획득하는 단계; 상기 타깃 시나리오를 포함하는 글로벌 지도를 획득하는 단계 - 상기 글로벌 지도는, 제2 단말이 상기 타깃 시나리오를 포함하는 글로벌 시나리오에 대해 데이터 수집을 수행하여 획득한 지도 데이터에 기반하여 생성된 것이고, 상기 글로벌 지도는 정밀도 조건을 만족함 - ; 및

상기 수집 데이터 및 상기 글로벌 지도 사이의 특징 대응 관계에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하는 단계를 포함한다.

본 발명의 실시예는 포즈 결정 장치를 더 제공하고, 상기 장치는,

타깃 시나리오에서의 제1 단말에 의해 수집된 수집 데이터를 획득하도록 구성된 수집 데이터 획득 모듈;

상기 타깃 시나리오를 포함하는 글로벌 지도를 획득하도록 구성된 글로벌 지도 획득 모듈 - 상기 글로벌 지도는, 제2 단말이 상기 타깃 시나리오를 포함하는 글로벌 시나리오에 대해 데이터 수집을 수행하여 획득한 지도 데이터에 기반하여 생성된 것이고, 상기 글로벌 지도는 정밀도 조건을 만족함 - ; 및

상기 수집 데이터 및 상기 글로벌 지도 사이의 특징 대응 관계에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하도록 구성된 포즈 결정 모듈을 포함한다.

본 발명의 일부 실시예에 있어서, 상기 글로벌 지도는 적어도 하나의 프레임의 시각적 포인트 클라우드를 포함하고, 상기 시각적 포인트 클라우드는 상기 글로벌 시나리오에서의 적어도 한 개 3 차원 특징 포인트를 포함하고; 상기 수집 데이터는 제1 수집 이미지를 포함한다.

본 발명의 실시예는 전자 기기를 더 제공하고, 프로세서; 및 프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 상기 임의의 포즈 결정 방법을 실행한다.

본 발명의 실시예는 또한, 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 경우 상기 임의의 포즈 결정 방법을 실행한다.

본 발명의 실시예는 또한 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램은 컴퓨터 판독 가능한 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기의 프로세서는 상기 임의의 포즈 결정 방법을 구현하기 위해 실행된다.

본 발명의 실시예에 있어서, 타깃 시나리오에서 제1 단말에 의해 수집된 수집 데이터를 획득하고, 및 타깃 시나리오를 포함하는 글로벌 지도를 획득하며, 수집 데이터 및 글로벌 지도 사이의 특징 대응 관계에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정한다. 상기 과정을 통해, 글로벌 시나리오의 글로벌 지도를 중복 이용할 수 있고, 글로벌 지도를 생성한 후 제1 단말을 통해 대량의 제1 포즈 데이터를 수집하는 것을 규모화할 수 있으며, 제1 포즈를 생성하기 위한 수집 데이터를 획득하는 방식도 비교적 간단하며, 다만 제1 단말을 통해 수집을 구현할 수 있어, 타깃 시나리오에 대해 추가적인 기기 설정 또는 복수 개 기기 사이의 추가적인 교정 동기화 등을 감소하여, 제1 포즈를 획득하는 비용을 감소하고; 또한, 글로벌 지도가 정밀도 조건을 만족하므로, 수집 데이터 및 글로벌 지도 사이의 특징 대응 관계에 기반하여 얻은 제1 포즈의 데이트도 비교적 높은 정밀도를 구비할 수 있다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 예시적이고 한정적인 것이며 본 발명을 한정하지 않는다.

아래에 첨부 도면에 따라 예시적 실시예를 상세하게 설명하므로, 본 발명의 다른 특징 및 측면이 더욱 명확해질 것이다.

아래의 도면은 본 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 맞는 실시예를 예시하여, 명세서와 함께 본 발명의 기술방안을 설명하기 위한것이다.
도 1은 본 발명의 실시예에서 제공한 포즈 결정 방법의 흐름도이다.
도 2는 본 발명의 실시예에서 제공한 시각적 포인트 클라우드 최적화 전후의 비교 예시도이다.
도 3은 본 발명의 실시예에서 제공한 제2 단말의 구조 예시도이다.
도 4는 본 발명의 실시예에서 제공한 운동 참값 데이터 획득의 흐름 예시도이다.
도 5는 본 발명의 실시예에서 제공한 포즈 결정 장치의 구조 예시도이다.
도 6은 본 발명의 실시예에서 제공한 첫 번째 전자 기기의 구조 예시도이다.
도 7은 본 발명의 실시예에서 제공한 두 번째 전자 기기의 구조 예시도이다.

아래에 도면을 참조하여 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 표시는 기능이 동일하거나 유사한 구성 요소를 나타낸다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 구체적으로 언급되지 않는 한, 도면은 반드시 비례대로 도시될 필요없다.

여기서 "예시적"이라는 특정한 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 임의의 실시예는 다른 예보다 뛰어나거나 좋은 것으로 해석될 필요는 없다.

본 명세서에서 용어 “및/또는”은 다만 관련 대상의 상관 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낸다. 또한, 본 문에서 용어 "적어도 하나의"는 복수의 어느 하나의 또는 복수의 둘 중 어느 하나의 조합을 의미하고, 예를 들어, A, B, C 중 적어도 하나의를 포함하여, A, B 및 C로 구성된 조합에서 선택된 어느 하나의 또는 복수 개의 요소를 나타낼 수 있다.

또한, 본 발명을 더 잘 설명하기 위해, 아래의 구체적인 실시형태에서 다수의 구체적인 세부 사항을 제공한다. 본 분야의 기술자는 일부 구체적인 세부 사항이 없이도, 본 발명이 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 예에 있어서, 본 분야에게 널리 알려진 방법, 수단, 구성 요소 및 회로는 본 발명의 요지를 강조하기 위해, 상세히 설명되지 않는다.

이동 포지셔닝은 증강 현실, 자동 운전, 이동 로봇 등 적용 분야에서의 관건적 기술이다. 증강 현실은, 실시간 포지셔닝 결과에 따라 가상 물체와 실제 환경을 원활하게 융합하여, 차량 또는 이동 로봇의 경로 계획을 구현하기 위한 것이다. 초기의 이동 포지셔닝은 주요하게 전용 하드웨어 기기를 의존하고 예를 들어 레이저 기기, 차분 글로벌 포지셔닝 시스템(Global Positioning System, GPS) 기기, 높은 정밀도 관성 내비게이션 기기를 구현하지만, 이러한 기기의 비용은 높고 유연성이 차하며, 따라서 광범하게 적용되기 어렵다. 카메라가 구성되고 계산 능력이 분명하게 개선된 이동 기기의 보급에 따라, 낮은 비용의 시각 센서 및 IMU(Simultaneous Localization And Mapping, SLAM)에 기반하여 중대한 돌파를 획득하며, 이미 비교적 작은 범위 내에서 실시간 포지셔닝을 구현할 수 있다. 증강 디스플레이 측면에서, 스마트 단말에 구성된 SLAM에 기반한 증강 현실 플랫폼의 출시에 따라, 스마트 단말은 증강 현실(Augmented Reality, AR) 시대로 진입한다. 예를 들어 포즈에 대한 결정과 같은 대규모 시나리오의 높은 정밀도 지도의 재구축을 통해 지구급 시나리오에서의 선티미터(cm) 급 포지셔닝을 제공하는 것은, 하나의 추세가 되었다. 그러나, 관련 기술에서 낮은 비용의 기기에 기반하여 높은 정밀도의 포즈 결정을 구현하는 방안은 아직까지 존재하지 않았다.

도 1은 본 발명의 실시예에서 제공한 포즈 결정 방법의 흐름도이며, 상기 방법은 포즈 결정 장치에 적용될 수 있다. 여기서, 포즈 결정 장치는 단말 기기, 서버 또는 다른 처리 기기 등일 수 있다. 단말 기기는 사용자 기기(User Equipment, UE), 이동 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 폰, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨어러블 기기 등일 수 있다.

본 발명의 일부 실시예에 있어서, 본 발명 실시예가 제공한 포즈 결정 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 형태로 구현될 수 있다.

도 1에 도시된 바와 같이, 상기 포즈 결정 방법은 단계 S11 내지 단계 S13를 포함할 수 있다.

단계 S11에 있어서, 타깃 시나리오에서의 제1 단말에 의해 수집된 수집 데이터를 획득한다.

단계 S12에 있어서, 타깃 시나리오를 포함하는 글로벌 지도를 획득한다.

여기서, 글로벌 지도는, 제2 단말이 타깃 시나리오를 포함하는 글로벌 시나리오에 대해 데이터 수집을 수행하여 획득한 지도 데이터에 기반하여 생성된 것이고, 글로벌 지도는 정밀도 조건을 만족한다.

단계 S13에 있어서, 수집 데이터 및 글로벌 지도 사이의 특징 대응 관계에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정한다.

본 발명의 일부 실시예에 있어서, 타깃 시나리오는 제1 단말이 수집 데이터의 임의의 시나리오에서 획득할 수 있으며, 그의 실시 형태는 실제 수요에 따라 유연하게 결정될 수 있으며, 본 발명의 실시예에서 한정하지 않는다.

본 발명의 일부 실시예에 있어서, 타깃 시나리오는 실외 시나리오를 포함할 수 있으며, 예를 들어 광장, 거리 또는 공터 등이다.

본 발명의 일부 실시예에 있어서, 타깃 시나리오는 실내 시나리오를 포함할 수 있으며, 예를 들어 교실, 사무실 건물 또는 아파트 등이다.

본 발명의 일부 실시예에 있어서, 타깃 시나리오는 실외 시나리오 및 실내 시나리오를 동시에 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 제1 단말은 데이터 수집 기능을 구비한 이동 단말일 수 있으며, 임의의 이동 및 데이터 수집 기능을 구비한 기기는, 모두 제1 단말로 사용될 수 있다.

본 발명의 일부 실시예에 있어서, 제1 단말은 AR 기기일 수 있으며, 예를 들어 핸드폰 또는 AR 안경 등일 수 있다.

본 발명의 일부 실시예에 있어서, 수집 데이터는 제1 단말이 타깃 시나리오에서 수집한 데이터일 수 있으며, 수집 데이터의 구현 형식 및 포함한 데이터 내용은, 모두 제1 단말의 데이터 수집 형태, 또는 제1 단말의 데이터에 의해 수집된 실제 실시 형태에 따라 유연하게 결정될 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.

본 발명의 일부 실시예에 있어서, 제1 단말이 AR 기기일 경우, 수집 데이터는 AR 기기가 타깃 시나리오에 대해 이미지 수집을 수행하여 획득한 제1 수집 이미지 등을 포함할 수 있고; 제1 단말이 AR 기기일 경우, 수집 데이터는 AR 기기에서의 IMU가 타깃 시나리오에 대해 데이터를 수집하여 얻은 제1 IMU 데이터 등을 더 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 제1 단말은 타깃 시나리오에서 이동을 통해, 수집 데이터의 수집을 구현할 수 있고, 여기서, 제1 단말의 구체적인 이동 과정 및 형태는 모두 실제 상황에 따라 유연하게 선택할 수 있다.

본 발명의 일부 실시예에 있어서, 제1 단말에서 수집 데이터를 판독하고, 또는 제1 단말에 의해 전송된 수집 데이터를 수신하는 형태를 통해, 수집 데이터를 획득할 수 있으며; 본 발명의 일부 실시예에 있어서, 본 발명의 실시예가 제공한 포즈 결정 방법은 제1 단말에도 적용될 수 있으며, 이러한 경우에, 제1 단말이 타깃 시나리오에서 수집한 수집 데이터를 직접 획득할 수 있다.

본 발명의 일부 실시예에 있어서, 타깃 시나리오가 특정된 공터 또는 광장의 실외 시나리오를 포함하는 경우, 글로벌 시나리오는 타깃 시나리오의 교외 지역 또는 도시 지역의 시나리오를 포함할 수 있고, 동시에 상기 글로벌 시나리오는 상기 교외 지역 또는 도시 지역에서의 실외 시나리오를 포함할 수 있을 뿐만 아니라, 상기 교외 지역 또는 도시 지역에서의 실내 시나리오 등도 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 지도 데이터는 글로벌 시나리오에 대해 이미지 수집을 수행하여 얻은 제2 수집 이미지를 포함할 수 있고; 지도 데이터는 글로벌 시나리오에 대해 IMU 데이터 수집을 수행하여 얻은 제2 IMU 데이터를 포함할 수 있으며; 지도 데이터는 글로벌 시나리오에 대해 레이다 스캔을 수행하여 얻은 레이저 포인트 클라우드 데이터 등을 포함할 수도 있다.

본 발명의 일부 실시예에 있어서, 제2 단말이 이미지를 수집하기 위한 시각 센서를 포함하는 경우, 지도 데이터는 제2 수집 이미지를 포함할 수 있고; 제2 단말이 IMU 데이터를 수집하기 위한 IMU 센서를 포함하는 경우, 지도 데이터는 제2 IMU 데이터를 포함할 수 있으며; 제2 단말이 레이저 포인트 클라우드를 수집하기 위한 레이다를 포함하는 경우, 지도 데이터는 레이저 포인트 클라우드 데이터를 포함할 수 있다. 제2 단말이 포함하는 하드웨어 구조 및 연결 형태는 후속 각 발명의 실시예를 참조할 수 있으며, 여기서 먼저 전개하지 않는다.

본 발명의 일부 실시예에 있어서, 글로벌 지도의 구현 형식은 글로벌 시나리오의 실제 상황, 및 지도 데이터의 데이터 내용에 따라 공동으로 결정할 수 있다. 본 발명의 일부 실시예에 있어서, 글로벌 지도는 글로벌 시나리오에서 각 3 차원 특징 포인트의 관련 정보를 포함할 수 있다. 본 발명의 일부 실시예에 있어서, 글로벌 지도는 글로벌 시나리오에서 각 3 차원 특징 포인트의 관련 정보를 포함할 수 있고, 여기서, 글로벌 시나리오에서의 3 차원 특징 포인트는 이미지의 형식으로 전시될 수 있으며, 3 차원 특징 포인트의 관련 정보가 포함한 정보 내용은 실제 상황에 따라 유연하게 결정될 수 있고, 예를 들어 3 차원 특징 포인트의 좌표 및 3 차원 특징 포인트의 특징 정보를 포함하며, 여기서 3 차원 특징 포인트의 특징 정보는 3 차원 특징 포인트에 대응되는 특징 디스크립터, 3 차원 특징 포인트에 대응되는 통신 신호 지문, 또는 시맨틱 정보에서의 하나 또는 복수 개 등 특징과 관련된 정보를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 글로벌 지도의 정밀도는, 글로벌 지도에서 각 3 차원 특징 포인트의 위치 정밀도일 수 있으며, 예를 들어 글로벌 지도에 포함된 3 차원 특징 포인트의 좌표와, 3 차원 특징 포인트가 글로벌 시나리오에서의 실제 위치 사이의 위치 차이 값일 수 있다. 따라서, 글로벌 지도의 정밀도 조건은, 글로벌 지도에서 각 3 차원 특징 포인트의 위치가 정밀도 요구에 도달하였는지 여부를 결정하기 위한 것일 수 있고, 정밀도 조건의 구체적인 내용은 실제 상황에 따라 유연하게 설정할 수 있다.

본 발명의 일부 실시예에 있어서, 글로벌 지도에서 3 차원 특징 포인트의 좌표와, 그의 실제 위치 사이의 위치 차이 값의 난이도가 비교적 높을 수 있는 것을 직접 판단할 수 있고, 따라서, 지도 데이터의 데이터 수집량이 일정한 데이터 값에 도달 하였는지 여부, 또는 글로벌 지도를 생성하는 방법의 정밀도가 요구에 도달 하였는지 여부 등 형태를 통해, 글로벌 지도가 정밀도 조건을 만족하였는지 여부를 간접적으로 판단할 수 있다. 예를 들면, 수집한 지도 데이터에 대응되는 지리 범위와, 글로벌 시나리오가 커버한 지리 범위 사이의 비율이 기설정 임계값에 도달하였는지를 판단하는 형태를 통해, 글로벌 지도가 정밀도 조건을 만족하는지 여부를 간접적으로 추정할 수 있다.

본 발명의 일부 실시예에 있어서, 제2 단말에 의해 수집된 지도 데이터를 획득하는 것을 통해, 지도 데이터에 따라 포즈 결정 장치 내 글로벌 지도를 생생할 수 있고; 글로벌 지도도 다른 장치 또는 기기 내에서 생성을 수행할 수 있으며, 이러한 경우, 글로벌 지도를 획득하는 형태는 글로벌 지도를 저장 또는 생성하는 장치에서, 직접 글로벌 지도를 판독할 수 있다.

본 발명의 일부 실시예에 있어서, 제2 단말은 글로벌 시나리오에서 이동함으로써, 상응한 지도 데이터를 수집할 수 있다.

발명의 실시예에 있어서, 단계 S11과 단계 S12의 구현 순서는 본 발명의 실시예에서 한정하지 않으며, 예시적으로, 단계 S11과 단계 S12는 일정한 선후 순서에 따라 순차적으로 실행될 수 있고, 단계 S11과 단계 S12는 동시에 실행될 수도 있다.

본 발명의 실시예에 있어서, 수집 데이터는 타깃 시나리오에 대해 수집을 수행하여 얻은 데이터일 수 있고, 따라서, 수집 데이터는 타깃 시나리오의 특징을 반응할 수 있으며; 글로벌 지도에 대응되는 글로벌 시나리오는 타깃 시나리오를 포함하므로, 따라서 글로벌 지도에도 타깃 시나리오의 특징을 포함할 수 있으며, 이와 같이, 수집 데이터 및 글로벌 지도 사이의 특징 대응 관계에 따라, 수집 데이터와 글로벌 지도 사이의 특징 대응 관계를 포함할 수 있다. 또한, 제1 단말이 타깃 시나리오에서 이동함으로 대량의 수집 데이터를 수집할 수 있으며, 수집 데이터 사이에도 타깃 시나리오의 특징을 반응할 수 있으며, 따라서, 본 발명의 실시예에 있어서, 수집 데이터 및 글로벌 지도 사이의 특징 대응 관계도, 수집 데이터 자신이 포함하는 각 데이터 내부 사이의 특징 대응 관계를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 제1 포즈는, 제1 단말이 타깃 시나리오의 이동 과정에서, 데이터 수집 조작을 실행하는 시각에 대응되는 한 개 또는 복수 개 포즈일 수 있고; 여기서, 제1 포즈의 수량은 실제 상황에 따라 유연하게 결정할 수 있다. 본 발명의 일부 실시예에 있어서, 제1 포즈는 수집 데이터와 대응될 수 있고, 즉 제1 포즈는 제1 단말이 각 수집 데이터를 수집하는 시각에 대응되는 포즈일 수 있다.

본 발명의 실시예에 있어서, 타깃 시나리오에서 제1 단말에 의해 수집된 수집 데이터를 획득, 및 타깃 시나리오를 포함하는 글로벌 지도를 획득하는 것을 통해, 수집 데이터 및 글로벌 지도 사이의 특징 대응 관계에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정한다. 상기 과정을 통해, 글로벌 시나리오의 글로벌 지도를 중복 이용할 수 있고, 글로벌 지도를 생성한 후 제1 단말을 통해 대량의 제1 포즈를 수집하는 것을 규모화할 수 있으며, 제1 포즈를 생성하기 위한 수집 데이터를 획득하는 형태도 비교적 간단하며, 다만 제1 단말을 통해 수집을 구현할 수 있어, 타깃 시나리오에 대해 추가적인 기기 설정 또는 복수 개 기기 사이의 추가적인 교정 동기화를 감소함으로써, 제1 포즈에 의해 획득된 비용을 감소하고; 또한, 글로벌 지도가 정밀도 조건을 만족하므로, 따라서 수집 데이터 및 글로벌 지도 사이의 특징 대응 관계에 기반하여 얻은 제1 포즈도 비교적 높은 정밀도를 구비한다.

상기 각 발명의 실시예에 있어서, 지도 데이터의 획득 형태는 실제 상황에 따라 유연하게 결정할 수 있으며, 지도 데이터에 기반하여 글로벌 지도를 생성하는 형태는 지도 데이터의 실제 상황에 따라 유연하게 결정할 수 있다. 따라서, 본 발명의 일부 실시 형태에 있어서, 지도 데이터는, 글로벌 시나리오에서의 레이저 포인트 클라우드, 제2 수집 이미지 및 제2 IMU 데이터를 포함할 수 있다.

본 발명의 실시예에서 언급된 포즈 결정 방법은 또한,

제2 단말에 의해 수집된 글로벌 시나리오의 지도 데이터를 통해 획득하는 단계; 및

지도 데이터에 따라, 글로벌 시나리오에 대해 오프라인 재구축을 수행하여, 글로벌 시나리오의 글로벌 지도를 생성하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 레이저 포인트 클라우드는, 제2 단말을 통해 글로벌 시나리오에 대해 레이다 스캔을 수행하여 얻은 복수 개 레이저 포인트에 의해 구성된 포인트 클라우드일 수 있으며, 레이저 포인트 클라우드에 포함된 레이저 포인트 수량은 제2 단말의 레이다 스캔 상황, 및 제2 단말이 글로벌 시나리오에서의 이동 궤적에 따라 공동으로 유연하게 결정할 수 있으며, 본 발명의 실시예에서 한정하지 않는다.

본 발명의 일부 실시예에 있어서, 제2 수집 이미지는 제2 단말이 글로벌 시나리오 내 이동한 과정에서 수집한 복수 개 이미지일 수 있고, 제2 수집 이미지의 수량은 제2 단말이 글로벌 시나리오에서의 이동 상황, 및 제2 단말이 포함하는 이미지를 수집하기 위한 하드웨어 기기의 수량에 따라 공동으로 결정할 수 있고, 본 발명의 실시예에 있어서 한정하지 않는다.

본 발명의 일부 실시예에 있어서, 제2 IMU 데이터는 제2 단말이 글로벌 시나리오 내 이동한 과정에서 수집한 관련 관성 측정 데이터일 수 있고, 제2 IMU 데이터의 수량은 동일하게 제2 단말이 글로벌 시나리오에서의 이동 상황, 및 제2 단말에 의해 포함된 IMU 데이터를 수집하기 위한 하드웨어 기기의 수량에 따라 공동으로 결정할 수 있으며, 본 발명의 실시예에 있어서 한정하지 않는다.

본 발명의 실시예에 있어서, 레이저 포인트 클라우드, 제2 수집 이미지 및 제2 IMU 데이터를 포함하는 지도 데이터를 획득하는 것을 통해, 획득된 지도 데이터에 따라, 글로벌 시나리오에 대해 오프라인 재구축을 수행하여, 글로벌 시나리오의 글로벌 지도를 생성한다. 상기 과정을 통해, 글로벌 시나리오에 대해 비교적 전면적인 지도 데이터 수집을 완성한 후, 수집된 대량의 지도 데이터를 종합하여, 글로벌 시나리오에 대해 전면적으로 오프라인 재구축을 수행함으로써, 생성된 글로벌 지도가 비교적 높은 정밀 도를 구비하게 하여, 글로벌 지도와 수집 데이터에 기반하여 결정된 적어도 하나의 제1 포즈의 결과가 비교적 정확하게 하며; 동시에, 지도 데이터는 레이저 포인트 클라우드, 제2 수집 이미지 및 제2 IMU 데이터를 포함하므로, 이러한 데이터의 획득 형태는 비교적 쉽고 획득 과정이 공간의 제약을 받는 경우가 적으며, 따라서, 본 발명의 실시예에 언급된 자세 결정 방법은 지도 데이터 및 글로벌 지도를 획득하는 난이도가 비교적 작음으로써, 환경 및/또는 기기에 대한 의존을 낮추고, 상기 포즈 결정 방법이 다양한 시나리오에서 적용되게 할 수 있다.

예를 들어 상기 발명의 실시예에서 있어서, 오프라인 재구축의 과정은 실제 상황에 따라 유연하게 결정할 수 있다. 본 발명의 일부 실시 형태에 있어서, 지도 데이터에 따라, 글로벌 시나리오에 대해 오프라인 재구축을 수행하여, 글로벌 시나리오의 글로벌 지도를 생성하는 단계는,

제2 IMU 데이터와 레이저 포인트 클라우드에 따라, 제2 단말이 데이터 수집 과정에서의 적어도 하나의 제2 포즈를 결정하는 단계;

적어도 하나의 제2 포즈, 제2 수집 이미지 결합에 따라, 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 획득하는 단계 - 시각적 포인트 클라우드는 글로벌 시나리오에서의 적어도 하나의 3 차원 특징 포인트를 포함함 - ; 및

적어도 하나의 프레임의 시각적 포인트 클라우드에 따라, 글로벌 시나리오의 글로벌 지도를 획득하는 단계를 포함한다.

본 발명의 일부 실시예에 있어서, 제2 IMU 데이터에 따라, 제2 단말이 데이터 수집 과정에서의 상이한 시각에, 획득한 레이저 포인트를 상기 시각의 레이저 레이다 프레임에 투영하여, 레이저 포인트의 투영 결과에 기반하여, 제2 단말이 데이터 수집 과정에서 상이한 시각의 제2 포즈에 대해 추산할 수 있다.

본 발명의 일부 실시예에 있어서, 제2 단말이 데이터 수집 과정에서의 적어도 하나의 제2 포즈를 결정한 후, 적어도 하나의 제2 포즈에 따라, 제2 수집 이미지를 결합하며, 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻을 수 있다. 시각적 포인트 클라우드는 글로벌 시나리오에서의 적어도 하나의 3 차원 특징 포인트를 포함할 수 있고, 시각적 포인트 클라우드의 수량 및 포함하는 3 차원 특징 포인트의 수량은 본 발명 실시예에서 한정하지 않는다.

본 발명의 일부 실시예에 있어서, 글로벌 지도는 하나의 프레임 또는 복수 개 프레임의 시각적 포인트 클라우드를 포함할 수 있다. 상기 각 발명의 실시예에 있어서, 글로벌 지도는 글로벌 시나리오에서 각 3 차원 특징 포인트의 관련 정보를 포함할 수 있다. 본 발명의 일부 실시예에 있어서, 시각적 포인트 클라우드는 시각 이미지를 통해 얻을 수 있고, 이러한 경우, 글로벌 지도는 시각적 포인트 클라우드의 시각 이미지를 관측하기 위한 적어도 하나의 프레임을 더 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 시각적 포인트 클라우드는 3 차원 특징 포인트를 포함하고, 3 차원 특징 포인트도 글로벌 지도에 저장될 수 있으므로, 시각적 포인트 클라우드도 3 차원 특징 포인트의 특징 정보와 대응할 수 있다. 본 발명의 일부 실시예에 있어서, 3 차원 특징 포인트의 특징 디스크립터는 제2 수집 이미지에서 추출된 특징에 따라 결정될 수 있고, 따라서, 시각적 포인트 클라우드는 3 차원 특징 포인트의 특징 디스크립터와 대응할 수 있다. 본 발명의 일부 실시예에 있어서, 지도 데이터에는 또한 통신과 관련된 신호 데이터가 포함될 수 있고, 예를 들어 WiFi 신호, 블루투스 신호 또는 UWB 신호 등이며, 이러한 신호는 신호 지문으로 사용될 수 있으며, 3 차원 특징 포인트와 대응함으로써, 3 차원 특징 포인트의 특징 정보로 사용되며, 따라서, 시각적 포인트 클라우드는 3 차원 특징 포인트의 통신 신호 지문과 대응할 수 있고; 본 발명의 일부 실시예에 있어서, 제2 수집 이미지에는 일부 시맨틱 정보를 더 포함할 수 있고, 이러한 시맨틱 정보는 3 차원 특징 포인트 사이와 대응 관계를 구축할 수도 있음으로써, 3 차원 특징 포인트의 특징 정보로 사용하며, 이러한 경우, 시각적 포인트 클라우드는 시맨틱 정보와 대응 관계를 구축할 수 있다.

본 발명의 일부 실시예에 있어서, 스케일 불변 특징 변환(Scale-Invariant Feature Transform, SIFT)을 통해 제2 수집 이미지에 대해 특징 추출 및 매칭을 수행할 수 있음으로써, 적어도 하나의 프레임의 시각적 포인트 클라우드를 생성하고, 예시적으로, 레이저 포인트 클라우드 및 제2 IMU 데이터에 따라 적어도 하나의 제2 포즈를 결정한 후, 추가적으로 적어도 하나의 프레임의 시각적 포인트 클라우드에서, 각 3 차원 특징 포인트의 좌표 등 정보를 관측할 수 있다.

본 발명의 일부 실시예에 있어서, 얻은 전부의 시각적 포인트 클라우드, 및 이러한 시각적 포인트 클라우드에 대응되는 3 차원 특징 포인트의 특징 정보 등을, 공동으로 글로벌 지도로 사용할 수 있고; 본 발명의 일부 실시예에 있어서, 얻은 시각적 포인트 클라우드에서 하나의 프레임 또는 복수 개 프레임을 선택할 수 있으며, 하나의 프레임 또는 복수 개 프레임의 시각적 포인트 클라우드에 대응되는 3 차원 특징 포인트의 특징 정보 등을, 공동으로 글로벌 지도로 사용할 수 있다.

본 발명 실시예에 있어서, 레이저 포인트 클라우드, 제2 IMU 데이터 및 제2 수집 이미지를 종합적으로 이용하고, 시각적 포인트 클라우드를 통해 글로벌 시나리오에서 각 3 차원 특징 포인트의 위치 및 특징 등 정보를 나타내며, 비교적 쉽게 획득한 데이터를 이용하여 즉 글로벌 지도의 재구축을 구현할 수 있고, 재구축된 결과는 비교적 정확하며, 전체 자세 결정 과정의 편의성 및 결정 정밀도를 향상시킨다.

본 발명의 일부 실시 형태에 있어서, 적어도 하나의 제2 포즈에 따라, 제2 수집 이미지를 결합하여, 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임 시각적 포인트 클라우드를 획득하는 단계는,

적어도 하나의 제2 포즈에 따라, 제2 수집 이미지를 결합하여, 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드를 얻는 단계;

레이저 포인트 클라우드 및 제2 수집 이미지 중 적어도 하나에 따라, 시각 지도 재구축 과정에서의 제3 제약 정보를 획득하는 단계; 및

제3 제약 정보에 따라, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드에 대해 최적화하며, 적어도 하나의 프레임 시각적 포인트 클라우드를 획득하는 단계를 포함한다.

레이저 포인트 클라우드에 따라 결정된 제2 포즈이므로, 정밀도가 비교적 낮을 수 있다. 이러한 경우, 직접 결정된 제2 포즈를 이용하고, 제2 수집 이미지를 결합하여 시각 지도 재구축에 의해 얻은 시각적 포인트 클라우드는, 비교적 큰 소음을 포함할 수 있다. 따라서, 본 발명의 실시예에 있어서, 제2 포즈 및 제2 수집 이미지에 따라, 글로벌 시나리오에 대해 시각 지도 재구축을 수행한 후, 시각 지도 재구축에 의해 얻은 이미지를 초기 시각적 포인트 클라우드로 사용할 수 있고, 레이저 포인트 클라우드 및 제2 수집 이미지 중 적어도 하나에 따라 생성된 제3 제약 정보는, 초기 시각적 포인트 클라우드에 대해 추가로 최적화를 수행함으로써, 초기 시각적 포인트 클라우드에서의 소음을 낮추며, 비교적 높은 정밀도를 구비한 시각적 포인트 클라우드를 획득한다.

여기서, 제2 포즈 및 제2 수집 이미지에 따라 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드의 과정을 얻으며, 상기 발명의 실시예를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예에 있어서, 제3 제약 정보는 레이저 포인트 클라우드 및 제2 수집 이미지 중 적어도 하나에 따라 결정된 제약 정보일 수 있다.

본 발명의 일부 실시 형태에 있어서, 레이저 포인트 클라우드에 따라, 시각 지도 재구축 과정에서의 제3 제약 정보를 획득하는 단계는,

실시간 레이다 오도메이트 및 매핑(Lidar Odometry and Mapping in real-time, LOAM) 방법을 통해, 레이저 포인트 클라우드에 대해 특징 추출을 수행하여, 레이저 포인트 클라우드의 평면 특징 정보 및 에지 특징 정보를 결정하는 단계;

레이저 포인트 클라우드의 평면 특징 정보에 따라, 시각 지도 재구축 과정에서 레이저 포인트 클라우드의 평면 제약 정보를 결정하는 단계;

레이저 포인트 클라우드의 에지 특징 정보에 따라, 시각 지도 재구축 과정에서 레이저 포인트 클라우드의 에지 제약 정보를 결정하는 단계; 및

레이저 포인트 클라우드의 평면 제약 정보 및 레이저 포인트 클라우드의 에지 제약 정보중 적어도 하나에 따라, 시각 지도 재구축 과정에서의 제3 제약 정보를 획득하는 단계를 포함할 수 있다.

여기서, 레이저 포인트 클라우드의 평면 특징 정보는 레이저 포인트 클라우드의 실제 경우에 따라 유연하게 결정할 수 있으며, 레이저 포인트 클라우드의 평면 특징 정보에 기반하여 결정된 평면 제약 정보의 구체적인 형태는, 실제 경우에 따라 유연하게 선택을 수행할 수 있으며, 예시적으로, 평면 제약 정보는 식 (1)을 통해 계산하여 획득할 수 있다.

식 (1)에서,

과

은 2개 상이한 레이저 포인트 클라우드 좌표계이고,

은 좌표계

에서 특징 포인트

곳의 평면 특징 법선 벡터이고,

는

의 전치이며,

는 좌표계

과

사이의 변환 관계이고,

는 좌표계

에서의 특징 포인트이며,

는 좌표계

에서의 특징 포인트이고,

는

좌표 변환 관계에 의거하며

에 실행된 좌표 변환이며,

는 레이저 포인트 클라우드 평면 특징의 공분산 매트릭스이고, 여기서,

의 수치는 실제 경우에 따라 유연하게 설정할 수 있으며, 예를 들어,

를 0.2

로 설정할 수 있다.

마찬가지로, 레이저 포인트 클라우드의 에지 특징 정보도 레이저 포인트 클라우드의 실제 경우에 따라 유연하게 결정할 수 있으며, 레이저 포인트 클라우드의 에지 특징 정보에 기반하여 결정된 에지 제약 정보의 구체적인 형태는, 실제 경우에 따라 유연하게 선택을 수행할 수 있고, 예시적으로, 에지 제약 정보는 식 (2) 계산을 통해 얻을 수 있다.

식 (2)에서,

는 좌표계

에서 특징 포인트

의 에지 특징 방향 벡터이고,

는 레이저 포인트 클라우드 에지 특징의 공분산 매트릭스이며, 나머지 파라미터는 식 (1)에서 대응되는 파라 미터와 의미가 동일하고,

를 0.5

로 설정할 수 있다.

레이저 포인트 클라우드의 평면 제약 정보 및 레이저 포인트 클라우드의 에지 제약 정보를 각각 결정한 후, 평면 제약 정보 및 에지 제약 정보를 모두 제3 제약 정보로 사용할 수 있고, 평면 제약 정보 또는 에지 제약 정보에서의 하나를 제3 제약 정보로 사용할 수도 있으며, 구체적인 선택 방법은 실제 경우에 따라 유연하게 결정할 수 있다.

본 발명의 일부 실시예에 있어서, 제2 수집 이미지에 따라, 시각 지도 재구축 과정에서의 제3 제약 정보를 획득하는 단계는,

초기 시각적 포인트 클라우드와 대응되는 3 차원 특징 포인트를 초기 시각적 포인트 클라우드에 투영하여, 투영 결과를 획득하는 단계;

투영 결과와 초기 시각적 포인트 클라우드에서 2 차원 특징 포인트 사이의 오차에 따라, 시각 지도 재구축 과정에서의 시각 제약 정보를 획득하는 단계 - 2 차원 특징 포인트는 초기 시각적 포인트 클라우드에서 3 차원 특징 포인트와 대응되는 2 차원 특징 포인트임 - ; 및

시각 제약 정보에 따라, 시각 지도 재구축 과정에서의 제3 제약 정보를 획득하는 단계를 포함할 수 있다.

투영 결과와 초기 시각적 포인트 클라우드에서 3 차원 특징 포인트와 대응되는 2 차원 특징 포인트 사이의 오차에 따라, 시각 지도 재구축 과정에서의 시각 제약 정보의 구체적인 과정을 획득할 수 있고, 실제 경우에 따라 유연하게 선택할 수 있다. 예시적으로, 시각 제약 정보는 식 (3)을 통해 계산하여 획득할 수 있다.

식 (3)에서,

는 시각적 포인트 클라우드와 대응되는 j번째 3 차원 특징 포인트이고,

는 제i 프레임의 초기 시각적 포인트 클라우드에서 3 차원 특징 포인트와 대응되는 2 차원 특징 포인트이고,

는 3 차원 특징 포인트

를 제I 프레임의 초기 시각적 포인트 클라우드에 투영한 투영 결과이며,

는 이미지 특징에 의해 제약된 공분산 매트릭스이며, 여기서,

의 수치는 실제 경우에 따라 유연하게 설정할 수 있고, 예시적으로,

는 2픽셀 평방으로 설정할 수 있다.

본 발명의 일부 실시예에 있어서, 제3 제약 정보는 레이저 포인트 클라우드의 평면 제약 정보, 레이저 포인트 클라우드의 에지 제약 정보 및 시각 제약 정보 중의 하나 또는 복수 개를 포함할 수 있다. 본 발명의 일부 실시예에 있어서, 제3 제약 정보는레이저 포인트 클라우드의 평면 제약 정보, 레이저 포인트 클라우드의 에지 제약 정보 및 시각 제약 정보를 동시에 포함할 수 있고, 이러한 경우, 제3 제약 정보에 따라, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드에 대해 최적화하며, 적어도 하나의 프레임 시각적 포인트 클라우드를 얻는 과정은 식 (4)를 통해 구현할 수 있다.

식 (4)에서,

는 레이저 포인트 클라우드에서 평면의 포인트에 의해 구축된 포인트 클라우드에 속하고,

는

의 세트이며,

는 레이저 포인트 클라우드에서 에지의 포인트에 의해 구측된 포인트 클라우드에 속하고,

는

의 세트이며, 나머지 각 파라미터의 의미는 상기 각 발명 실시예를 참조할 수 있다.

본 발명의 일부 실시예에 있어서, 제3 제약 정보에 따라, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드에 대해 최적화하고, 초기 시각적 포인트 클라우드가 포함하는 3 차원 특징 포인트에 대해 최적화하는 것을 포함할 수 있고, 제2 단말에서 제2 수집 이미지를 수집하는 기기의 포즈에 대해 최적화하는 것을 포함할 수도 있으며, 제2 단말에서 제2 수집 이미지를 수집하는 기기의 포즈에 대해 최적화할 경우, 상응하게, 제2 단말에 대응되는 제2 포즈에 대해서도 최적화함으로써, 제2 포즈의 정밀도가 비교적 낮아 초래된 시각적 포인트 클라우드에 포함된 소음을 감소한다. 또한, 시각적 포인트 클라우드에 대해 최적화한 후, 시각적 포인트 클라우드의 최적화 결과에 기반하여, 시각 지도 재구축 과정의 제3 제약 정보를 다시 획득할 수 있고, 제3 제약 정보에 기반하여, 시각적 포인트 클라우드에 대해 추가로 반복 최적화를 수행하며, 반복된 횟수는 실제 경우에 따라 유연하게 선택할 수 있고, 본 발명의 실시예에서 한정하지 않는다.

도 2는 본 발명의 실시예에서 제공한 시각적 포인트 클라우드 최적화 전후의 비교 예시도이다. 도 2에서 동일한 시나리오에 대해, 블록(201) 및 블록(202)에는 최적화 전의 시각적 포인트 클라우드에 대응되는 시각 이미지이고, 블록(203) 및 블록(204)에는 최적화 후의 시각적 포인트 클라우드에 대응되는 시각 이미지이며, 도 2에서 보다시피, 최적화 후 시각적 포인트 클라우드에서의 소음 포인트는 조금 감소되었고, 선명도는 현저하게 개선되었으며, 최적화 후의 시각적 포인트 클라우드는 더욱 높은 정밀도를 구비하고, 상응하게, 최적화 후의 시각적 포인트 클라우드에 대응되는 3 차원 특징 포인트의 정밀도도 개선되었다.

따라서, 본 발명의 실시예에 있어서, 제2 단말은,

글로벌 시나리오에서의 레이저 포인트 클라우드를 획득하기 위한 레이다;

글로벌 시나리오에서의 제2 수집 이미지를 획득하기 위한 시각 센서; 및

글로벌 시나리오에서의 제2 IMU 데이터를 획득하기 위한 IMU 센서를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 레이다는 레이저 포인트 클라우드 수집 기능을 구비한 임의의 레이다일 수 있고, 예시적으로, 레이다는 3 차원(Three Dimension, 3D) 레이다일 수 있다. 시각 센서는 이미지 수집 기능을 구비한 임의의 센서일 수 있고, 예를 들어 카메라 등이다. 본 출원의 일부 실시예에 있어서, 제2 단말은 360° 이미지 수집 기능을 구비한 4 어레이 카메라를 동시에 포함할 수 있다. IMU 센서의 실시 형태는 마찬가지로 실제 경우에 따라 유연하게 결정할 수 있다. 제2 단말에서 레이다, 시각 센서 및 IMU 센서 사이의 설정 위치 및 연결 관계는 실제 경우에 따라 유연하게 선택할 수 있다.

본 발명의 일부 실시예에 있어서, 레이다, 시각 센서와 IMU 센서 사이는 강성 연결할 수 있고, 구체적인 연결 순서는 실제 경우에 따라 유연하게 선택할 수 있다. 본 발명의 일부 실시예에 있어서, 시각 센서 및 IMU 센서는 고정적으로 연결할 수 있고 하나의 고정 구조 유닛으로 패키징 할 수 있으며, 레이다는 고정 구조 유닛의 위에 설정할 수 있다. 본 발명의 일부 실시예에 있어서, 시각 센서, IMU 센서 및 레이다는 하나의 배낭에 고정적으로 설정할 수도 있다.

도 3은 본 발명의 실시예에서 제공한 제2 단말의 구조 예시도이다. 도 3에서 보다시피, 시각 센서 및 IMU 센서는 고정 연결할 수 있고 고정 구조 유닛(301)으로 패키징 할 수 있으며, 상기 고정 구조 유닛(301)의 하단은 배낭(302) 내에 설정함으로써 휴대하기 편리하고, 레이다(303)는 고정 구조 유닛(301)의 위에 설정할 수 있다.

본 발명의 실시예에 있어서, 제2 단말에 레이다, 시각 센서 및 IMU 센서를 포함하는 것을 통해, 글로벌 시나리오에서의 지도 데이터에 대해 전면 수집을 수행함으로써, 후속 글로벌 지도의 생성에 편리할 수 있다. 도 3에 도시된 간단하고 비용이 낮은 하드웨어 기기인 제2 단말을 통해 지도 데이터를 수집하여, 지도 데이터 획득을 위한 기기 비용을 낮출 수 있음으로써, 제1 포즈 데이터를 결정하는 하드웨어 구현 비용 및 난이도를 낮춘다.

제2 단말이 레이다, 시각 센서 및 IMU 센서 등 하드웨어 기기를 포함할 수 있으므로, 이러한 하드웨어 기기는 사용하기 전에 교정 또는 측정 데이터 시간을 교정할 필요가 있으며, 또한, 각 하드웨어에 대해 교정을 하는 동시에, 상이한 하드웨어 사이의 좌표 변환 관계에 대해 교정할 수도 있어, 생성된 글로벌 지도의 정밀도를 향상시킨다. 따라서, 본 발명의 일부 실시예에 있어서, 지도 데이터에 따라, 글로벌 시나리오에 대해 오프라인 재구축을 수행하며, 글로벌 시나리오의 글로벌 지도를 생성하기 전에 또한,

시각 센서와 IMU 센서 사이의 좌표 변환 관계에 대해 교정하여, 제1 교정 결과를 획득하는 단계;

레이다와 시각 센서 사이의 좌표 변환 관계에 대해 교정하여, 제2 교정 결과를 획득하는 단계;

제1 교정 결과 및 제2 교정 결과에 따라, 시각 센서, IMU 센서 및 레이다 사이의 좌표 변환 관계에 대해 연합 교정을 수행하는 단계를 포함할 수 있다.

본 발명의 실시예에 있어서, 시각 센서와 IMU 센서 사이의 좌표 변환 관계에 대해 교정을 수행하는 형태는 실제 경우에 따라 유연하게 선택할 수 있고, 예시적으로, Kalibr 도구를 통해 시각 센서 및 IMU 센서의 교정을 구현할 수 있으며; 레이다와 시각 센서 사이의 좌표 변환 관계에 대해 교정을 수행하는 형태는 동일하게 실제 경우에 따라 유연하게 선택할 수 있고; AutoWare 프레임워크를 통해 레이다와 시각 센서의 교정을 구현할 수도 있다. 예시적으로, 교정 과정에서 오차가 존재할 수도 있으므로, 따라서 가능한 실시 형태에 있어서, 제1 교정 결과 및 제2 교정 결과에 따라, 시각 센서, IMU 센서 및 레이다 사이의 좌표 변환 관계에 대해 연합 교정과 최적화를 수행할 수도 있으며, 상이한 하드웨어 기기 사이의 좌표 변환 관계가 더욱더 정확하다.

본 발명의 일부 실시예에 있어서, 연합 교정은 식 (5)를 통해 구현할 수 있다.

식 (5)에서,

는 제2 단말에서의 i번째 시각 센서이고,

는 IMU센서이고,

는 레이다이며,

는 i번째 시각 센서와 IMU 센서 사이의 좌표 변환 관계이고,

는 레이다와 IMU 센서 사이의 좌표 변환 관계이고,

는 레이다와i번째 시각 센서 사이의 좌표 변환 관계이며, 공분산 차

는 각각 IMU 센서 및 레이다 각자 교정 과정에서의 오차를 대표하며, 상기 오차의 값은 실제 경우에 따라 유연하게 설정할 수 있고, 예시적으로,

및

의 대각 매트릭스에서 모든 회전 요소는 모두 0.01

로 설정할 수 있고,

의 모든 회전 요소는 0.03

로 설정할 수 있으며,

의 모든 회전 요소 타입은 (0.03, 0.03, 0.15)

로 설정할 수 있다.

식 (5)에서 도시된 연합 교정에 기반하여 얻은 시각 센서 및 IMU 센서 사이의 좌표 변환 관계, 및 레이다와 IMU 센서 사이의 좌표 변환 관계는, 전체의 교정 오차가 비교적 작게 하고, 따라서, 상기 교정이 끝난 후 글로벌 지도의 생성을 더 수행하여, 글로벌 지도의 정밀도를 대폭 향상시킴으로써, 전체 포즈 결정 과정의 정밀도를 향상시킨다.

본 발명의 실시예에서 언급된 포즈 결정 방법은 또한,

제2 단말이 지도 데이터를 수집하는 과정에서, 지도 데이터에 따라 글로벌 시나리오에 대해 실시간 재구축을 수행하여, 글로벌 시나리오의 실시간 지도를 생성하는 단계; 및

타깃 기기에 지도 데이터 및 실시간 지도 중 적어도 하나를 송신하는 단계 - 타깃 기기는 글로벌 시나리오 완료 데이터에 대해 수집한 지리 범위를 디스플레이 하기 위함 - 를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 지도 데이터의 수집 경우를 편리하게 파악하기 위하여, 제2 단말이 지도 데이터를 수집하는 과정에서, 지도 데이터에 따라 글로벌 시나리오에 대해 실시간 재구축을 수행하여, 글로벌 시나리오의 실시간 지도를 생성할 수 있다. 실시간 지도의 실시 형태는 글로벌 지도를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않으며, 하나의 예시에서, 실시간 지도는 글로벌 시나리오에서 제2 단말이 이미 수집한 지도 데이터에 대응되는 각 시나리오를 커버할 수 있다.

실제 적용에 있어서, 실시간 재구축은 현재 이미 수집한 지도 데이터에 기반하여 재구축할 수 있으므로, 오프라인 재구축에서 수집 완료 후 획득한 대량의 지도 데이터에 기반하여 재구축하는 것과 비교하여, 재구축의 데이터 량이 비교적 작으므로, 따라서 더 높은 재구축 속도를 구비할 수 있다. 본 발명의 일부 실시예에 있어서, 실시간 재구축 과정에서, 오프라인 재구축에서의 일부 최적화 과정을 생략하여 재구축 속도를 향상시킬 수 있고, 예를 들어, 실시간 재구축 과정에서, 제3 제약 정보 획득 및 제3 제약 정보에 따라 시각적 포인트 클라우드에 대한 최적화의 과정을 생략할 수 있다. 본 발명의 일부 실시예에 있어서, 실시간 재구축은, 일명 동기화 지도 작성과 포지셔닝 (Concurrent Mapping and Localization, CML) 시스템이라고 하는 일부 특정된 3D 레이다 실시간 포지셔닝과 지도 구축 SLAM을 통해 구현하고, 예시적으로, 오픈 소스의 Cartographer를 통해, 글로벌 시나리오에 대해 실시간 재구축을 수행하여, 글로벌 시나리오의 실시간 지도를 생성할 수도 있다.

본 발명의 일부 실시예에 있어서, 타깃 기기는 글로벌 시나리오에 대해 데이터 수집을 완료한 지리 범위를 디스플레이 하기 위한 것이고, 즉 타깃 기기는 제2 단말이 이미 수집한 지도 데이터가 커버한 지리 범위를 디스플레이함으로써, 제2 단말이 글로벌 시나리오에서의 후속 이동 방향 및 지도 데이터의 수집 수요를 지시할 수 있다. 본 발명의 일부 실시예에 있어서, 타깃 기기는 지도 데이터 수집 인원이 유연하게 제어할 수 있는 핸드 헬드 기기일 수 있고, 예를 들어 태블릿 컴퓨터 또는 핸드폰 등이며; 본 발명의 일부 실시예에 있어서, 제2 단말을 이동 기기에 설정하여(예를 들어 자동 로봇 등) 지도 데이터를 수집하는 조건에서, 타깃 기기는 이동 기기 및 컨트롤러 또는 디스플레이 스크린 등일 수 있다.

본 발명의 일부 실시예에 있어서, 타깃 기기에 이미 수집한 지도 데이터를 송신할 수 있고, 또는 타깃 기기에 실시간 지도를 송신하며, 또는 타깃 기기에 지도 데이터 및 실시간 지도 등을 동시에 송신한다.

실제 적용에 있어서, 만약 제2 기기에 의해 수집된 지도 데이터가 충분히 포괄적이지 않으면, 예를 들어 글로벌 시나리오에서 부분 시나리오 내 지도 데이터의 수집을 누락하면, 오프라인으로 구축된 글로벌 지도 정밀도를 낮추는 문제를 쉽게 초래하고, 만약 다시 글로벌 시나리오에 대해 지도 데이터의 수집을 수행하면, 추가적인 인력 비용 및 계산 비용이 생성되며; 또한, 실제 적용에 있어서, 지도 데이터의 수집 과정에서, 중복으로 수집된 경우가 발생할 수도 있다. 본 발명의 실시예에 있어서, 제2 단말이 지도 데이터를 수집하는 과정에서, 지도 데이터에 따라 글로벌 시나리오에 대해 실시간 재구축하여 실시간 지도를 생성하며, 타깃 기기에 지도 데이터 및 실시간 지도 중 적어도 하나를 송신하며, 실시간 지도에 기반하여, 글로벌 시나리오에서 이미 지도 데이터를 수집을 수행한 구역에 대해 실시간 미리 보기를 수행할 수 있고, 수시로 지도의 재구축 질량을 통제함으로써, 지도 데이터의 수집 효율 및 성공률을 향상시키고, 지도 데이터 누락 수집 또는 중복 수집의 리스크를 낮출 수도 있다.

상기 각 발명 실시예의 다양한 그룹 형태를 통해 글로벌 지도를 생성할 수 있으므로, 단계 S12를 통해 글로벌 지도 획득하는 것은 구현될 가능성을 구비한다. 수집 데이터 및 글로벌 지도를 획득한 후, 상기 각 발명의 실시예와 같이, 단계 S13을 통해, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정할 수 있다.

단계 S13의 실시 형태는 유연하게 결정할 수 있으며, 본 발명의 실시예에 있어서, 글로벌 지도는 적어도 하나의 프레임 시각적 포인트 클라우드를 포함할 수 있고, 시각적 포인트 클라우드는 글로벌 시나리오에서의 적어도 하나의 3 차원 특징 포인트를 포함하고; 수집 데이터는 제1 수집 이미지를 포함하며; 이러한 경우, 단계 S13은,

제1 수집 이미지와 적어도 하나의 프레임 시각적 포인트 클라우드에 대해 특징 매칭하여, 글로벌 특징 매칭 결과를 획득하는 단계; 및

글로벌 특징 매칭 결과에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 제1 수집 이미지는 제1 단말이 타깃 시나리오에서 수집한 이미지일 수 있고, 제1 수집 이미지의 수량은 하나의 프레임일 수 있고, 복수 개 프레임일 수도 있으며, 실제 경우에 따라 결정하며, 본 발명의 실시예에 있어서 한정하지 않는다.

본 발명의 일부 실시예에 있어서, 글로벌 특징 매칭 결과는 적어도 하나의 프레임의 시각적 포인트 클라우드에서, 제1 수집 이미지에서의 2 차원 특징 포인트와 매칭되는 3 차원 특징 포인트일 수 있다.

시각적 포인트 클라우드의 실시 형태는 상기 각 발명 실시예를 참조할 수 있으며, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 일부 실시예에 있어서, 제1 수집 이미지와 시각적 포인트 클라우드 사이의 특징 매칭 관계는, 실제 경우에 따라 유연하게 선택할 수 있고, 임의의 이미지 사이 특징 매칭을 구현할 수 있는 방법은, 모두 제1 수집 이미지 및 시각적 포인트 클라우드 사이의 특징 매칭 형태로 사용될 수 있으며, 예시적으로, SIFT를 사용하거나, 및/또는 스파스 광류 모니터링 방법(Kanade-Lucas-Tomasi Tracking Method, KLT)을 사용하여, 제1 수집 이미지 및 적어도 하나의 프레임의 시각적 포인트 클라우드에 대해 특징 매칭을 수행할 수 있다.

가능한 실시 형태에 있어서, 제1 수집 이미지와 상기 적어도 하나의 프레임의 시각적 포인트 클라우드를 특징 매칭하여, 글로벌 특징 매칭 결과를 얻는 단계는,

제1 수집 이미지에서의 2 차원 특징 포인트는, 적어도 하나의 프레임의 시각적 포인트 클라우드가 포함하는 3 차원 특징 포인트와 매칭하여, 글로벌 특징 매칭 결과를 얻는 단계를 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 제1 수집 이미지에서의 2 차원 특징 포인트는, 적어도 하나의 프레임의 시각적 포인트 클라우드가 포함하는 3 차원 특징 포인트와 특징 매칭하여, 글로벌 매칭 결과를 얻을 수 있다. 여기서, 특징 매칭하기 위한 특징 정보는 특징 디스크립터, 통신 신호 지문 또는 시맨틱 정보 등 각 특징 정보의 하나의 또는 복수 개일 수 있다.

본 발명의 일부 실시예에 있어서, 글로벌 특징 매칭 결과는 근사 최근접 이웃 알고리즘(Approximate Nearest Neighbor, ANN)의 형태를 통해 구현할 수 있다. 예를 들어, 제1 수집 이미지가 포함하는 특징은, 글로벌 지도에서 상기 특징과 제일 근접한 K 개 특징을(K의 수량은 실제 경우에 따라 유연하게 설정할 수 있음) 찾을 수 있다. 다음 K 개 특징은 글로벌 지도에서의 각 프레임의 시각적 포인트 클라우드에 대해 투표하여, 시각적 포인트 클라우드가 제1 수집 이미지에 대응하는지 여부를 결정하며, 만약 특정 프레임 또는 특정 복수 개 프레임의 시각적 포인트 클라우드의 투표수가 설정된 임계값을 초과하면, 특정 프레임 또는 특정 복수 개 프레임의 시각적 포인트 클라우드에 대응되는 시각 이미지는 제1 수집 이미지의 공동 시야 이미지로 간주될 수 있고, 공동 시야 이미지에서, 제1 수집 이미지에서의 2 차원 특징 포인트와 매칭된 각 3 차원 특징 포인트는, 글로벌 특징 매칭 결과로 사용될 수 있다.

본 발명의 실시예에 있어서, ANN를 통해 제1 수집 이미지에서의 2 차원 특징 포인트와, 적어도 하나의 프레임 시각적 포인트 클라우드에 대응되는 3 차원 특징 포인트를 매칭하여, 글로벌 특징 매칭 결과의 작업을 획득하며, 특징 매칭 과정에서 오매칭의 횟수를 감소할 수 있고, 글로벌 특징 매칭 결과의 정밀도를 향상시킴으로써, 포즈 결정의 정밀도를 향상한다.

글로벌 특징 매칭 결과를 얻은 후, 글로벌 특징 매칭 결과에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정할 수 있고, 이러한 과정의 실시 형태는 동일하게 실제 경우에 따라 유연하게 선택할 수 있으며, 아래 서술한 각 발명 실시예에 제한하지 않는다. 가능한 실시 형태에 있어서, 글로벌 특징 매칭 결과는, 랜던 일치성 샘플링(Random Sample Consensus, RANSAC) 방법 및 투시 N 포인트 포지셔닝(Perspective n Points, PnP) 등 방법을 통해 포즈를 추산할 수 있고, 투영 오차의 최적화 형태를 통해 추산된 포즈에 대해 최적화함으로써, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 얻는다.

상기 과정을 통해, 글로벌 지도에서 시각적 포인트 클라우드에 대응되는 특징을 이용하여, 제1 수집 이미지 사이의 특징과 매칭함으로써, 제1 수집 이미지에서 매칭된 특징을 이용하여 제1 단말의 포즈에 대해 추산하여, 제1 단말의 적어도 하나의 포즈를 획득할 수 있고, 글로벌 지도의 정밀도가 정밀도 조건을 만족하므로, 따라서 글로벌 지도 특징과 매칭된 결과에 기반하여 결정된 제1 포즈는, 비교적 높은 정밀도를 구비하며, 제1 포즈 결정 과정의 정밀도를 향상시킬 수 있다.

본 발명의 일부 실시예에 있어서, 글로벌 지도는 타깃 시나리오에서의 적어도 하나의 프레임의 시각적 포인트 클라우드를 포함하고; 수집 데이터는 적어도 두 개 프레임의 제1 수집 이미지를 포함할 수 있으며, 단계 S13은 아래의 단계를 포함할 수 있다.

단계 S131에 있어서, 제1 수집 이미지와 적어도 하나의 프레임의 시각적 포인트 클라우드를 특징 매칭하여, 글로벌 특징 매칭 결과를 획득한다.

단계 S132에 있어서, 적어도 두 개 프레임의 제1 수집 이미지를 특징 매칭하여, 로컬 특징 매칭 결과를 획득한다.

단계 S133에 있어서, 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정한다.

여기서, 제1 수집 이미지는 적어도 하나의 프레임의 시각적 포인트 클라우드와 특징 매칭하여, 글로벌 특징 매칭 결과를 얻는 형태는, 상기 각 발명 실시예를 참조할 수 있으며, 여기서 더이상 반복하여 설명하지 않는다.

생성된 글로벌 지도는 글로벌 시나리오에 대해 완전한 커버를 구현할 수 없으므로, 다만 제1 수집 이미지와 시각적 포인트 클라우드 사이를 특징 매칭하여 얻은 글로벌 특징 매칭 결과에 따라, 제1 포즈를 결정하는 형태는, 시각적 포인트 클라우드가 포함하는 3 차원 특징 포인트가 완전하지 않거나 또는 수량이 비교적 적은 등 원인으로, 제1 포즈를 결정한 결과가 정확하지 않거나 또는 제1 포즈를 결정하지 못하는 문제를 초래할 수 있다. 따라서, 본 발명의 일부 실시예에 있어서, 수집 데이터는 적어도 두 개 프레임의 제1 수집 이미지를 포함하는 경우, 상이한 제1 수집 이미지 사이의 특징 매칭 관계를 따라, 추가적으로 로컬 특징 매칭 결과를 얻을 수 있고, 다시 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 공동으로 결정한다.

로컬 특징 매칭 결과는 상이한 제1 수집 이미지 프레임 사이 상호 매칭된 2 차원 특징 포인트일 수 있고, 적어도 두 개 프레임의 제1 수집 이미지에 따라 특징 매칭하는 과정은 실제 경우에 따라 유연하게 선택할 수 있다. 본 발명의 일부 실시예에 있어서, KLT 방법을 통해, 상이한 제1 수집 이미지 사이의 광류 특징을 이용하여, 특징 매칭을 수행함으로써, 로컬 특징 매칭 결과를 얻을 수 있다.

본 발명의 일부 실시예에 있어서, 단계 S133에서 글로벌 특징 매칭 결과에 기반하여 제1 포즈를 결정하는 형태는, RANSAC 및 PnP를 통해 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 대해, 포즈의 추산 및 추가적인 최적화하여 구현될 수 있다.

본 발명의 실시예에 있어서, 단계 S131 내지 단계 S133을 통해, 로컬 특징 매칭 결과에 기반하여, 글로벌 특징 매칭 결과에 대해 보조함으로써, 글로벌 지도가 글로벌 시나리오에 대해 커버가 전면적이지 않으므로 인한 포즈 결정 결과에 대한 영향을 감소할 수 있고, 제1 포즈의 정밀도를 향상시킨다.

본 발명의 일부 실시예에 있어서, 수집 데이터는 제1 IMU 데이터를 더 포함할 수 있고, 이러한 경우, 단계 S133은,

글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과 중 적어도 하나에 따라 제1 제약 정보를 획득하는 단계;

제1 IMU 데이터에 따라, 제2 제약 정보를 획득하는 단계; 및

제1 제약 정보 및 제2 제약 정보 중 적어도 하나에 따라 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 대해 처리하여, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 얻는 단계를 포함할 수 있다.

여기서, 제1 IMU 데이터는 제1 단말이 타깃 시나리오에서 데이터 수집하는 과정에서 수집한 관성 측정 데이터일 수 있다.

본 발명의 일부 실시예에 있어서, 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과를 통해 제1 포즈를 결정하는 과정에서, 제1 제약 정보 및 제2 제약 정보를 획득하여, 제1 포즈를 얻는 과정에 대해 직접 제약을 추가할 수도 있다. 여기서, 제1 제약 정보는 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과 중 적어도 하나에 따라 얻은 제약 정보일 수 있다. 구체적으로 제1 제약 정보를 획득하는 방법이다.

본 발명의 일부 실시예에 있어서, 글로벌 특징 매칭 결과에서 매칭된 3 차원 특징 포인트 및 2 차원 특징 포인트의 정보를 이용하여, 제1 제약 정보를 획득할 수 있다. 하나의 예시에 있어서, 글로벌 특징 매칭 결과에 따라, 제1 제약 정보의 과정을 획득하는 과정은 식 (6)을 통해 구현할 수 있다.

식 (6)에서,

는 제1 단말에서 제1 수집 이미지를 수집하기 위한 기기가 제I 프레임의 제1수집 이미지를 수집하는 경우에서의 포즈이고,

는 글로벌 특징 매칭 결과에서 매칭된 j번째 3 차원 특징 포인트이며,

는 글로벌 특징 매칭 결과에서

과 매칭된 2 차원 특징 포인트이고,

는 3 차원 특징 포인트

를 제I 프레임의 제1 수집 이미지에 투영한 투영 결과이다.

본 발명의 일부 실시예에 있어서, 로컬 특징 매칭 결과에서 매칭된 3 차원 특징 포인트 및 2 차원 특징 포인트의 정보를 이용하여, 제1 제약 정보를 획득할 수 있다. 하나의 예시에 있어서, 로컬 특징 매칭 결과에 따라, 제1 제약 정보를 획득하는 과정은 식 (7)을 통해 구현할 수 있다.

식 (7)에서,

는 로컬 특징 매칭 결과에서 매칭된 j번째 2 차원 특징 포인트이고,

는 로컬 특징 매칭 결과에서

가 타깃 시나리오에서 맵핑된 3 차원 특징 포인트이며,

는 3 차원 특징 포인트

를 제i 프레임의 제1 수집 이미지에 투영한 투영 결과이며, 나머지 파라미터 의미는 전술한 발명 실시예를 참조할 수 있다.

식(6) 또는 식(7)의 계산 결과는 모두 제1 제약 정보로 사용될 수 있다. 본 발명의 일부 실시예에 있어서, 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 따라, 제1 제약 정보를 공동으로 획득할 수 있고, 이런 경우, 식(6)과 식(7)에서 제1 제약 정보를 획득하는 형태를 결합하여, 제1 제약 정보를 얻을 수 있다.

본 발명의 일부 실시예에 있어서, 제2 제약 정보는 제1 IMU 데이터에 따라 얻은 제약 정보일 수 있다.

본 발명의 일부 실시예에 있어서, 제1 단말에서 제1 수집 이미지를 수집 및 제1 IMU 데이터를 수집하는 기기의 관련 파라미터를 이용하여, 제2 제약 정보를 획득할 수 있다. 예시적으로, 제1 IMU 데이터에 따라, 제2 제약 정보를 획득하는 과정은 식(8)을 통해 구현할 수 있으며:

이다

식 (8)에서,

는 제I 프레임의 제1 수집 이미지를 수집하는 경우 제1 단말의 파라미터이고,

는 제1 단말의 속도이며, b_a는 제1 단말에서 제1 IMU데이터를 측정하는 기기의 가속도 바이어스이고, b_g는 제1 단말에서 제1 IMU 데이터를 측정하느 기기의 자이로스코프 측정 바이어스이며,

는 IMU 비용 함수이고, 나머지 파라미터의 의미는 상기 각 발명 실시예를 참조할 수 있다.

본 발명의 일부 실시예에 있어서, 제1 단말이 제1 수집 이미지를 수집하는 과정에서, 제1 IMU 데이터의 변화 상황에 따라, 제2 제약 정보를 결정할 수 있다.

본 발명의 일부 실시예에 있어서, 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 대해 처리하는 것은, 광속 조정법을 통해 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 대해 처리하는 것을 포함할 수 있다.

여기서, 광속 조정법(Bundle Adjustment, BA)은 하나의 포즈 풀이의 실시 형태이다. 본 발명의 일부 실시예에 있어서, BA를 통해 제약 정보에 대해 풀이하여, 제일 작은 오차에서의 제1 포즈를 계산한다. 예시적으로, 제1 제약 정보 및 제2 제약 정보를 공동으로 제약 정보로 사용할 수 있으며, 이러한 경우, BA를 통해 제약 정보에 대해 풀이하는 과정은 하기 식 (9)를 통해 나타낼 수 있다.

여기서 각 파라미터의 의미는 전술한 각 발명 실시예를 참조할 수 있으며, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 일부 실시예에 있어서, 관건 프레임 풀이 및 BA(Incremental Consistent and Efficient Bundle Adjustment, ICE-BA)를 증량하는 풀이방법을 이용하여, 식(9)에 대해 계산함으로써, 적어도 하나의 제1 포즈를 결정할 수 있다.

상기 과정을 통해, 제1 제약 정보 및 제2 제약 정보 중 적어도 하나를 이용하여, 얻은 제1 포즈에 대해 최적화함으로써, 최종 결정된 제1 포즈가 전체적으로 더욱더 평활하고, 떨림성을 감소할 수 있으며; 또한, 관건 프레임 및 ICE-BA 등 형태를 이용하여 제1 포즈에 대해 풀이하며, 제1 포즈 결정 과정에서의 계산량을 효과적으로 감소함으로써, 포즈 결정 과정의 효율을 향상시킨다. 상기 각 발명의 실시예에 있어서, 본 발명의 실시예에 결정된 제1 포즈의 정밀도는 비교적 높으며, 따라서 본 발명의 실시예에서 언급된 방법은, 이동 포지셔닝 분야에서의 각 타입의 시나리오에 적용될 수 있고, 구체적으로 어떤 시나리오에 적용할지는 실제 경우에 따라 선택할 수 있다.

본 발명의 일부 실시예에 있어서, 본 발명의 실시예에서 언급된 포즈 결정 방법은, 오프라인에서 기기 포즈를 결정하기 위한 것일 수 있다. 본 발명의 일부 실시예에 있어서, 본 발명의 실시예에서 언급된 포즈 결정 방법을 통해 결정된 제1 포즈는, 일부 이동 포지셔닝과 관련된 신경 네트워크 알고리즘에 대해 결과 정확성의 평가 등을 수행하기 위한 것일 수 있다.

운동 참값을 반송하는 데이터 세트는, SLAM 기술 개발의 중요 조건이다. 여기서, 운동에서 참값은 SLAM 알고리즘의 정밀도에 대해 평가 및 비교를 수행하기 위한 것일 수 있고, 일부 극단적인 경우에 대해 예를 들어 모션블러, 조명 변화 격렬, 특징 포인트가 적은 이미지에 대해 처리할 경우, SLAM 알고리즘 정밀도의 향상 표준으로 사용함으로써, SLAM 알고리즘이 극단 시나리오에 대처하는 능력을 향상시킬 수도 있다. 실제 적용에 있어서, 실외 응용 시나리오에서, 운동 참값은 주요하게 GPS를 통해 획득하고; 실내 응용 시나리오에서, 운동 참값은 주요하게 실내 환경에서 높은 정밀도 운동 캡처 시스템, 예를 들어 VICON, lighthouse 등을 구축하는 것을 통해 구현된다.

그러나, GPS 포지셔닝 정밀도는 그저 미터급이므로, 따라서 높은 정밀도의 운동 참값 획득을 구현하지 못하고, 차동 GPS는 현재 비교적 높은 포지셔닝 정밀도에 도달할 수 있지만, 이러한 방법의 비용이 과도하게 높으며; 또한, GPS의 정밀도 및 포지셔닝 성공률은 건축물에 의해 가려지는 영향을 쉽게 받으며, 실내에서 사용하지 못한다. 실내 응용 시나리오에 대해, VICON을 예로 들면, 상기 시스템은 반사식에 기반한 캡처 시스템이고, 그것은 캡처된 물체에 붙은 맞춤 제작된 반사구를 붙여 신호 수신기로 사용하고, 캡처 카메라가 특정 광선을 송신할 경우, 반사구는 동일한 파장의 광신호를 카메라에 반사하며, 복수 개 캡처 카메라에 의해 수집된 광신호를 통해, 정확한 캡처된 물체의 포지셔닝 결과를 계산하여 얻을 수 있다. 이러한 방법은 수집해야할 궤적 참값의 주위 환경에서, VICON 등 운동 캡처 시스템의 기기를 배치 장착 및 교정을 미리 준비해야 하며, 따라서 기기와 배치 비용은 모두 높으며, 하나의 작은방의 기기 비용만 백만 위안에 가까우며, 큰 스케일 시나리오로 확장하기 더 힘들다. 또한, 각 수집될 참값의 이동 기기는 모두 신호 수신기를 장착 및 교정해야 하며, 각 그룹 데이터를 수집하기 전 모두 수신 신호와 이동 기기의 센서를 시간 동기화하여야 하며, 시간과 정력을 소모하여도, 대량 데이터의 수집까지 확장하기 어렵다.

관련 기술에 있어서, 예를 들어 블루투스, 지자기장 등 외부 신호에 기반하여서도 실시간 포지셔닝을 구현할 수 있지만, 이러한 방법은 일반적으로 먼저 구축된 포지셔닝 환경과 매칭되는 신호 지문 지도에 의존해야 하며, 또한, 포지셔닝 정밀도는 환경에서 수집된 각 포인트 위치의 신호 밀집 정도에 따라 변화할 수 있다. 각 포인트 위치의 운동 참값을 획득하기 위하여, 작업 인원이 포지셔닝 환경에서 측정 도구를 사용하여 현장 측정해야하므로, 이것은 비교적 높은 시간 비용 및 인력 비용이 생성되며, 따라서, 이러한 방법을 통해 대량의 운동 참값을 획득하지 못한다.

딥 러닝 기술의 쾌속 발전에 따라, 많은 샘플 데이터에 기반하여 구동되는 포지셔닝 방법의 우월성이 구현되었다. 예를 들어, 시각 포지셔닝 분야에서, 심층 신경 네트워크, 컨볼루션 신경 네트워크의 쾌속 발전으로, 대량의 이미지 샘플 데이터에서의 특징 포인트 디스크립터를 추출하는 것을 통해 매칭된 효과를 수행하며, 심지어 전통 기술보다 우수하다. 보행자 추측 항법(Pedestrian Dead Reckoning, PDR) 분야에서, 깊이 신경 네트워크에 기반한 행인 궤적 회복 방법도, 전통적인 만보계에 기반한 방법보다 우수하다고 증명되고, 심지어 간단한 조건에서 시각 관성 SLAM의 모니터링 정밀도에 접근하였다. 그러나, 이러한 데이터 구동 방법의 최종 표현은 샘플 데이터에 엄중하게 의존하며, 따라서 샘플 데이터의 질량, 수량, 시나리오 다양성 등 측면에 대한 수요가 더 왕성하며, 기존의 운동 참값 획득 방법은 이러한 요구를 만족하지 못한다. 본 발명의 실시예는 결정 방법에서, 운동 참값 데이터의 획득 방법을 더 제공한다.

본 발명의 일부 실시예에 있어서, 본 발명의 실시예에서 언급된 포즈 결정 방법은,

제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈에 따라, 운동 참값 데이터를 결정하는 단계를 더 포함하고, 여기서, 운동 참값 데이터는,

포지셔닝 결과의 정밀도 판단, 신경 네트워크에 대해 훈련 수행 및 글로벌 지도와 정보 융합을 수행하는 작업 중 적어도 하나를 수행하기 위한 것 이다.

여기서, 운동 참값 데이터는 신경 네트워크 훈련에서, 그 결과를 실제 값의 데이터로 간주할 수 있고, 즉 신경 네트워크 알고리즘에서의 Ground Truth 데이터이다. 본 발명의 실시예에서 결정된 제1 포즈는 제1 단말이 데이터 수집하는 운동 과정에서의 포즈 데이터이므로, 정밀도가 비교적 높고, 따라서 제1 포즈를 운동 참값 데이터로 사용할 수 있다.

제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈에 따라, 운동 참값 데이터를 결정하는 과정이 본 발명의 실시예에서의 실시 형태는 실제 경우에 따라 유연하게 결정할 수 있으며, 아래 각 발명의 실시예에 국한하지 않는다.

본 발명의 일부 실시예에 있어서, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈에 따라, 운동 참값 데이터를 결정하는 단계는,

제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 상기 운동 참값 데이터로 사용하는 단계; 및/또는

수집 데이터에서의 적어도 하나, 및 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를, 운동 참값 데이터로 사용하는 단계를 포함할 수 있고, 여기서, 수집 데이터는,

무선 네트워크 WiFi 데이터, 블루투스 데이터, 지자기장 데이터, 초광대역 UWB 데이터, 제1 수집 이미지 및 제1 IMU 데이터에서의 하나 또는 복수 개를 포함한다.

본 발명의 일부 실시예에 있어서, 결정된 적어도 하나의 제1 포즈를 직접 운동 참값 데이터로 사용할 수 있다. 결정된 제1 포즈의 수량은 본 발명의 실시예에서 한정하지 않으므로, 따라서 얻은 운동 참값 데이터의 수량도 본 발명의 실시예에서 한정하지 않으며, 본 발명의 일부 실시예에 있어서, 결정된 각 제1 포즈를 모두 운동 참값 데이터로 사용할 수 있고, 또는 랜덤으로 복수 개 제1 포즈에서 하나 또는 복수 개 제1 포즈를 선택하여 운동 참값 데이터로 사용할 수 있다.

본 발명의 일부 실시예에 있어서, 수집 데이터에서의 적어도 하나를 운동 참값 데이터로 사용할 수도 있다. 본 발명의 일부 실시예에 있어서, 수집 데이터는 제1 수집 이미지 및 제1 IMU 데이터 중 적어도 하나를 포함할 수 있고; 본 발명의 일부 실시예에 있어서, 제1 단말의 실시 형태는 한정하지 않으므로, 수집된 데이터 타입도 유연하게 변화하거나 확장할 수 있으며, 따라서 수집 데이터는 무선 네트워크 WiFi 데이터, 블루투스 데이터, 지자기장 데이터 및 UWB 데이터에서의 하나 또는 복수 개 등을 더 포함할 수 있다.

상이한 타입의 수집 데이터는 모두 제1 단말로 수집할 수 있으므로, 따라서 이러한 수집 데이터는 모두 결정된 제1 포즈 사이와 상응하는 대응 관계를 구비할 수 있고, 포즈에 의해 결정된 과정에서 상응하는 제약을 제공하여, 포즈 결정을 수행하는 것을 보조할 수 있다. 따라서 본 발명의 일부 실시예에 있어서, 복수 개 타입의 수집 데이터도 운동 참값 데이터로 사용할 수 있다.

적어도 하나의 제1 포즈, 및 수집 데이터에서의 적어도 하나를 운동 참값 데이터로 사용하는 것을 통해, 추가적으로 운동 참값 데이터의 데이터량을 증가함으로써, 운동 참값 데이터가 상이한 시나리오에서의 적용이 더 좋은 효과를 구비할 수 있다.

본 발명의 일부 실시예에 있어서, 운동 참값 데이터는 포지셔닝 결과의 정밀도를 판단하기 위한 것일 수 있고, 구체적인 판단 방법은 본 발명의 실시예에서 한정하지 않는다. 예를 들어, 운동 참값 데이터를 신경 네트 워크 평가 알고리즘에서 알고리즘 정확도의 benchmark 데이터 세트에서의 데이터를 평가하기 위한 것으로 사용함으로써, 포지셔닝 결과의 정밀도를 판단하는 데 사용할 수 있다.

본 발명의 일부 실시예에 있어서, 운동 참값 데이터는 신경 네트워크에 대해 훈련하기 위한 것일 수도 있고, 구체적인 훈련 과정에서 적용되는 방법은 본 발명의 실시예서 한정하지 않는다. 예를 들어, 운동 참값 데이터를 신경 네트 워크에서의 훈련 데이터 및 테스트 데이터 등 중 적어도 하나로 사용함으로써, 신경 네트워크의 훈련 과정에 적용될 수 있다.

본 발명의 일부 실시예에 있어서, 운동 참값 데이터는 글로벌 지도와 정보 융합을 수행할 수 있으며, 예를 들어 운동 참값 데이터는 예를 들어 WiFi 데이터, 블루투스 데이터, 지자기장 데이터 또는 UWB 데이터 등 수집 데이터를 더 포함할 수 있으며, 이러한 수집 데이터와 제1 포즈 사이에는 대응 관계가 존재하며, 따라서, 이러한 수집 데이터를 별도의 보조 데이터로 사용할 수 있고, 제1 포즈와 글로벌 지도 사이의 대응 관계를 통해, 이러한 수집 데이터도 글로벌 지도에 융합함으로써, 추가적으로 글로벌 지도의 데이터 정밀도 및 데이터의 전명성을 향상시키며, 추가로 융합 후의 글로벌 지도를 이용하여, 나머지의 포즈 결정의 정확성을 향상시킨다.

도 4는 본 발명의 실시예에서 제공한 운동 참값 데이터 획득의 흐름 예시도이며, 도 4에 도시된 바와 같이, 상기 운동 참값 데이터 획득 절차는, 글로벌 지도 재구축(401) 및 운동 참값 데이터 포지셔닝(402)인 2 개 절차를 포함할 수 있다.

여기서, 글로벌 지도 재구축(401) 절차는, 글로벌 지도를 재구축 하기 위한 것이다. 도 4에 도시된 바와 같이, 글로벌 지도 재구축(401) 절차는, 레이다 SLAM(4011), 특징 매칭(4012) 및 시각-레이다 연합 최적화(4013)인 3 개 서브 절차에 기반하여 글로벌 지도(4014)를 얻을수 있다.

작업 인원이 짊어진 제2 단말을 통해 글로벌 시나리오에서 이동함으로써, 레이다 SLAM(4011)를 이용하여 글로벌 시나리오에서의 레이저 포인트 클라우드에 대해 수집하며, 시각 센서를 이용하여 글로벌 시나리오에서의 제2 수집 이미지에 대해 수집하며, 및 IMU 센서를 이용하여 글로벌 시나리오에서의 제2 IMU 데이터에 대해 수집한다.

제2 단말이 글로벌 시나리오에 대해 스캔하는 과정에서, 이미 획득한 레이저 포인트 클라우드, 제2 수집 이미지 및 제2 IMU 데이터를 이용하고 글로벌 지도에 대해 실시간 재구축을 수행하여, 실시간 지도를 얻을 수 있다. 본 발명의 실시예에 있어서, 실시간 지도는 작업 인원이 글로벌 시나리오에서 이미 지도 데이터를 수집한 범위를 반응할 수 있으며, 따라서 실시간 지도를 타깃 기기에 송신할 수 있다.

제2 단말이 글로벌 시나리오에 대해 스캔 완료 후, 획득한 글로벌 시나리오에서의 레이저 포인트 클라우드, 제2 수집 이미지 및 제2 IMU 데이터를 이용하고 글로벌 지도에 대해 오프라인 재구축을 수행하여, 글로벌 지도를 얻을 수 있다. 레이저 포인트 클라우드 및 제2 IMU 데이터는 레이다 SLAM(4011)을 통해 계산함으로써, 레이다가 지도 데이터 수집 과정에서의 적어도 하나의 포즈를 결정할 수 있고, 레이다와 시각 센서 사이의 좌표의 변환 관계를 통해, 레이다의 포즈를 시각 센서의 포즈로 정확하게 바꿈으로써, 제2 단말의 적어도 하나의 제2 포즈를 얻으며; 동시에, 제2 수집 이미지는 특징 매칭(4012)의 형태를 통해 시각 지도 재구축을 수행하여 적어도 하나의 프레임의 초기 시각적 포인트 클라우드를 얻을 수 있으며; 결정된 적어도 하나의 제2 포즈를 초기 포즈로 사용, 및 제2 수집 이미지에서의 특징을 이용하여 시각 지도 재구축 과정에 제3 제약 정보를 제공함으로써, 얻은 초기 시각적 포인트 클라우드에 대해 시각-레이다 연합 최적화(4013)를 수행할 수 있다. 상기 과정을 통해, 최적화 후의 시각적 포인트 클라우드, 및 시각적 포인트 클라우드에 포함된 3 차원 특징 포인트의 위치와 특징 정보를 얻을 수 있다. 더 나아가, 시각적 포인트 클라우드 및 3 차원 특징 포인트를 글로벌 지도(4014)로 사용함으로써, 글로벌 지도의 재구축을 구현할 수 있다.

글로벌 지도 재구축을 완료 후, 운동 참값 데이터 포지셔닝(402)의 과정으로 진입할 수 있으며, 운동 참값 데이터 포지셔닝(402) 절차는 AR 안경(4021) 또는 핸드폰(4022)을 포함한 제1 단말의 도움을 받아야 구현하며, 여기서, 운동 참값 데이터 포지셔닝(402)은 로컬 특징 모니터링(4023), 글로벌 특징 모니터링(4024), 시각-관성 연합 최적화(4025) 및 운동 참값 데이터 저장(4026) 4 개 서브 절차를 포함할 수 있다.

도 4에 있어서, AR 안경(4021) 또는 핸드폰(4022)을 포함한 제1 단 말을 통해, 글로벌 시나리오에서의 특정 타깃 시나리오 내에서 이동하여, 수집 데이터를 획득한다. 여기서, 수집 데이터는 제1 수집 이미지 및 제1 IMU 데이터를 포함할 수 있다.

제1 수집 이미지는 글로벌 지도와 글로벌 특징 매칭(4024)을 수행함으로써, 시각 포지셔닝을 구현하며, 글로벌 특징 매칭 결과를 얻을 수 있다. 제1 수집 이미지에서의 상이한 프레임 이미지 사이는 로컬 특징 모니터링(4023)을 수행함으로써, 로컬 특징 매칭 결과를 얻을 수 있다. 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과를 얻은 후, 글로벌 특징 매칭 결과, 로컬 특징 매칭 결과 및 수집된 제1 IMU 데이터에 따라, 시각-관성의 연합 최적화(4025)를 수행함으로써, 제1 단말이 타깃 시나리오의 이동 과정에서 적어도 하나의 제1 포즈를 결정할 수 있다. 적어도 하나의 제1 포즈를 얻은 후, 얻은 제1 포즈를 운동 참값 데이터로 사용할 수 있고, 운동 참값 데이터 저장(4026)을 실행하며, 예시적으로, 운동 참값 데이터를 데이터 베이스에 저장할 수 있다.

본 발명 실시예에서 제공한 운동 참값 데이터의 획득 방법은, 사용한 기기는 주요하게 통합 레이저 레이다, 카메라 및 IMU의 정밀도가 높은 지도 수집 기기이고, 따라서, 기기 전체적인 비용은 비교적 낮으며; 글로벌 시나리오 및 타깃 시나리오는 미리 배치할 필요가 없고, 따라서, 스케일 확장성은 현저하게 미리 배치한 시나리오의 관련 방안보다 우수하며, 스케일 상한은 주요하게 오프라인 해시레이트에 따라 결정되고, 기존의 알고리즘 및 해시레이트가 수십만 평의 시나리오를 만족시키는 경우, 본 발명의 실시예에서 제공한 운동 참값 데이터 획득 방법은, 큰 스케일 시나리오에서 사용될 수 있으며; 동시에, 동일한 글로벌 시나리오에서의 글로벌 지도는 중복하여 사용할 수 있고, 글로벌 지도를 수집 및 재구축 후 즉 수집 이동 단말의 대량의 데이터를 규모화할 수 있으며, 이동 데이터의 수집은 이동 기기의 내장 조작 센서에만 의존하고, 따라서 매번 수집전 다른 외부 기기의 교정, 동기화 등 규모화 수집을 한정하는 별도의 작업을 수행할 필요가 없으며; 또한, 본 발명 실시예에서 제공한 운동 참값 데이터 획득 방법은, 응용 시나리오의 제한을 받지 않으며, 실내외 시나리오에 동시에 적용될 수 있다.

설명해야 할 것은, 본 발명의 실시예에서 획득한 운동 참값은 신경 네트워크의 평가 또는 훈련하기 위한 것에 한정되지 않으며, 다른 시나리오에도 확장하여 적용될 수 있으며, 본 발명은 이에 대해 한정하지 않는다.

이해할 수 있는 것은, 본 발명에서 언급한 상기 각 방법 실시예는, 원리 논리를 위반하지 않는 한, 상호 결합되어 결합된 실시예를 형성할 수 있고, 편폭의 제한으로, 본 발명에서 더이상 반복하여 설명하지 않는다. 본 분야의 기술자는 구체적인 실시 형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.

또한, 본 발명에서 포즈 결정 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램을 더 제공하고, 본 발명에서 제공한 어느 하나의 포즈 결정 방법을 구현하는 데 사용될 수 있으며, 상응하는 기술 방안 및 설명 및 참조 방법 부분의 상응하는 기재는, 여기서 더이상 반복하여 설명하지 않는다.

도 5는 본 발명의 실시예에서 제공한 포즈 결정 장치(5)의 구조 예시도이다. 상기 포즈 결정 장치는 단말 기기, 서버 또는 기타 처리 기기 등일 수 있다. 여기서, 단말 기기는 UE, 이동 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 폰, PDA, 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨어러블 기기 등일 수 있다.

본 발명의 일부 실시예에 있어서, 상기 포즈 결정 장치는 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 형태로 구현될 수 있다.

도 5에 도시된 바와 같이, 상기 포즈 결정 장치(5)는,

타깃 시나리오에서의 제1 단말이 수집한 수집 데이터를 획득하도록 구성된 수집 데이터 획득 모듈(501); 타깃 시나리오를 포함하는 글로벌 지도를 획득하도록 구성된글로벌 지도 획득 모듈(502) - 글로벌 지도는, 제2 단말이 타깃 시나리오를 포함하는 글로벌 시나리오에 대해 데이터 수집을 수행하여 획득한 지도 데이터에 기반하여 생성된 것이고, 글로벌 지도는 정밀도 조건을 만족함 - ; 및

수집 데이터 및 글로벌 지도 사이의 특징 대응 관계에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하도록 구성된 포즈 결정 모듈(503)을 포함할 수 있다.

본 발명의 일부 실시예에 있어서, 글로벌 지도는 적어도 하나의 프레임 시각적 포인트 클라우드를 포함하며, 시각적 포인트 클라우드는 글로벌 시나리오에서의 적어도 하나의 3 차원 특징 포인트를 포함하고; 수집 데이터는 제1 수집 이미지를 포함하고; 포즈 결정 모듈(503)은 제1 수집 이미지와 적어도 하나의 프레임 시각적 포인트 클라우드를 특징 매칭을 수행하여, 글로벌 특징 매칭 결과를 얻고; 글로벌 특징 매칭 결과에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 글로벌 지도는 타깃 시나리오에서의 적어도 하나의 프레임의 시각적 포인트 클라우드를 포함하고; 수집 데이터는 적어도 두 프레임의 제1 수집 이미지를 포함하고; 포즈 결정 모듈(503)은 제1 수집 이미지와 적어도 하나의 프레임의 시각적 포인트 클라우드를 특징 매칭을 수행하여, 글로벌 특징 매칭 결과를 얻고; 적어도 두 프레임의 제1 수집 이미지를 특징 매칭을 수행하여, 로컬 특징 매칭 결과를 얻으며; 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 따라, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하도록 구성된다.

본 발명의 일부 실시예에 있어서, 수집 데이터는 제1 관성 측정 IMU 데이터를 더 포함하고; 포즈 결정 모듈(503)은 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 따라, 제1 제약 정보를 획득하고; 제1 IMU 데이터에 따라, 제2 제약 정보를 획득하며; 제1 제약 정보 및 제2 제약 정보 중 적어도 하나에 따라 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 대해 처리하며, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 얻도록 구성된다.

본 발명의 일부 실시예에 있어서, 포즈 결정 모듈(503)은, 광속 조정법을 통해, 글로벌 특징 매칭 결과 및 로컬 특징 매칭 결과에 대해 처리하도록 구성된다.

본 발명의 일부 실시예에 있어서, 포즈 결정 모듈은, 제1 수집 이미지에서의 2 차원 특징 포인트가, 적어도 하나의 프레임의 시각적 포인트 클라우드에 포함된 3 차원 특징 포인트와 매칭하여, 글로벌 특징 매칭 결과를 얻도록 구성된다

본 발명의 일부 실시예에 있어서, 장치는 또한, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈에 따라, 운동 참값 데이터를 결정하도록 구성된 운동 참값 데이터 획득 모듈을 포함한다.

본 발명의 일부 실시예에 있어서, 운동 참값 데이터 획득 모듈은, 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 운동 참값 데이터로 사용하고; 및/또는 수집 데이터에서의 적어도 하나, 및 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 운동 참값 데이터로 사용하도록 구성되며; 여기서, 수집 데이터는, 무선 네트워크 WiFi 데이터, 블루투스 데이터, 지자기장 데이터, 초광대역 UWB 데이터, 제1 수집 이미지 및 제1 IMU 데이터에서의 하나 또는 복수 개를 포함한다.

본 발명의 일부 실시예에 있어서, 운동 참값 데이터는 포지셔닝 결과의 정밀도 판단, 신경 네트워크에 대한 훈련 및 글로벌 지도와 정보 융합 수행 중 적어도 하나의 작업을 수행하기 위한 것이다.

본 발명의 일부 실시예에 있어서, 지도 데이터는 글로벌 시나리오에서의 레이저 포인트 클라우드, 제2 수집 이미지 및 제2 IMU 데이터를 포함하고; 장치는 지도 데이터 획득 모듈 및 글로벌 지도 생성 모듈을 더 포함하고; 여기서, 지도 데이터 획득 모듈은 제2 단말을 통해 수집된 글로벌 시나리오의 지도 데이터를 획득하도록 구성되고; 글로벌 지도 생성 모듈은 지도 데이터에 따라, 글로벌 시나리오에 대해 오프라인 재구축을 수행하며, 글로벌 시나리오의 글로벌 지도를 생성하도록 구성된다.

본 발명의 일부 실시예에 있어서, 글로벌 지도 생성 모듈은, 제2 IMU 데이터 및 레이저 포인트 클라우드를 따라, 제2 단말이 데이터 수집 과정에서의 적어도 하나의 제2 포즈를 결정하고; 적어도 하나의 제2 포즈에 따라, 제2 수집 이미지를 결합하여, 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻으며, 여기서, 시각적 포인트 클라우드는 글로벌 시나리오에서의 복수 개 3 차원 특징 포인트와 대응되고; 적어도 하나의 프레임의 시각적 포인트 클라우드를 따라, 글로벌 시나리오의 글로벌 지도를 얻도록 구성된다.

본 발명의 일부 실시예에 있어서, 글로벌 지도 생성 모듈은, 적어도 하나의 제2 포즈에 따라, 제2 수집 이미지를 결합하여, 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드를 얻고; 레이저 포인트 클라우드 및 제2 수집 이미지 중 적어도 하나에 따라 시각 지도 재구축 과정에서의 제3 제약 정보를 획득하며; 제3 제약 정보에 따라, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드에 대해 최적화하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻도록 구성되고; 여기서, 제3 제약 정보는 레이저 포인트 클라우드의 평면 제약 정보, 레이저 포인트 클라우드의 에지 제약 정보 및 시각 제약 정보에서의 하나의 또는 복수 개를 포함한다.

본 발명의 일부 실시예에 있어서, 제2 단말은, 글로벌 시나리오에서의 레이저 포인트 클라우드를 획득하도록 구성된 레이다; 글로벌 시나리오에서의 제2 수집 이미지를 획득하도록 구성된 시각 센서; 글로벌 시나리오에서의 제2 IMU 데이터를 획득하도록 구성된 IMU 센서를 포함한다.

본 발명의 일부 실시예에 있어서, 포즈 결정 장치(5)는, 시각 센서와 IMU 센서 사이의 좌표 변환 관계에 대해 교정하여, 제1 교정 결과를 얻고; 레이다와 시각 센서 사이의 좌표 변환 관계에 대해 교정하여, 제2 교정 결과를 얻으며; 제1 교정 결과 및 제2 교정 결과에 따라, 시각 센서, IMU 센서 및 레이다 사이의 좌표 변환 관계에 대해 연합 교정을 수행하도록 구성된다.

본 발명의 일부 실시예에 있어서, 포즈 결정 장치(5)는, 제2 단말이 지도 데이터를 수집 과정에서, 지도 데이터에 따라 글로벌 시나리오에 대해 실시간 재구축을 수행하여, 글로벌 시나리오의 실시간 지도를 생성하고; 타깃 기기에 지도 데이터 및 실시간 지도 중 적어도 하나를 송신하도록 구성되고, 여기서, 타깃 기기는, 글로벌 시나리오에 대해 데이터 수집을 완료한 지리 범위를 디스플레이 하도록 구성된다.

본 발명의 실시예는 컴퓨터 프로그램 명령어를 포함하는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 상기 방법을 구현한다. 컴퓨터 판독 가능 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체일 수도 있다.

본 발명의 실시예는 또한 전자 기기를 제공하고, 프로세서; 및 프로세서가 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고; 여기서, 상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 상기 방법을 실행하도록 구성된다.

본 발명의 실시예는 또한 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램은 컴퓨터 판독 가능한 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 전자 기기에서의 프로세서는 예를 들어 어느 한 실시예에 의해 제공된 포즈 결정 방법을 구현하기 위하도록 실행한다.

본 발명의 실시예는 또한 컴퓨터 판독 가능한 명령어를 저장하기 위한 다른 컴퓨터 프로그램 제품을 제공하고, 명령어가 실행될 경우 컴퓨터가 전술한 어느 한 실시예에서 제공한 포즈 결정 방법의 동작을 실행하도록 한다.

전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.

도 6은 본 발명의 실시예에 따른 전자 기기(6)의 블록도이다. 예를 들어, 전자 기기(6)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말 등 단말일 수 있다.

도 6를 참조하면, 전자 기기(6)는 프로세서(601), 제1 메모리(602), 제1 전원 컴포넌트(603), 멀티미디어 컴포넌트(604), 오디오 컴포넌트(605), 제1 입력/출력 인터페이스(606), 센서 컴포넌트(607), 및 통신 컴포넌트(608) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

프로세서(601)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(6)의 전체적인 동작을 제어한다. 프로세서(601)의 수량은 하나 또는 복수 개일 수 있고, 프로세서(601)는 하나 또는 복수 개 모듈을 포함할 수 있으며, 프로세서(601) 및 다른 컴포넌트 사이의 상호 작용에 용이하다. 예컨대, 프로세서(601)는 멀티미디어 모듈과 멀티미디어 컴포넌트(604) 사이의 상호 작용을 용이하게 하기 위해 멀티미디러 모듈을 포함할 수 있다.

제1 메모리(602)는 전자 기기(6)의 조작을 지지하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(6)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 제1 메모리(602)는 예를 들어 정적 랜덤 액세스 메모리(Static Random-Access Memory , SRAM), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable read only memory , EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 판독 전용 메모리(Programmable Read-Only Memory, PROM), 판독 전용 메모리(Read-Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크와 같은 임의의 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

제1 전원 컴포넌트(603)는 전자 기기(6)의 다양한 컴포넌트에 전기 에너지를 제공한다. 제1 전원 컴포넌트(603)는 전원 관리 시스템, 하나 또는 복수 개 전원, 및 전자 기기(6)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(604)는 상기 전자 기기(6) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(Liquid Crystal Display, LCD) 터치 패널(Touch Panel, TP)을 포함할 수 있다. 만약 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 수 있을 뿐만 아니라, 상기 터치 또는 슬라이드의 동작과 관련된 지속 시간 및 압력을 검출할 수도 있다. 멀티미디어 컴포넌트(604)는 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(6)가 예를 들어 촬영 모드 또는 영상 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학 렌즈 시스템 또는 초점 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(605)는 오디오 신호를 출력 및 입력하는 중 적어도 하나를 수행하도록 구성된다. 예컨대, 오디오 컴포넌트(605)는 하나의 마이크로폰(Micphone, MIC)을 포함하고, 전자 기기(6)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 제1 메모리(602)에 추가로 저장되거나 통신 컴포넌트(608)에 의해 전송될 수 있다. 오디오 컴포넌트(605)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

제1 입력/출력 인터페이스(606)는 프로세서(601)와 외부 인터페이스 모듈 사이에 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(607)는 전자 기기(6)를 위한 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예컨대, 센서 컴포넌트(607)는 전자 기기(6)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있고, 예컨대 상기 컴포넌트는 전자 기기(6)의 모니터 및 작은 키보드이며, 센서 컴포넌트(607)는 전자 기기(6) 또는 전자 기기(6)에서 특정 컴포넌트의 위치 변화 또는 사용자와 전자 기기(6) 접촉의 존재 유무, 전자 기기(6) 방향 또는 가속/감속 및 전자 기기(6)의 온도 변화를 더 검출할 수 있다. 센서 컴포넌트(607)는 그 어떤 물리적 접촉도 없을 때 근처의 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(607)는 광센서를 더 포함할 수 있으며, 예를 들어 상보 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 또는 이미지 센서(Charge-coupled Device, CCD)이며, 이미징 애플리케이션에 사용되기 위한 것이다. 상기 센서 컴포넌트(607)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(608)는 전자 기기(6) 및 기타 기기 사이의 유선 또는 무선 형태의 통신에 용이하게 하도록 구성된다. 전자 기기(6)는 예를 들어 WiFi, 2 세대 무선 통신 기술(The 2nd Generation, 2G) 또는 3 세대 이동 통신 기술(The 3rd Generation, 3G), 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(608)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(608)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예컨대, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 데이터 통신 규격(Infrared Data Association, IrDA) 기술, UWB 기술, 블루투스(Blue-Tooth, BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적인 실시예에 있어서, 전자 기기(6)는 하나 또는 복수 개 주문형 직접 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 기기(Digital Signal Processing Device, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 자 소자에 의해 구현되며, 상기 방법을 실행하기 위한 것이다.

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 제1 메모리(602)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 전술한 실시예의 상기 포즈 결정 방법을 완료하도록 전자 기기(6)의 프로세서(601)에 의해 실행된다.

도 7은 본 발명의 실시예의 두 번째 전자 기기(6)의 구조 예시도이다. 예컨대, 전자 기기(6)는 하나의 서버로 제공될 수 있다. 도 7을 참조하면, 전자 기기(6)는 처리 컴포넌트(701)를 포함하고, 여기서, 처리 컴포넌트(701)는 하나 또는 복수 개 프로세서(601)를 포함할 수 있고; 전자 기기(6)는 제2 메모리(702)로 대표되는 메모리 자원을 더 포함하며, 제2 메모리(702)는 처리 컴포넌트(701)에 의해 실행된 명령어를 저장하도록 구성되며, 예컨대 적용 프로그램이다. 제2 메모리(702)에 저장된 적용 프로그램은 적어도 한 그룹의 명령어를 포함할 수 있다. 또한, 처리 컴포넌트(701)는 명령어를 실행하여, 상기 포즈 결정 방법을 실행하도록 구성된다.

전자 기기(7)는 제2 전원 컴포넌트(703), 전자 기기(6)를 네트워크 및 제2 입력/출력 인터페이스(705)에 연결하도록 구성된 네트워크 인터페이스(704)를 더 포함할 수 있다. 여기서, 제2 전원 컴포넌트(703)는 전자 기기(6)의 전원 관리를 실행하도록 구성된다. 전자 기기(6)는 예컨대 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것과 같은 제2 메모리(702)에 저장된 운영 체제를 조작할 수 있다.

본 발명의 실시예는 비휘발성 컴퓨터 판독 가능한 저장 매체를 더 제공하며, 상기 저장 매체에 컴퓨터 프로그램 명령어가 저장되며, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우, 예컨대 컴퓨터 프로그램 명령어의 제1 메모리(602) 또는 제2 메모리(702)를 포함하며, 상기 컴퓨터 프로그램 명령어는 상기 포즈 결정 방법을 완료하도록 전자 기기(6)의 처리 컴포넌트(701)에 의해 실행된다.

본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 컴퓨터 프로그램은 컴퓨터 판독 가능한 코드를 포함하며, 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 전자 기기의 프로세서는 어느 한 실시예에 의해 제공된 포즈 결정 방법을 실행한다.

본 발명은 시스템, 방법 및 컴퓨터 프로그램 제품 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능한 저장 매체에는 프로세서가 본 발명의 각 측면을 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령어가 존재한다.

컴퓨터 판독 가능한 저장 매체는 명령어 실행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 형태가 존재하는 기기일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 전술한 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기의 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능한 저장 매체의 더 구체적인 예는(비제한 리스트), 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), ROM, EPROM 또는 플래시 메모리, 정적 랜덤 액세스 메모리(Static Random-Access Memory, SRAM), 휴대용 컴팩트 디스크 판독 전용 메모리(Compact Disc Read-Only Memory, CD-ROM), 디지털 다용도 디스크(Digital Video Disc, DVD), 메모리 스틱, 플로피 디스크, 기계 코딩 기기, 명령어가 저장된 장치와 같은 기계적 코딩 장치 홀 카드 또는 그루브에서의 볼록한 구조 및 전술한 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간 신호 자체로 해석되지 않아야 한다.

여기서 설명한 컴퓨터 판독 가능한 프로그램 명령어는 컴퓨터 판독 가능한 저장 매체로부터 각 컴퓨팅/처리 기기로 다운 로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운 로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버에서 적어도 하나를 포함할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능한 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능한 저장 매체에 저장하기 위해, 컴퓨터 판독 가능한 프로그램 명령어를 전달한다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(Instruction Set Architecture, ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 복수 개 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있고, 상기 프로그래밍 언어에는 스몰 토크, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능 프로그램 명령어는 사용자 컴퓨터에서 완전히 실행되거나, 사용자 컴퓨터에서 부분적으로 실행되거나, 독립적인 소프트웨어 패키지로서 실행되거나, 사용자 컴퓨터에서 일부가 실행되고 원격 컴퓨터에서 일부가 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수있다. 원격 컴퓨터와 관련된 상황에서, 원격 컴퓨터는 통신망(Local Area Network, LAN) 또는 광대역 통신망(Wide Area Network, WAN) 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나, 또는, 외부 컴퓨터에 연결(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결) 할 수 있다. 일부 실시예에 있어서, 예컨대 프로그램 가능한 논리 회로, FPGA 또는 프로그램 가능한 논리 어레이(Programmable logic arrays, PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 실행할 수 있음으로써, 본 발명의 실시예의 각 측면을 구현한다.

여기서 본 발명의 다양한 측면은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명하였다. 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도에서 각 블록들의 조합은, 모두 컴퓨터 판독 가능 프로그램 명령어에 의해 구현될 수 있음을 이해해야 한다.

이러한 컴퓨터 판독 가능한 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공 될 수 있음으로써, 이에 의해 이러한 명령어가 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 의해 실행되도록 하는 기계가 생성되고, 흐름도 및 블록도 중 적어도 하나의에서 하나의 또는 복수 개의 블록에 지정된 기능/조작을 구현하는 장치가 생성된다. 이러한 컴퓨터 판독 가능한 프로그램 명령어를 컴퓨터 판독 가능한 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능한 데이터 처리 장치 및 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능한 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/조작을 구현하는 명령어를 포함한다. 컴퓨터 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에 로딩될 수 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 조작 단계가 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/조작을 구현한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 조작을 디스플레이한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나의 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 두 개의 연속적인 블록은 실제로 병렬로 실행될 수 있으며, 때로는 관련 기능에 따라 역순으로 실행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및 흐름도 중 적어도 하나에서의 각 블록, 및 블록도 및 흐름도 중 적어도 하나에서의 블록의 조합은, 지정된 기능 또는 조작의 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합을 통해 구현될 수 있다. 선택 가능한 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 구현되며, 다른 선택 가능한 실시예에 있어서, 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로서 구체적으로 구현된다.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비철저하며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 한, 많은 수정 및 변경은 본 기술분야의 기술자에게는 자명한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 당업자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 의도된다.

본 출원 실시예에서 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 개시하고, 상기 방법은, 타깃 시나리오에서의 제1 단말에 의해 수집된 수집 데이터를 획득하는 단계; 상기 타깃 시나리오를 포함하는 글로벌 지도를 획득하는 단계 - 상기 글로벌 지도는, 제2 단말이 상기 타깃 시나리오를 포함하는 글로벌 시나리오에 대해 데이터 수집을 수행하여 획득한 지도 데이터에 기반하여 생성된 것이고, 상기 글로벌 지도는 정밀도 조건을 만족함 - ; 및 상기 수집 데이터 및 상기 글로벌 지도 사이의 특징 대응 관계에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하는 단계를 포함한다. 본 출원의 실시예에서 제공한 포즈 결정 방법은, 제1 포즈의 획득 비용을 감소시키고, 제1 포즈의 정밀도를 개선한다.

Claims

포즈 결정 방법으로서,
타깃 시나리오에서의 제1 단말에 의해 수집된 수집 데이터를 획득하는 단계;
상기 타깃 시나리오를 포함하는 글로벌 지도를 획득하는 단계 - 상기 글로벌 지도는, 제2 단말이 상기 타깃 시나리오를 포함한 글로벌 시나리오에 대해 데이터 수집을 수행하여 획득한 지도 데이터에 기반하여 생성된 것이고, 상기 글로벌 지도는 정밀도 조건을 만족함 - ; 및
상기 수집 데이터 및 상기 글로벌 지도 사이의 특징 대응 관계에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제1항에 있어서,
상기 글로벌 지도는 적어도 하나의 프레임의 시각적 포인트 클라우드를 포함하고, 상기 시각적 포인트 클라우드는 상기 글로벌 시나리오에서의 적어도 하나의 3 차원 특징 포인트를 포함하고; 상기 수집 데이터는 제1 수집 이미지를 포함하며;
상기 수집 데이터 및 상기 글로벌 지도 사이의 특징 대응 관계에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하는 단계는,
상기 제1 수집 이미지와 상기 적어도 하나의 프레임의 시각적 포인트 클라우드를 특징 매칭하여, 글로벌 특징 매칭 결과를 얻는 단계; 및
상기 글로벌 특징 매칭 결과에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 결정하는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제1항에 있어서,
상기 글로벌 지도는 상기 타깃 시나리오에서의 적어도 하나의 프레임의 시각적 포인트 클라우드를 포함하고; 상기 수집 데이터는 적어도 두 프레임의 제1 수집 이미지를 포함하며;
상기 수집 데이터 및 상기 글로벌 지도 사이의 특징 대응 관계에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하는 단계는,
상기 제1 수집 이미지와 상기 적어도 하나의 프레임의 시각적 포인트 클라우드를 특징 매칭하여, 글로벌 특징 매칭 결과를 얻는 단계;
상기 적어도 두 프레임의 제1 수집 이미지를 특징 매칭하여, 로컬 특징 매칭 결과를 얻는 단계; 및
상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 결정하는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제3항에 있어서,
상기 수집 데이터는 제1 관성 측정 IMU 데이터를 더 포함하고;
상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하는 단계는,
상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과 중 적어도 하나에 따라 제1 제약 정보를 획득하는 단계;
상기 제1 IMU 데이터에 따라, 제2 제약 정보를 획득하는 단계; 및
상기 제1 제약 정보 및 상기 제2 제약 정보 중 적어도 하나에 따라, 상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 대해 처리하며, 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 얻는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제4항에 있어서,
상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 대해 처리하는 단계는,
광속 조정법을 통해, 상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 대해 처리하는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제2항 내지 제5항 중 어느 한 항에 있어서,
상기 제1 수집 이미지와 상기 적어도 하나의 프레임의 시각적 포인트 클라우드를 특징 매칭하여, 글로벌 특징 매칭 결과를 얻는 단계는,
상기 제1 수집 이미지에서의 2 차원 특징 포인트를, 상기 적어도 하나의 프레임의 시각적 포인트 클라우드가 포함한 3 차원 특징 포인트와 매칭하여, 상기 글로벌 특징 매칭 결과를 얻는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제1항에 있어서,
상기 방법은,
상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈에 따라, 운동 참값 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제7항에 있어서,
상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈에 따라, 운동 참값 데이터를 결정하는 단계는,
상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 상기 운동 참값 데이터로 사용하는 단계; 및
상기 수집 데이터에서의 적어도 하나, 및 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 상기 운동 참값 데이터로 사용하는 단계 중 적어도 하나를 포함하며, 상기 수집 데이터는,
무선 네트워크 WiFi 데이터, 블루투스 데이터, 지자기장 데이터, 초광대역 UWB 데이터, 제1 수집 이미지 및 제1 IMU 데이터에서의 하나 또는 복수 개를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제7항 또는 제8항에 있어서,
상기 운동 참값 데이터는,
포지셔닝 결과의 정밀도 판단, 신경 네트워크에 대해 훈련 수행 및 상기 글로벌 지도와의 정보 융합을 수행하는 것 중 적어도 하나를 수행하는 것에 사용되는 것을 특징으로 하는 포즈 결정 방법.
제1항에 있어서,
상기 지도 데이터는 상기 글로벌 시나리오에서의 레이저 포인트 클라우드, 제2 수집 이미지 및 제2 IMU 데이터를 포함하고;
상기 방법은,
상기 제2 단말에 의해 수집된 상기 글로벌 시나리오의 지도 데이터를 획득하는 단계; 및
상기 지도 데이터에 따라, 상기 글로벌 시나리오에 대해 오프라인 재구축을 수행하여, 상기 글로벌 시나리오의 글로벌 지도를 생성하는 단계를 더 포함하는 것을 특징으로 하는 포즈 결정 방법.
제10항에 있어서,
상기 지도 데이터에 따라, 상기 글로벌 시나리오에 대해 오프라인 재구축을 수행하여, 상기 글로벌 시나리오의 글로벌 지도를 생성하는 단계는,
상기 제2 IMU 데이터 및 상기 레이저 포인트 클라우드에 따라, 상기 제2 단말이 데이터 수집 과정에서의 적어도 하나의 제2 포즈를 결정하는 단계;
적어도 하나의 상기 제2 포즈에 따라, 상기 제2 수집 이미지를 결합하여, 상기 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻는 단계 - 상기 시각적 포인트 클라우드는 상기 글로벌 시나리오에서의 적어도 하나의 3 차원 특징 포인트를 포함함 - ; 및
상기 적어도 하나의 프레임의 시각적 포인트 클라우드에 따라, 상기 글로벌 시나리오의 글로벌 지도를 얻는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제11항에 있어서,
적어도 하나의 상기 제2 포즈에 따라, 상기 제2 수집 이미지를 결합하여, 상기 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻는 단계는,
적어도 하나의 상기 제2 포즈에 따라, 상기 제2 수집 이미지를 결합하여, 상기 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드를 얻는 단계;
상기 레이저 포인트 클라우드 및 상기 제2 수집 이미지 중 적어도 하나에 따라, 시각 지도 재구축 과정에서의 제3 제약 정보를 획득하는 단계 - 상기 제3 제약 정보는 상기 레이저 포인트 클라우드의 평면 제약 정보, 상기 레이저 포인트 클라우드의 에지 제약 정보 및 시각 제약 정보에서의 하나 또는 복수 개를 포함함 - ; 및
상기 제3 제약 정보에 따라, 상기 적어도 하나의 프레임의 초기 시각적 포인트 클라우드에 대해 최적화하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제10항에 있어서,
상기 제2 단말은,
상기 글로벌 시나리오에서의 레이저 포인트 클라우드를 획득하기 위한 레이다;
상기 글로벌 시나리오에서의 제2 수집 이미지를 획득하기 위한 시각 센서; 및
상기 글로벌 시나리오에서의 제2 IMU 데이터를 획득하기 위한 IMU 센서를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제13항에 있어서,
상기 지도 데이터에 따라, 상기 글로벌 시나리오에 대해 오프라인 재구축을 수행하여, 상기 글로벌 시나리오의 글로벌 지도를 생성하기 전에,
상기 시각 센서와 상기 IMU 센서 사이의 좌표 변환 관계에 대해 교정하여, 제1 교정 결과를 얻는 단계;
상기 레이다와 상기 시각 센서 사이의 좌표 변환 관계에 대해 교정하여, 제2 교정 결과를 얻는 단계; 및
상기 제1 교정 결과 및 상기 제2 교정 결과에 따라, 상기 시각 센서, IMU 센서 및 레이다 사이의 좌표 변환 관계에 대해 연합 교정을 수행하는 단계를 포함하는 것을 특징으로 하는 포즈 결정 방법.
제10항 내지 제14항 중 어느 한 항에 있어서,
상기 방법은,
상기 제2 단말이 상기 지도 데이터를 수집하는 과정에서, 상기 지도 데이터에 따라 상기 글로벌 시나리오에 대해 실시간 재구축을 수행하여, 상기 글로벌 시나리오의 실시간 지도를 생성하는 단계; 및
타깃 기기에 상기 지도 데이터 및 상기 실시간 지도 중 적어도 하나를 송신하는 단계 - 상기 타깃 기기는 상기 글로벌 시나리오에 대해 데이터 수집을 완료한 지리 범위를 디스플레이 하기 위함 - 를 포함하는 것을 특징으로 하는 포즈 결정 방법.
포즈 결정 장치로서,
타깃 시나리오에서의 제1 단말에 의해 수집된 수집 데이터를 획득하도록 구성된 수집 데이터 획득 모듈;
상기 타깃 시나리오를 포함하는 글로벌 지도를 획득하도록 - 상기 글로벌 지도는, 제2 단말이 상기 타깃 시나리오를 포함하는 글로벌 시나리오에 대해 데이터 수집을 수행하여 획득한 지도 데이터에 기반하여 생성된 것이고, 상기 글로벌 지도는 정밀도 조건을 만족함 - 구성된 글로벌 지도 획득 모듈; 및
상기 수집 데이터 및 상기 글로벌 지도 사이의 특징 대응 관계에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 제1 포즈를 결정하도록 구성된 포즈 결정 모듈을 포함하는 것을 특징으로 하는 포즈 결정 장치.
제16항에 있어서,
상기 글로벌 지도는 적어도 하나의 프레임의 시각적 포인트 클라우드를 포함하고, 상기 시각적 포인트 클라우드는 상기 글로벌 시나리오에서의 적어도 하나의 3 차원 특징 포인트를 포함하고; 상기 수집 데이터는 제1 수집 이미지를 포함하며;
상기 포즈 결정 모듈은, 상기 제1 수집 이미지와 상기 적어도 하나의 프레임의 시각적 포인트 클라우드를 특징 매칭하여, 글로벌 특징 매칭 결과를 얻고; 상기 글로벌 특징 매칭 결과에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 결정하도록 구성된 것을 특징으로 하는 포즈 결정 장치.
제16항에 있어서,
상기 글로벌 지도는 상기 타깃 시나리오에서의 적어도 하나의 프레임의 시각적 포인트 클라우드를 포함하고; 상기 수집 데이터는 적어도 두 프레임의 제1 수집 이미지를 포함하며;
상기 포즈 결정 모듈은, 상기 제1 수집 이미지와 상기 적어도 하나의 프레임의 시각적 포인트 클라우드를 특징 매칭하여, 글로벌 특징 매칭 결과를 얻고; 상기 적어도 두 프레임의 제1 수집 이미지를 특징 매칭하여, 로컬 특징 매칭 결과를 얻으며; 상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 따라, 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 결정하도록 구성된 것을 특징으로 하는 포즈 결정 장치.
제18항에 있어서,
상기 수집 데이터는 제1 관성 측정 IMU 데이터를 더 포함하며;
상기 포즈 결정 모듈은, 상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 따라, 제1 제약 정보를 획득하고; 상기 제1 IMU 데이터에 따라, 제2 제약 정보를 획득하며; 상기 제1 제약 정보 및 상기 제2 제약 정보 중 적어도 하나에 따라, 상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 대해 처리하여, 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 획득하도록 구성된 것을 특징으로 하는 포즈 결정 장치.
제19항에 있어서,
상기 포즈 결정 모듈은, 광속 조정법을 통해, 상기 글로벌 특징 매칭 결과 및 상기 로컬 특징 매칭 결과에 대해 처리하도록 구성된 것을 특징으로 하는 포즈 결정 장치.
제17항 내지 제20항 중 어느 한 항에 있어서,
상기 포즈 결정 모듈은, 상기 제1 수집 이미지에서의 2 차원 특징 포인트를, 상기 적어도 하나의 프레임의 시각적 포인트 클라우드가 포함한 3 차원 특징 포인트와 매칭하여, 상기 글로벌 특징 매칭 결과를 얻도록 구성된 것을 특징으로 하는 포즈 결정 장치.
제16항에 있어서,
상기 장치는 운동 참값 획득 모듈을 더 포함하며,
상기 운동 참값 획득 모듈은, 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈에 따라, 운동 참값 데이터를 결정하도록 구성된 것을 특징으로 하는 포즈 결정 장치.
제22항에 있어서,
상기 운동 참값 획득 모듈은, 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 상기 운동 참값 데이터로 사용하는 것; 및
상기 수집 데이터에서의 적어도 하나, 및 상기 제1 단말이 수집 과정에서의 적어도 하나의 상기 제1 포즈를 상기 운동 참값 데이터로 사용하는 것; 중 적어도 하나를 수행하도록 구성되고,
상기 수집 데이터는 무선 네트워크 WiFi 데이터, 블루투스 데이터, 지자기장 데이터, 초광대역 UWB 데이터, 제1 수집 이미지 및 제1 IMU 데이터에서의 하나 또는 복수 개를 포함하는 것을 특징으로 하는 포즈 결정 장치.
제22항 또는 제23항에 있어서,
상기 운동 참값 데이터는,
포지셔닝 결과의 정밀도 판단, 신경 네트워크에 대해 훈련 수행 및 상기 글로벌 지도와의 정보 융합을 수행하는 것 중 적어도 하나를 수행하는 것에 사용되는 것을 특징으로 하는 포즈 결정 장치.
제16항에 있어서,
상기 지도 데이터는 상기 글로벌 시나리오에서의 레이저 포인트 클라우드, 제2 수집 이미지 및 제2 IMU 데이터를 포함하고; 상기 장치는 지도 데이터 획득 모듈 및 글로벌 지도 생성 모듈을 더 포함하며;
상기 지도 데이터 획득 모듈은, 제2 단말에 의해 수집된 상기 글로벌 시나리오의 지도 데이터를 획득하도록 구성되고; 및
상기 글로벌 지도 생성 모듈은, 상기 지도 데이터에 따라, 상기 글로벌 시나리오에 대해 오프라인 재구축을 수행하여, 상기 글로벌 시나리오의 글로벌 지도를 생성하도록 구성된 것을 특징으로 하는 포즈 결정 장치.
제25항에 있어서,
상기 글로벌 지도 생성 모듈은, 상기 제2 IMU 데이터 및 상기 레이저 포인트 클라우드에 따라, 상기 제2 단말이 데이터 수집 과정에서의 적어도 하나의 제2 포즈를 결정하고; 적어도 하나의 상기 제2 포즈에 따라, 상기 제2 수집 이미지를 결합하여, 상기 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻으며; 상기 적어도 하나의 프레임의 시각적 포인트 클라우드에 따라, 상기 글로벌 시나리오의 글로벌 지도를 얻도록 구성되고; 상기 시각적 포인트 클라우드는 상기 글로벌 시나리오에서의 적어도 하나의 3 차원 특징 포인트를 포함하는 것을 특징으로 하는 포즈 결정 장치.
제26항에 있어서,
상기 글로벌 지도 생성 모듈은, 적어도 하나의 상기 제2 포즈에 따라, 상기 제2 수집 이미지를 결합하여, 상기 글로벌 시나리오에 대해 시각 지도 재구축을 수행하여, 적어도 하나의 프레임의 초기 시각적 포인트 클라우드를 얻고; 상기 레이저 포인트 클라우드 및 상기 제2 수집 이미지 중 적어도 하나에 따라, 시각 지도 재구축 과정에서의 제3 제약 정보를 획득하고; 상기 제3 제약 정보에 따라, 상기 적어도 하나의 프레임의 초기 시각적 포인트 클라우드에 대해 최적화하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻으며; 상기 제3 제약 정보에 따라, 상기 적어도 하나의 프레임의 초기 시각적 포인트 클라우드에 대해 최적화하여, 적어도 하나의 프레임의 시각적 포인트 클라우드를 얻도록 구성되고; 상기 제3 제약 정보는, 상기 레이저 포인트 클라우드의 평면 제약 정보, 상기 레이저 포인트 클라우드의 에지 제약 정보 및 시각 제약 정보에서의 하나 또는 복수 개를 포함하는 것을 특징으로 하는 포즈 결정 장치.
제25항에 있어서,
상기 제2 단말은,
상기 글로벌 시나리오에서의 레이저 포인트 클라우드를 획득하도록 구성된 레이다;
상기 글로벌 시나리오에서의 제2 수집 이미지를 획득하도록 구성된 시각 센서;
상기 글로벌 시나리오에서의 제2 IMU 데이터를 획득하도록 구성된 IMU 센서를 포함하는 것을 특징으로 하는 포즈 결정 장치.
제28항에 있어서,
상기 장치는, 상기 시각 센서와 상기 IMU 센서 사이의 좌표 변환 관계에 대해 교정하여, 제1 교정 결과를 얻고; 상기 레이다와 상기 시각 센서 사이의 좌표 변환 관계에 대해 교정하여, 제2 교정 결과를 얻으며; 상기 제1 교정 결과 및 상기 제2 교정 결과에 따라, 상기 시각 센서, IMU 센서 및 레이다 사이의 좌표 변환 관계에 대해 연합 교정을 수행하도록 구성된 것을 특징으로 하는 포즈 결정 장치.
제25항 내지 제29항 중 어느 한 항에 있어서,
상기 장치는, 상기 제2 단말이 상기 지도 데이터를 수집하는 과정에서, 상기 지도 데이터에 따라 상기 글로벌 시나리오에 대해 실시간 재구축을 수행하여, 상기 글로벌 시나리오의 실시간 지도를 생성하고; 타깃 기기에 상기 지도 데이터 및 상기 실시간 지도 중 적어도 하나를 송신하도록 구성되고, 상기 타깃 기기는 상기 글로벌 시나리오에 대해 데이터를 수집 완료한 지리 범위를 디스플레이 하기 위한 것을 특징으로 하는 포즈 결정 장치.
전자 기기로서,
프로세서;
프로세서가 실행 가능한 명령어를 저장하기 위한 메모리;
상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 제1항 내지 제15항 중 어느 한 항에 따른 포즈 결정 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능한 저장 매체로서,
컴퓨터 프로그램 명령어가 저장되어 있고, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 경우 제1항 내지 제15항 중 어느 한 항에 따른 포즈 결정 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 컴퓨터 판독 가능한 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기의 프로세서는 청구항 제1항 내지 제15항 중 어느 한 항에 따른 포즈 결정 방법을 구현하기 위한 것을 특징으로 하는 컴퓨터 프로그램.