KR102581263B1

KR102581263B1 - 위치 추적 방법, 장치, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체

Info

Publication number: KR102581263B1
Application number: KR1020210027765A
Authority: KR
Inventors: 션화 허우; 웬동 딩; 항 가오; 궈웨이 완; 시위 송
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-03-02
Filing date: 2021-03-02
Publication date: 2023-09-21
Also published as: EP3875985A1; JP2021139898A; CN111947671B; KR20210111180A; US20210270612A1; US11852751B2; EP3875985B1; CN111947671A; JP7179110B2

Abstract

본 출원은 위치 추적 방법, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체를 개시하고, 자율 주행 분야에 관련된 것이다. 상기 방법은, 위치 추적할 기기에서 레이저 레이더가 현재 시각에 수집한 포인트 클라우드 데이터를 획득하는 단계; 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 전역 좌표계에서 상기 기기의 현재 시각의 전역 위치 추적 정보를 결정하는 단계; 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 국부 좌표계에서 상기 기기의 현재 시각의 국부 위치 추적 정보를 결정하는 단계; 및 적어도 전역 위치 추적 정보 및 국부 위치 추적 정보에 기반하여, 현재 시각에서 상기 기기의 위치 추적 결과를 결정하는 단계를 포함한다. 본 출원의 실시형태는 효과적이고 안정적인 위치 추적 서비스를 제공하여, 위치 추적 결과가 환경 변화에 따른 영향을 받지 않도록 한다.

Description

위치 추적 방법, 장치, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체{METHOD, APPARATUS, COMPUTING DEVICE AND COMPUTER-READABLE STORAGE MEDIUM FOR POSITIONING}

본 출원의 실시형태는 주요하게 자율 주행 분야에 관련된 것이고, 또한 더욱 구체적으로는 위치 추적 방법, 장치, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

최근 자율 주행(즉 무인 운전으로도 칭함)은 인공 지능의 하나의 응용 사례로서 이미 다양한 교통 수단, 특히 차량 산업의 새로운 발전 방향으로 자리 잡고 있다. 자율 주행 기술은 통상적으로 자율 주행 차량에 대한 고정밀도 위치 추적에 의존한다. 자율 주행 분야에서, 기존의 위치 추적 방법은 자율 주행 차량의 레이저 레이더를 실시간으로 수집한 포인트 클라우드 데이터와 고정밀도 위치 추적 지도를 매칭하여, 자율 주행 차량의 위치를 결정한다. 그러나, 도로 환경에 변화가 발생할 경우, 실시간으로 수집한 포인트 클라우드 데이터는 위치 추적 지도에서 대응되는 영역의 데이터와 비교적 큰 차이가 존재하게 되어 위치 추적 결과가 정확하지 않거나 위치 추적이 불가능한 상황이 발생하게 된다.

본 출원의 예시적인 실시형태에 따르면, 위치 추적의 방법을 제공한다.

본 출원의 제1 양태에서, 위치 추적 방법을 제공하는 바,

기기의 LiDAR가 제1 시각에 수집한 포인트 클라우드 데이터를 획득하는 단계;

상기 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 상기 전역 좌표계에서 상기 기기의 상기 제1 시각의 제1 전역 위치 추적 정보를 결정하는 단계;

상기 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 상기 국부 좌표계에서 상기 기기의 상기 제1 시각의 제1 국부 위치 추적 정보를 결정하는 단계; 및

적어도 상기 제1 전역 위치 추적 정보 및 상기 제1 국부 위치 추적 정보에 기반하여, 상기 제1 시각에서 상기 기기의 제1 위치 추적 결과를 결정하는 단계를 포함한다.

본 출원의 제2 양태에서, 위치 추적 장치를 제공한다. 상기 장치는, 위치 추적할 기기에서 레이저 레이더가 현재 시각에 수집한 포인트 클라우드 데이터를 획득하는 제1 획득 모듈; 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 전역 좌표계에서 상기 기기의 현재 시각의 전역 위치 추적 정보를 결정하는 전역 위치 추적 모듈; 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 국부 좌표계에서 상기 기기의 현재 시각의 국부 위치 추적 정보를 결정하는 국부 위치 추적 모듈; 및 적어도 전역 위치 추적 정보 및 국부 위치 추적 정보에 기반하여, 현재 시각에서 상기 기기의 위치 추적 결과를 결정하는 결과 결정 모듈을 포함한다.

본 출원의 제3 양태에서, 컴퓨팅 기기를 제공하는 바,

하나 또는 복수의 프로세서; 및

하나 또는 복수의 프로그램이 저장된 메모리를 포함하고, 상기 하나 또는 복수의 프로그램은 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 컴퓨팅 기기가 동작을 수행하도록 하되, 상기 동작은,

기기의 LiDAR가 제1 시각에 수집한 포인트 클라우드 데이터를 획득하고;

상기 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 상기 전역 좌표계에서 상기 기기의 상기 제1 시각의 제1 전역 위치 추적 정보를 결정하며;

상기 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 상기 국부 좌표계에서 상기 기기의 상기 제1 시각의 제1 국부 위치 추적 정보를 결정하고;

적어도 상기 제1 전역 위치 추적 정보 및 상기 제1 국부 위치 추적 정보에 기반하여, 상기 제1 시각에서 상기 기기의 제1 위치 추적 결과를 결정하는 것을 포함한다.

본 출원의 제4 양태에서, 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 매체를 제공하는 바, 상기 프로그램이 컴퓨팅 기기에 의해 실행될 경우 상기 컴퓨팅 기기가,

대상 기기의 LiDAR가 제1 시각에 수집한 포인트 클라우드 데이터를 획득하고;

상기 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 상기 전역 좌표계에서 상기 대상 기기의 상기 제1 시각의 제1 전역 위치 추적 정보를 결정하며;

상기 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 상기 국부 좌표계에서 상기 대상 기기의 상기 제1 시각의 제1 국부 위치 추적 정보를 결정하고;

적어도 상기 제1 전역 위치 추적 정보 및 상기 제1 국부 위치 추적 정보에 기반하여, 상기 제1 시각에서 상기 대상 기기의 제1 위치 추적 결과를 결정하는 것을 수행하도록 한다.

본 출원의 제5 양태에서, 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램을 제공하는 바, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 본 출원의 상기 제1 양태에 따른 위치 추적 방법을 수행하도록 한다.

본 부분에서 설명되는 내용은 본 출원의 실시예의 키 포인트 또는 중요 특징을 표시하기 위한 것으로서 본 출원의 범위를 한정하지 않음을 반드시 이해해야 한다. 본 출원의 다른 특징은 아래의 명세서를 통해 더욱 용이하게 이해될 수 있다.

도면과 결부하여 하기의 상세한 설명을 참조하면, 본 출원의 각 실시형태의 상술한 특징들과 다른 특징, 장점 및 양태는 더욱 명확해질 것이다. 도면에서, 동일하거나 유사한 도면 부호는 동일하거나 유사한 요소를 표시한다. 여기서,
도 1은 본 출원의 복수의 실시형태가 구현되는 예시적인 환경의 개략도이다.
도 2는 본 출원의 실시형태에 따른 위치 추적 시스템의 블록도이다.
도 3은 본 출원의 실시형태에 따른 위치 추적 과정의 흐름도이다.
도 4는 본 출원의 실시형태에 따른 위치 추적 장치의 개략적 블록도이다.
도 5는 본 출원의 복수의 실시형태에 따른 컴퓨팅 기기의 블록도이다.

아래에 첨부된 도면을 참조하여 본 출원의 실시예를 보다 상세하게 설명한다. 도면에서 본 출원의 일부 실시예들을 도시하였으나 본 출원은 더욱 다양한 형태로 구현될 수 있고, 여기서 설명된 실시예에 한정되는 것으로 해석되어서는 아니되고, 반대로 이러한 실시예를 제공하는 것은 본 출원을 보다 명확하고 완전하게 이해하기 위한 것임을 이해해야 할 것이다. 본 출원의 도면 및 실시예는 단지 예시로서 작용되며, 본 출원의 보호 범위를 한정하려는 것이 아님을 이해해야 할 것이다.

본 출원의 실시예의 설명에서, 용어 "포함하다" 및 이와 유사한 용어는 "포함하지만 한정되지 않는다"와 같은 개방적 포함으로 이해되어야 한다. 용어 "기반하여"는 "적어도 일부가 기반하여"로 이해되어야 한다. 용어 "일 실시예" 또는 "상기 실시예"는 "적어도 일 실시예"로 이해되어야 한다. 용어 "제1", "제2" 등은 상이하거나 동일한 대상을 지칭할 수 있다. 아래 설명은 다른 명시적 및 암시적 정의를 더 포함할 수 있다.

상기 언급한 바와 같이, 자율 주행 분야에서, 기존의 위치 추적 방법은 자율 주행 차량의 LiDAR를 실시간으로 수집한 포인트 클라우드 데이터와 고정밀도 위치 추적 지도를 매칭하여, 자율 주행 차량의 위치를 결정한다. 그러나, 도로 환경에 변화가 발생할 경우, 실시간으로 수집한 포인트 클라우드 데이터는 위치 추적 지도에서 대응되는 영역의 데이터와 비교적 큰 차이가 존재하게 되어 위치 추적 결과가 정확하지 않거나 위치 추적이 불가능한 상황이 발생하게 된다.

본 출원의 실시형태에 따르면, 위치 추적 방법을 제공한다. 상기 방법은, 위치 추적할 기기의 LiDAR가 현재 시각에 수집한 포인트 클라우드 데이터를 획득하는 단계; 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 전역 좌표계에서 상기 기기의 현재 시각의 전역 위치 추적 정보를 결정하는 단계; 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 국부 좌표계에서 상기 기기의 현재 시각의 국부 위치 추적 정보를 결정하는 단계; 및 적어도 전역 위치 추적 정보 및 국부 위치 추적 정보에 기반하여, 현재 시각에서 상기 기기의 위치 추적 결과를 결정하는 단계를 포함한다. 이러한 방식에 의해, 본 출원의 실시형태는 효과적이고 안정적인 위치 추적 서비스를 제공하여, 위치 추적 결과가 환경 변화에 따른 영향을 받지 않도록 한다.

이하 도면을 참조하여 구체적으로 본 출원의 실시형태를 설명하도록 한다. 도 1은 본 출원의 복수의 실시형태의 구현에 적합한 예시적인 환경(100)의 개략도이다. 환경(100)에는 위치 추적할 기기(110) 및 기기(110)와 통신하도록 연결된 컴퓨팅 기기(120)가 포함될 수 있다.

상기 예시적인 환경(100)에서, 기기(110)는 차량으로 표시되는 바, 예를 들면 도로(130)에서 주행한다. 여기서 상기 차량은 승용차, 트럭, 버스, 전동차, 오토바이, 캠핑카, 기차 등을 포함하나 이에 제한되지 않는다. 일부 실시형태에서, 기기(110)는 일부 또는 완전 자율 주행 능력을 구비하는 차량일 수 있고, 무인 운전 차량으로 칭할 수도 있다. 선택 가능하게, 다른 일부 실시형태에서, 기기(110)는 위치 추적할 다른 기기 또는 교통 수단 등일 수 있다. 본 출원의 범위는 상기 측면에서 한정되지 않는다.

기기(110)는 통신 가능하게 컴퓨팅 기기(120)에 연결될 수 있다. 단독 엔티티로 표시되었지만 컴퓨팅 기기(120)는 기기(110)에 탑재될 수 있다. 컴퓨팅 기기(120)는 기기(110) 외부의 엔티티로 구현될 수도 있고, 무선 네트워크를 거쳐 기기(110)와 통신할 수 있다. 컴퓨팅 기기(120)는 적어도 프로세서, 메모리 및 통상적으로 범용 컴퓨터에 존재하는 기타 부재들을 포함하여, 컴퓨팅, 저장, 통신, 제어 등 기능을 구현할 수도 있다.

일부 실시형태에서, 기기(110)에는 LiDAR가 설치되어, 포인트 클라우드 데이터를 실시간으로 수집할 수 있다. 컴퓨팅 기기(120)는 기기(110)에서 LiDAR가 실시간으로 수집한 포인트 클라우드 데이터를 획득하고, 적어도 상기 포인트 클라우드 데이터에 기반하여 기기(110) 현재의 위치 추적 결과(101)를 결정한다. 위치 추적 결과(101)는 특정 좌표계에서 기기(110)의 포즈를 가리킬 수 있다. 예를 들면, 2차원 좌표계에서, 물체의 포즈는 2차원 좌표 및 헤딩각으로 표시할 수 있다. 3차원 좌표계에서, 물체의 포즈는 3차원 좌표, 피칭각(pitching angle), 헤딩각 및 롤 각을 이용하여 표시할 수 있다. 추가적으로, 일부 실시형태에서, 기기(110)에는 관성 측정 데이터(예컨대, 자이로스코프로 수집된 각 속도, 자이로스코프의 제로 오프셋, 가속도계로 수집된 가속도, 가속도계의 제로 오프셋 등)를 실시간으로 수집하기 위한 관성 측정 유닛(IMU)이 구비될 수 있다. 컴퓨팅 기기(120)는 기기(110)로부터 상기 관성 측정 데이터 및 LiDAR가 실시간으로 수집한 포인트 클라우드 데이터를 획득할 수 있고, 적어도 관성 측정 데이터 및 포인트 클라우드 데이터에 기반하여 기기(110) 현재의 위치 추적 결과(101)를 결정한다.

도 2는 본 출원의 실시형태에 따른 위치 추적 시스템(200)의 블록도이다. 부연하면, 설명의 목적에서 비롯하여 위치 추적 시스템(200)의 구조 및 기능들이 표시되며, 이는 본 출원의 범위에 대한 임의의 한정을 암시하지 않는다. 일부 실시형태에서, 위치 추적 시스템(200)은 상이한 구조 및/또는 기능을 구비할 수 있다.

도 2에 도시된 바와 같이, 시스템(200)은 위치 추적할 기기(예를 들면, 차량; 110) 및 컴퓨팅 기기(120)를 포함할 수 있다. 위치 추적할 기기(110)는 예를 들면 관성 측정 유닛 "IMU"(210) 및 레이저 레이더 시스템 "LiDAR"(220)을 포함할 수 있다. IMU(210)(예를 들면 자이로스코프, 가속도계, 자력계, 위성 위치 추적 센서 예컨대 GPS센서 및/또는 다른 관성 센서)는 기기(110)의 관성 측정 데이터(예컨대, 자이로스코프로 수집한 각속도, 자이로스코프의 제로 오프셋, 가속도계로 수집된 가속도, 가속도계의 제로 오프셋 등)를 실시간으로 수집할 수 있고, 또한 LiDAR(220)는 포인트 클라우드 데이터를 실시간으로 수집할 수 있다. 여기서 상기의 "포인트 클라우드 데이터"는 레이저 빔이 물체 표면에 조사될 때 수집되는 상기 물체 표면의 각 점의 데이터 정보를 가리키며, 각 점의 3차원 좌표(예를 들면, x 좌표, y 좌표 및 z 좌표) 및 레이저 반사 강도(또한 "반사 값"으로 칭함)를 포함한다.

도 2에 도시된 바와 같이, 컴퓨팅 기기(120)는 사전 처리 모듈(230), LiDAR 관성 속도계(240), 전역 LiDAR 관성 매칭 모듈(250), 융합 최적화 모듈(260) 및 환경 변화 검출 모듈(270)을 포함할 수 있다. 반드시 이해해야 할 것은, 설명의 목적에서 비롯하여 컴퓨팅 기기(120)의 각 모듈 및 상응한 기능을 표시하는 바, 이는 본 출원의 범위에 대한 임의의 한정을 암시하지 않는다. 일부 실시형태에서, 컴퓨팅 기기(120)는 추가적인 모듈을 포함하거나, 또는 생략되어 표시되는 하나 또는 복수의 모듈(예를 들면, 환경 변화 검출 모듈(270))을 포함할 수 있다.

일부 실시형태에서, 사전 처리 모듈(230)은 관성 적분 유닛(231) 및 움직임 보정 유닛(232)을 포함할 수 있다. 관성 적분 유닛(231)은 IMU(210)에 의해 수집한 관성 측정 데이터를 적분하여, 기기(110)의 현재 관성 좌표계에서의 위치 추적 정보(여기서 "관성 위치 추적 정보"로 칭함)를 결정할 수 있다. 관성 위치 추적 정보는 예를 들어 관성 좌표계에서 상기 기기(110)의 예측 포즈 및/또는 다른 정보를 가리킬 수 있다. 일부 실시형태에서, 관성 위치 추적 정보는 움직임 보정 유닛(232)에 제공될 수 있으며, 움직임 보정 유닛(232)은 상기 관성 위치 추적 정보를 이용하여 레이더(220)로 수집한 초기 포인트 클라우드 데이터에 대해 움직임 보정을 진행하여, 보정된 포인트 클라우드 데이터를 얻을 수 있다. 보정된 포인트 클라우드 데이터는 LiDAR 관성 속도계(240) 및 전역 LiDAR 관성 매칭 모듈(250)에 제공될 수 있다.

일부 실시형태에서, 전역 LiDAR 관성 매칭 모듈(250)은 포인트 클라우드 데이터(예를 들면, 움직임 보정을 거친 포인트 클라우드 데이터)와 미리 구축된 전역 위치 추적 지도를 매칭하여, 기기(110)의 현재의 전역 위치 추적 지도 중의 위치 추적 정보(본 명세서에서 "전역 위치 추적 정보"로 칭함)를 결정할 수 있다. 전역 위치 추적 지도는 전역 좌표계에서 구축된 2차원 지도일 수 있고, 전역 좌표계는 예를 들어 경위도의 국제 좌표계이다. 일부 실시형태에서, 전역 위치 추적 지도는 2차원 평면에서 복수의 그리드로 구분될 수 있고, 여기서 각 그리드는 상기 그리드와 서로 대응되는 레이저 반사 값 및 높이 값을 기록할 수 있다. 일부 실시형태에서, 전역 LiDAR 관성 매칭 모듈(250)은 히스토그램 필터 프레임을 사용하여, 실시간 포인트 클라우드 데이터 중의 반사 값 및 높이 값과 각 그리드의 반사 값 및 높이 값을 매칭하여, 히스토그램 필터 중의 상태 확률을 업데이트할 수 있다. 일부 실시형태에서, 전역 LiDAR 관성 매칭 모듈(250)이 출력한 전역 위치 추적 정보는 전역 좌표계에서 기기(110)의 포즈(본 명세서에서는 "제1 포즈"로 칭함) 및 상기 포즈의 신뢰도(예를 들면, 상태 확률)를 포함할 수 있다.

LiDAR 관성 속도계(240)는 도로 건설, 지도의 기한 경과 또는 환경 변화 등 상황에서 위치 추적의 정밀도를 향상하기 위한 것이다. 일부 실시형태에서, LiDAR 관성 속도계(240)는 포인트 클라우드 데이터(예를 들면, 움직임 보정을 거친 포인트 클라우드 데이터 또는 초기 포인트 클라우드 데이터)를 수신할 수 있고, 또한 현재 시각의 포인트 클라우드 데이터(또한 "현재 프레임"으로 칭함)와 이전 시각의 포인트 클라우드 데이터(또한 "이전 프레임"으로 칭함) 사이의 상대 포즈 관계를 추정한다. LiDAR 관성 속도계(240)는 추정된 상이한 프레임 사이의 상대 포즈 관계에 기반하여, 수신한 포인트 클라우드 데이터를 조합함으로써 국부 좌표계에서 국부 지도를 구축할 수 있다. 국부 지도는 예를 들어 기기(110)의 초기 위치를 원점으로 하는 국부 좌표계에서 구축된 2차원 지도 또는 3차원 지도일 수 있다. 아래 3차원 지도를 국부 지도의 구현예로 한다.

일부 실시형태에서, 현재 시각의 포인트 클라우드 데이터 (예를 들면, 움직임 보정을 거친 포인트 클라우드 데이터 또는 초기 포인트 클라우드 데이터)를 수신한 것에 응답하여, LiDAR 관성 속도계(240)는 포인트 클라우드 데이터와 국부 지도를 매칭하여, 기기(110)가 현재 상기 국부 지도에서의 위치 추적 정보 (본 명세서에서 "국부 위치 추적 정보"로 칭함)를 결정한다. 국부 위치 추적 정보는 예를 들어 포인트 클라우드 데이터와 국부 지도 사이의 상대 포즈, 기기(110)가 국부 좌표계에서의 포즈(본 명세서에서 "제2 포즈"로 칭함), 및 상기 국부 지도가 국부 좌표계에서의 포즈(본 명세서에서 "제3 포즈"로 칭함)를 가리킬 수 있다. 국부 지도의 포즈는 예를 들어 상기 국부 지도를 구축하기 위한 첫 프레임 포인트 클라우드에 대응되는 포즈로 표시할 수 있다.

일부 실시형태에서, LiDAR 관성 속도계(240)는 또한 현재 시각의 포인트 클라우드 데이터에 기반하여 국부 지도를 업데이트할 수도 있다. 포인트 클라우드 데이터 및 국부 지도는 통상적으로 동일한 좌표계에 위치하지 않기에, LiDAR 관성 속도계(240)는 우선 포인트 클라우드 데이터를 국부 지도와 대응되는 국부 좌표계로 전환시키고, 그 다음 좌표 변환을 거친 포인트 클라우드 데이터로 국부 지도를 업데이트할 수 있다. 예를 들면, LiDAR 관성 속도계(240)는 현재 시각의 포인트 클라우드 데이터를 국부 지도에 삽입하여, 상기 국부 지도를 업데이트할 수 있다.

일부 실시형태에서, LiDAR 관성 속도계(240)는 복수의 국부 지도를 유지(maintain)할 수 있다. 예를 들면, LiDAR 관성 속도계(240)는 이미 멀티 프레임 이력 포인트 클라우드 데이터를 조합하여 제1 국부 지도를 구축하였다. LiDAR 관성 속도계(240)가 현재 시각의 포인트 클라우드 데이터를 수신할 경우, 현재 시각의 포인트 클라우드 데이터를 제1 국부 지도에 삽입하여 제1 국부 지도를 업데이트할 수 있다. 제1 국부 지도 중의 포인트 클라우드 프레임 개수가 임계값(예를 들면, 40 프레임)에 도달하면, 후속적인 포인트 클라우드 데이터는 제1 국부 지도에 삽입되지 않고, 새로운 제2 국부 지도를 구축하는데 사용될 수 있다. 제2 국부 지도 중의 포인트 클라우드 프레임 개수가 임계값(예를 들면, 40 프레임)에 도달하면, 제1 국부 지도는 폐기될 수 있다. 일부 실시형태에서, LiDAR 관성 속도계(240)에 의해 유지되는 복수의 국부 지도는 서로 다른 해상도를 갖기에, 위치 추적의 정확도 및 안정성을 더욱 향상시킬 수 있다. 일부 실시형태에서, LiDAR 관성 속도계(240)가 복수의 국부 지도를 유지할 경우, 국부 좌표계에서 각 국부 지도의 포즈는 상기 국부 지도를 구축하기 위한 첫 프레임 포인트 클라우드에 대응되는 포즈로 표시될 수 있다. 국부 위치 추적 정보를 결정할 경우, LiDAR 관성 속도계(240)는 수신된 포인트 클라우드 데이터와 복수의 국부 지도 중의 일부 또는 전부의 국부 지도를 매칭할 수 있다.

일부 실시형태에서, 융합 최적화 모듈(260)은 LiDAR 관성 속도계(240)로부터 전달받은 국부 위치 추적 정보 및 전역 LiDAR 관성 매칭 모듈(250)로부터 전달받은 전역 위치 추적 정보를 융합하여, 기기(110) 현재의 위치 추적 결과(101)를 결정할 수 있다. 위치 추적 결과(101)는 기기(110)의 현재 전역 좌표계 또는 국부 좌표계에서의 포즈를 가리킬 수 있다. LiDAR 관성 속도계(240)가 국부 좌표계에서 양호한 상대적 제약을 제공할 수 있기에, 전역 LiDAR 관성 매칭 모듈(250)은 전역 제약을 제공하여 전역 위치 추적을 구현하며, 양자의 위치 추적 결과를 융합시켜 안정적인 위치 추적 시스템을 제공할 수 있다. 추가적으로, 일부 실시형태에서, 융합 최적화 모듈(260)은 LiDAR 관성 속도계(240)로부터 전달받은 국부 위치 추적 정보, 전역 LiDAR 관성 매칭 모듈(250)로부터 전달받은 전역 위치 추적 정보 및 관성 적분 유닛(231)로부터 전달받은 관성 위치 추적 정보를 융합시켜, 기기(110)의 현재의 위치 추적 결과(101)를 결정할 수 있다.

일부 실시형태에서, 융합 과정은 고정 길이의 슬라이딩 윈도우를 이용할 수 있다. 예를 들면, 슬라이딩 윈도우 중의 프레임 개수가 기설정된 프레임 개수에 도달할 경우, 새로운 프레임의 포인트 클라우드 데이터가 상기 슬라이딩 윈도우에 진입할 때, 상기 슬라이딩 윈도우 내의 가장 오래된 한 프레임의 포인트 클라우드 데이터는 제거될 수 있다. 즉, 상기 융합 과정에 적용되는 슬라이딩 윈도우는 시종 현재 시각의 포인트 클라우드 데이터(예를 들면, 현재 프레임) 및 현재 시각 이전의 이력 시각의 포인트 클라우드 데이터를 포함한다. 일부 실시형태에서, 융합 최적화 모듈(260)은 슬라이딩 윈도우에 대해, 전역 LiDAR 관성 매칭 모듈(250) 및 LiDAR 관성 속도계(240)로부터 전달받은 위치 추적 정보를 입력으로 하여, 기기(110)의 현재 시각의 위치 추적 결과(101)를 최적화할 수 있으며, 예를 들면 현재 프레임과 대응되는 최종 포즈를 간편하게 얻을 수 있다.

일부 실시형태에서, 상기 융합 문제는 최대 사후 추정 문제로 공식화될 수 있다. 예를 들면, 기기(110)의 위치 추적 결과와 대응되는 사후 확률 (posteriori probability) 은 하기와 같이 분해될 수 있다.

(1)

여기서, 는 슬라이딩 윈도우 내의 모든 프레임들을 표시하고, 는 이러한 프레임들의 상태(예를 들면, 위치 추적 결과)를 표시하며, 또한 는 이러한 프레임들과 관련되는 측정 데이터(관성 적분 유닛(231)에 의해 제공되는 관성 위치 추적 정보, 전역 LiDAR 관성 매칭 모듈(250)에 의해 제공되는 전역 위치 추적 정보, 및 LiDAR 관성 속도계(240)에 의해 제공되는 국부 위치 추적 정보를 포함함)를 표시한다. S는 LiDAR 관성 속도계(240)로 유지되는 모든 국부 지도를 표시하고, 여기서 각 국부 지도는 s로 표시된다.

상기 식(1)에서, 는 LiDAR 관성 속도계(240)가 제공하는 제k 프레임과 제s 번째 국부 지도 사이의 상대 포즈 관계를 표시한다. 변량 는 국부 좌표계에서 제k 프레임의 상태(예를 들면, 포즈)를 표시하며, 여기서 는 국부 좌표계에서 제k 프레임에 대응되는 피칭각, 헤딩각 및 롤각을 표시하고, 또한 는 국부 좌표계에서 제k 프레임의 3차원 위치 좌표를 표시한다. 변량 는 국부 좌표계에서 제s 번째 국부 지도의 상태(예를 들면, 포즈)를 표시한다. 반드시 이해해야 할 것은, 융합 최적화 과정에서, 변량 및 는 가변적인 것이고, 상대 포즈 관계 는 변하지 않을 수 있다. 는 LiDAR 관성 속도계(240)가 제공하는 국부 위치 추적 정보의 우도 값(Likelihood value; 본 명세서에서는 "제2 우도 값"으로 칭함)을 표시하고, 이는 제공 상태 및 에서 의 조건부 확률(conditional probability)을 가리킨다.

상기 식(1)에서, 는 전역 LiDAR 관성 매칭 모듈(250)이 제공하는 제k 프레임이 전역 좌표계에서의 전역 위치 추적 정보를 표시한다. 는 국부 좌표계와 전역 좌표계 사이의 전환 관계를 표시한다. 는 전역 LiDAR 관성 매칭 모듈(250)이 제공하는 전역 위치 추적 정보의 우도 값(본 명세서에서는 "제1 우도 값"으로 칭함)을 표시하고, 이는 제공 상태 및 에서 전역 위치 추적 정보 의 조건부 확률을 가리킨다.

상기 식(1)에서, 는 관성 적분 유닛(231)이 제공하는 제k 프레임이 관성 좌표계에서의 관성 위치 추적 정보를 표시한다. 변량 은 국부 좌표계에서 제k-1 프레임의 상태(예를 들면, 포즈)를 표시한다. 반드시 이해해야 할 것은, 융합 최적화 과정에서, 변량 및 은 가변적인 것이다. 는 관성 적분 유닛(231)이 제공하는 관성 위치 추적 정보의 우도 값(본 명세서에서는 "제3 우도 값"으로 칭함)을 표시하고, 이는 제공 상태 및 에서 관성 위치 추적 정보 의 조건부 확률을 가리킨다.

일부 실시형태에서, 융합 과정에서 각 항이 모두 제로 평균의 가우스분포에 부합되면, 제1 우도 값 , 제2 우도 값 및 제3 우도 값 은 하기와 같이 정의될 수 있다.

(2)

여기서, 이다. , 및 는 각각 LiDAR 관성 속도계(240), 관성 적분 유닛(231) 및 전역 LiDAR 관성 매칭 모듈(250)의 잔여 오류(또는 잔차; residual error)를 표시하고, 또한 는 국부 좌표계에서 잔여 오류 의 공분산을 표시하며, 는 전역 좌표계에서 잔여 오류 의 공분산을 표시하고, 또한 는 관성 좌표계에서 잔여 오류 의 공분산을 표시한다.

상기와 같이, 전역 LiDAR 관성 매칭 모듈(250)이 제공하는 전역 위치 추적 정보 는 전역 좌표계에서 기기(110)의 제1 포즈 를 가리킬 수 있고, 또한 LiDAR 관성 속도계(240)가 제공하는 국부 위치 추적 정보는 국부 좌표계에서 기기(110)의 제2 포즈 를 가리킬 수 있다.

일부 실시형태에서, 제1 우도 값 을 결정하기 위해, 융합 최적화 모듈(260)은 전역 좌표계와 국부 좌표계 사이의 전환 관계 및 제2 포즈 에 기반하여, 제1 포즈 의 추정 값을 결정하며, 상기 추정 값과 전역 위치 추적 정보가 가리키는 제1 포즈 사이의 잔여 오류 를 결정한다. 예를 들면, 국부 좌표계에서의 상태 변량 , 국부 좌표계와 전역 좌표계 사이의 전환 관계 , 또한 전역 LiDAR 관성 매칭 모듈(250)이 제공하는 기기(110)가 전역 좌표계에서의 제1 포즈 으로 가정할 경우, 잔여 오류 는 하기와 같이 표시될 수 있다.

(3)

여기서, 는 국부 좌표계에서 제k 프레임에 대응되는 피칭각, 헤딩각 및 롤각을 표시하고, 또한 는 국부 좌표계에서 제k 프레임의 3차원 위치 좌표를 표시하며; 는 국부 좌표계에서의 피칭각, 헤딩각 및 롤각으로부터 전역 좌표계의 전환 관계를 표시하고, 또한 는 국부 좌표계에서의 3차원 위치 좌표로부터 전역 좌표계의 전환 관계를 표시하며; 는 전역 LiDAR 관성 매칭 모듈(250)이 제공하는 전역 좌표계에서 제k 프레임에 대응되는 피칭각, 헤딩각 및 롤각을 표시하고, 또한 는 전역 LiDAR 관성 매칭 모듈(250)이 제공하는 전역 좌표계에서 제k 프레임의 3차원 위치 좌표를 표시한다.

일부 실시형태에서, 융합 최적화 모듈(260)은 나아가 전역 좌표계에서 상기 잔여 오류 의 공분산 을 결정할 수 있다. 전역 좌표계에서 잔여 오류 의 공분산 은 하기와 같이 표시될 수 있다.

(4)

여기서, diag()는 회전 공분산 , 높이 방향 공분산 및 수평 방향 공분산 을 대각 요소로 하는 대각 매트릭스로를 구하는 것을 표시한다. 일부 실시형태에서, 전역 LiDAR 관성 매칭 모듈(250)이 단지 2차원 히스토그램 필터를 이용하여 수평 방향의 불확정도를 추정하였기에, 따라서 회전 공분산 및 높이 방향 공분산 은 기설정된 상수일 수 있다. 전역 LiDAR 관성 매칭 모듈(250) 중의 2차원 히스토그램 필터는 각 프레임 포인트 클라우드 데이터가 수평 방향에서의 공분산 을 출력할 수 있다. 따라서, 회전 공분산 , 높이 방향 공분산 및 수평 방향 공분산 에 기반하여 잔여 오류 의 전역 좌표계에서의 공분산 을 결정할 수 있다. 일부 실시형태에서, 융합 최적화 모듈(260)은 잔여 오류 및 공분산 에 기반하여 상기 식(2)에 따라 제1 우도 값 을 결정할 수 있다.

상기와 같이, LiDAR 관성 속도계(240)가 제공하는 국부 위치 추적 정보는 포인트 클라우드 데이터와 국부 지도 사이의 상대 포즈 , 기기(110)의 현재의 국부 좌표계에서의 제2 포즈 , 및 상기 국부 좌표계에서 국부 지도의 제3 포즈 를 포함할 수 있다.

일부 실시형태에서, 제2 우도 값 을 결정하기 위해, 융합 최적화 모듈(260)은 LiDAR 관성 속도계(240)가 제공하는 제2 포즈 및 제3 포즈에 기반하여, 상대 포즈의 추정 값을 결정할 수 있고, 국부 위치 추적 정보가 가리키는 상대 포즈 와 상기 추정 값 사이의 잔여 오류 를 결정할 수 있다. 예를 들면, 상대 포즈가 이고, 국부 지도의 포즈가 일 경우, 잔여 오류 는 하기와 같이 표시될 수 있다.

(5)

여기서, 는 제k 프레임과 제s 번째 국부 지도의 상대적인 피칭각, 상대적인 헤딩각 및 상대적인 롤각을 표시하고, 또한 는 제k 프레임이 제s 번째 국부 지도 중의 3차원 위치 좌표를 표시하며; 는 국부 좌표계에서 제s 번째 국부 지도의 피칭각, 헤딩각 및 롤각을 표시하고, 또한 는 국부 좌표계에서 제s 번째 국부 지도의 3차원 위치 좌표를 표시한다.

일부 실시형태에서, 융합 최적화 모듈(260)은 국부 좌표계에서 상기 잔여 오류 의 공분산 을 더 결정할 수 있다. 구체적으로, 국부 위치 추적 정보의 불확정성이 슬라이딩 윈도우에서의 모든 프레임 사이의 평균 분포를 가정할 수 있기에, 국부 좌표계에서 잔여 오류 의 공분산 은 기설정된 상대각 행렬(diagonal-constant matrix)일 수 있다. 일부 실시형태에서, 융합 최적화 모듈(260)은 상기 잔여 오류 및 공분산 에 기반하여 상기 식(2)에 따라 제2 우도 값 을 결정할 수 있다.

일부 실시형태에서, 관성 적분 유닛(231)의 잔여 오류 및 그 공분산 은 임의의 기존 또는 미래에 개발될 방법을 이용하여 결정할 수 있으며, 본 명세서는 여기서 더 설명하지 않는다.

일부 실시형태에서, 융합 최적화 모듈(260)은 식(1)에 표시된 사후 확률 최대화를 통해, 현재 시각에서 기기(110)의 최종 위치 추적 결과(101)를 결정할 수 있다. 일부 실시형태에서, 상기 위치 추적 결과(101)는 예를 들어 기기(110)가 현재 국부 좌표계에서 최적화를 거친 포즈 를 가리킬 수 있다. 구체적으로, 식(1) 및 (2)에 표시된 최대 사후 추정 문제를 해결할 경우, 상기 문제를 각 잔여 오류의 제곱 및 최소치를 구하는 것으로 전환한 후, 그 다음 반복 알고리즘을 이용하여 값을 구한다.

도 2에 도시된 바와 같이, 일부 실시형태에서, 환경 변화 검출 모듈(270)은 LiDAR 관성 속도계(240)로부터 전달받은 국부 지도와 전역 LiDAR 관성 매칭 모듈(250)로부터 전달받은 전역 지도를 매칭하여 기기(110)가 위치한 환경이 변화되었는지의 여부를 검출하고, 또한 검출 결과(201)를 출력한다.

반드시 이해해야 할 것은, 전역 LiDAR 관성 매칭 모듈(250)로부터 전달받은 전역 위치 추적 정보의 정확도는 미리 구축된 전역 위치 추적 지도의 실효성에 의존한다. 지도가 지나치게 오래되었거나 또는 환경에 변화가 발생하였을 경우 전역 위치 추적 정보의 오차가 비교적 크거나 또는 위치 추적이 불가한 상황이 초래될 수 있다. LiDAR 관성 속도계(240)에서 생성된 국부 지도는 기기(110) 현재의 환경 상태를 반영할 수 있고, 비교적 높은 실효성을 구비하며, 따라서 LiDAR 관성 속도계(240)로부터 전달받은 국부 지도와 전역 LiDAR 관성 매칭 모듈(250)로부터 전달받은 전역 지도를 매칭하여 기기(110)가 위치한 환경이 변화되었는지의 여부를 검출할 수 있다.

일부 실시형태에서, 환경 변화 검출 모듈(270)은 3차원 국부 지도를 전역 지도에 대응되는 2차원 그리드에 투영시킬 수 있고, 또한 국부 지도에서 해당되는 적어도 하나의 그리드를 결정한다. 그 다음, 환경 변화 검출 모듈(270)은 적어도 하나의 그리드 중의 각 그리드에 대해, 3차원 국부 지도와 전역 지도 사이의 높이 값 및 반사 값을 비교하여 국부 지도에 대응되는 영역 환경이 변화되었는지의 여부를 결정할 수 있다.

도 3은 본 출원의 일부 실시형태에 따른 위치 추적 흐름(300)의 흐름도이다. 흐름(300)은 도 1에 도시된 컴퓨팅 기기(120)로 구현될 수 있고, 상기 컴퓨팅 기기(120)는 예컨대 기기(110)에 삽입되거나 또는 기기(110) 외부의 독립적인 기기일 수 있다. 설명의 편의를 위해, 도 2에 결부하여 흐름(300)을 설명하도록 한다.

블록(310)에서, 컴퓨팅 기기(120)(예를 들면, 사전 처리 모듈(230))는 위치 추적할 기기(110)에서 LiDAR(220)가 현재 시각에 수집한 포인트 클라우드 데이터를 획득한다.

블록(320)에서, 컴퓨팅 기기(120)(예를 들면, 전역 LiDAR 관성 매칭 모듈(250))는 상기 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 전역 좌표계에서 기기(110)의 현재 시각의 전역 위치 추적 정보를 결정한다.

블록(330)에서, 컴퓨팅 기기(120)(예를 들면, LiDAR 관성 속도계(240))는 상기 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 국부 좌표계에서 기기(110)의 현재 시각의 국부 위치 추적 정보를 결정한다.

블록(340)에서, 컴퓨팅 기기(120)(예를 들면, 융합 최적화 모듈(260))는 적어도 전역 위치 추적 정보 및 국부 위치 추적 정보에 기반하여, 현재 시각에서 기기(110)의 위치 추적 결과(101)를 결정한다.

일부 실시형태에서, 위치 추적 결과(101)는 전역 좌표계 또는 국부 좌표계에서 기기의 현재 시각의 포즈를 가리킬 수 있다.

일부 실시형태에서, 컴퓨팅 기기(120)(예를 들면, 사전 처리 모듈(230))는 현재 시각에서 기기(110)의 관성 측정 데이터를 더 획득할 수 있다. 컴퓨팅 기기(120)(예를 들면, 관성 적분 유닛(231))는 관성 측정 데이터를 적분하여, 관성 좌표계에서 기기(110)의 현재 시각의 관성 위치 추적 정보를 결정할 수 있다. 컴퓨팅 기기(120)(예를 들면, 융합 최적화 모듈(260))는 전역 위치 추적 정보, 국부 위치 추적 정보 및 관성 위치 추적 정보에 기반하여, 위치 추적 결과(101)를 결정할 수 있다.

일부 실시형태에서, 컴퓨팅 기기(120)(예를 들면, 움직임 보정 유닛(232))는 전역 위치 추적 정보 및/또는 국부 위치 추적 정보를 결정하기 전에, 관성 위치 추적 정보에 기반하여 포인트 클라우드 데이터에 대해 움직임 보정을 진행할 수 있다.

일부 실시형태에서, 컴퓨팅 기기(120)(예를 들면, 융합 최적화 모듈(260))는 기기(110)가 복수의 시각에 복수의 위치 추적 결과에 대응되는 사후 확률을 결정할 수 있고, 복수의 위치 추적 결과는 적어도 위치 추적 결과(101) 및 기기(110)가 현재 시각 이전에 이력 시각의 이력 위치 추적 결과를 포함할 수 있으며; 상기 사후 확률을 최대화하여, 위치 추적 결과(101)를 결정할 수 있다.

일부 실시형태에서, 컴퓨팅 기기(120)(예를 들면, 융합 최적화 모듈(260))는 전역 위치 추적 정보와 관련되는 제1 우도 값을 결정할 수 있고; 국부 위치 추적 정보와 관련되는 제2 우도 값을 결정할 수 있으며; 관성 위치 추적 정보와 관련되는 제3 우도 값을 결정할 수 있고; 적어도 제1 우도 값, 제2 우도 값 및 제3 우도 값에 기반하여, 상기 사후 확률을 결정할 수 있다.

일부 실시형태에서, 전역 위치 추적 정보는 전역 좌표계에서 기기(110)의 제1 포즈를 가리킬 수 있고, 또한 국부 위치 추적 정보는 국부 좌표계에서 기기(110)의 제2 포즈를 가리킬 수 있다. 컴퓨팅 기기(120)(예를 들면, 융합 최적화 모듈(260))는 전역 좌표계와 국부 좌표계 사이의 전환 관계 및 제2 포즈에 기반하여, 제1 포즈의 추정 값을 결정할 수 있고; 상기 추정 값과 전역 위치 추적 정보가 가리키는 제1 포즈 사이의 잔여 오류를 결정할 수 있으며; 적어도 상기 잔여 오류에 기반하여, 제1 우도 값을 결정할 수 있다.

일부 실시형태에서, 국부 위치 추적 정보는 포인트 클라우드 데이터와 국부 지도 사이의 상대 포즈, 기기(110)가 국부 좌표계에서의 제2 포즈, 및 국부 좌표계에서 국부 지도의 제3 포즈를 포함할 수 있다. 컴퓨팅 기기(120)(예를 들면, 융합 최적화 모듈(260))는 제2 포즈 및 제3 포즈에 기반하여, 상대 포즈의 추정 값을 결정할 수 있고; 상기 추정 값과 국부 위치 추적 정보가 가리키는 상대 포즈 사이의 잔여 오류를 결정할 수 있으며; 적어도 상기 잔여 오류에 기반하여, 제2 우도 값을 결정할 수 있다.

일부 실시형태에서, 컴퓨팅 기기(120)(예를 들면, 융합 최적화 모듈(260))는 전역 좌표계에서 기기(110)의 이력 시각의 이력 전역 위치 추적 정보와 관련되는 제4 우도 값을 결정할 수 있고; 국부 좌표계에서 기기(110)의 이력 시각의 이력 국부 위치 추적 정보와 관련되는 제5 우도 값을 결정할 수 있으며; 관성 좌표계에서 기기(110)의 이력 시각의 이력 관성 위치 추적 정보와 관련되는 제6 우도 값을 결정할 수 있고; 제1 우도 값, 제2 우도 값, 제3 우도 값, 제4 우도 값, 제5 우도 값 및 제6 우도 값에 기반하여, 상기 사후 확률을 결정할 수 있다.

일부 실시형태에서, 국부 지도는 LiDAR(220)가 현재 시각 이전의 이력 시각에 수집한 적어도 하나의 프레임의 포인트 클라우드 데이터에 기반하여 구축된 것일 수 있거나, 또한 컴퓨팅 기기(120)(예를 들면, LiDAR 관성 속도계(240))는 포인트 클라우드 데이터에 기반하여 상기 국부 지도를 업데이트할 수 있다.

상기 설명으로부터 보아낼 수 있는 바, 본 출원의 실시형태는 위치 추적 방법을 제공한다. 상기 방법은 위치 추적할 기기의 LiDAR가 현재 시각에 수집한 포인트 클라우드 데이터를 획득하는 단계; 상기 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 전역 좌표계에서 상기 기기의 현재 시각의 전역 위치 추적 정보를 결정하는 단계; 상기 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 국부 좌표계에서 상기 기기의 현재 시각의 국부 위치 추적 정보를 결정하는 단계; 및 적어도 전역 위치 추적 정보 및 국부 위치 추적 정보에 기반하여, 현재 시각에서 상기 기기의 위치 추적 결과를 결정하는 단계를 포함한다. 이러한 방식으로, 본 출원의 실시형태는 효과적이고 안정적인 위치 추적 서비스를 제공하여, 위치 추적 결과가 환경 변화에 따른 영향을 받지 않도록 할 수 있다.

도 4는 본 출원의 실시형태에 따른 위치 추적 장치(400)의 개략적 블록도이다. 장치(400)는 도 1에 도시된 컴퓨팅 기기(120)에 포함되거나 또는 컴퓨팅 기기(120)로 구현될 수 있다. 도 4에 도시된 바와 같이, 장치(400)는 위치 추적할 기기의 LiDAR가 현재 시각에 수집한 포인트 클라우드 데이터를 획득하는 제1 획득 모듈(410)을 포함할 수 있다. 장치(400)는 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 전역 좌표계에서 기기의 현재 시각의 전역 위치 추적 정보를 결정하는 전역 위치 추적 모듈(420)을 더 포함할 수 있다. 장치(400)는 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 국부 좌표계에서 기기의 현재 시각의 국부 위치 추적 정보를 결정하는 국부 위치 추적 모듈(430)을 더 포함할 수 있다. 이 외에, 장치(400)는 적어도 전역 위치 추적 정보 및 국부 위치 추적 정보에 기반하여, 현재 시각의 기기의 위치 추적 결과를 결정하는 결과 결정 모듈(440)을 더 포함할 수 있다.

일부 실시형태에서, 장치(400)는 현재 시각의 기기의 관성 측정 데이터를 획득하는 제2 획득 모듈; 관성 측정 데이터를 적분하여, 관성 좌표계에서 기기의 현재 시각의 관성 위치 추적 정보를 결정하는 관성 위치 추적 모듈을 더 포함한다. 결과 결정 모듈(440)은 전역 위치 추적 정보, 국부 위치 추적 정보 및 관성 위치 추적 정보에 기반하여, 위치 추적 결과를 결정할 수도 있다.

일부 실시형태에서, 장치(400)는 전역 위치 추적 정보 및/또는 국부 위치 추적 정보를 결정하기 전에, 관성 위치 추적 정보에 기반하여 포인트 클라우드 데이터에 대해 움직임 보정을 진행하는 움직임 보정 모듈을 더 포함한다.

일부 실시형태에서, 결과 결정 모듈(440)은 복수의 시각의 기기의 복수의 위치 추적 결과와 관련되는 사후 확률을 결정하는 사후 확률 결정 유닛 - 복수의 위치 추적 결과는 적어도 현재 시각에 기기의 위치 추적 결과 및 현재 시각 이전의 기기의 이력 시각의 이력 위치 추적 결과를 포함함 - ; 및 사후 확률을 최대화하여, 위치 추적 결과를 결정하는 결과 결정 유닛을 포함할 수 있다.

일부 실시형태에서, 사후 확률 결정 유닛은, 전역 위치 추적 정보와 관련되는 제1 우도 값을 결정하는 제1 결정 서브 유닛; 국부 위치 추적 정보와 관련되는 제2 우도 값을 결정하는 제2 결정 서브 유닛; 관성 위치 추적 정보와 관련되는 제3 우도 값을 결정하는 제3 결정 서브 유닛; 및 적어도 제1 우도 값, 제2 우도 값 및 제3 우도 값에 기반하여, 사후 확률을 결정하는 제4 결정 서브 유닛을 포함한다.

일부 실시형태에서, 전역 위치 추적 정보는 전역 좌표계에서 기기의 제1 포즈를 가리키고, 국부 위치 추적 정보는 국부 좌표계에서 기기의 제2 포즈를 가리키며, 또한 제1 결정 서브 유닛은, 전역 좌표계와 국부 좌표계 사이의 전환 관계 및 제2 포즈에 기반하여, 제1 포즈의 추정 값을 결정하고; 추정 값과 전역 위치 추적 정보가 가리키는 제1 포즈 사이의 잔여 오류를 결정하며; 적어도 상기 잔여 오류에 기반하여, 제1 우도 값을 결정한다.

일부 실시형태에서, 국부 위치 추적 정보는 포인트 클라우드 데이터와 국부 지도 사이의 상대 포즈, 국부 좌표계에서 기기의 제2 포즈, 및 국부 좌표계에서 국부 지도의 제3 포즈를 가리키고, 또한 제2 결정 서브 유닛은, 제2 포즈 및 제3 포즈에 기반하여, 상대 포즈의 추정 값을 결정하고; 추정 값과 국부 위치 추적 정보가 가리키는 상대 포즈 사이의 잔여 오류를 결정하며; 적어도 잔여 오류에 기반하여, 상대 포즈에 대응되는 제2 포즈 및 제3 포즈의 제2 우도 값을 결정한다.

일부 실시형태에서, 제1 결정 서브 유닛은 또한, 전역 좌표계에서 기기의 이력 시각의 이력 전역 위치 추적 정보와 관련되는 제4 우도 값을 결정한다. 제2 결정 서브 유닛은 또한, 국부 좌표계에서 기기의 이력 시각의 이력 국부 위치 추적 정보와 관련되는 제5 우도 값을 결정한다. 제3 결정 서브 유닛은 또한, 관성 좌표계에서 기기의 이력 시각의 이력 관성 위치 추적 정보와 관련되는 제6 우도 값을 결정한다. 제4 결정 서브 유닛은 또한, 제1 우도 값, 제2 우도 값, 제3 우도 값, 제4 우도 값, 제5 우도 값 및 제6 우도 값에 기반하여, 사후 확률을 결정한다.

일부 실시형태에서, 국부 지도는 LiDAR가 현재 시각 이전의 이력 시각에 수집한 적어도 하나의 프레임의 포인트 클라우드 데이터에 기반하여 구축된 것으로서, 또한 장치(400)는, 포인트 클라우드 데이터에 기반하여, 상기 국부 지도를 업데이트하는 지도 업데이트 모듈을 더 포함한다.

도 5는 본 출원의 실시형태를 구현하는 구현예의 기기(500)의 예시적인 블록도이다. 기기(500)는 도 1에 도시된 컴퓨팅 기기(120)로 구현될 수 있다. 도면에 도시된 바와 같이, 기기(500)는 판독 전용 메모리(ROM)(502)에 저장된 프로그램 또는 저장 유닛(508)으로부터 랜덤 액세스 메모리(RAM)(503)로 로딩된 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있는 처리 유닛(501)을 포함한다. RAM(503)에는 또한 기기(500)의 동작에 필요한 다양한 프로그램 및 데이터가 저장된다. CPU(501), ROM(502) 및 RAM(503)은 버스(504)를 통해 서로 연결된다. 입/출력(I/O) 인터페이스(505) 역시 버스(504)에 연결된다.

기기(500) 중의 복수의 부재는 I/O 인터페이스(505)에 연결되며, 키보드, 마우스 등과 같은 입력 유닛(506); 각 종 유형의 모니터, 스피커 등과 같은 출력 유닛(507); 자기 디스크, 시디롬 등과 같은 저장 유닛(508); 및 랜 카드, 모뎀, 무선 통신 송수신기 등과 같은 통신 유닛(509)을 포함한다. 통신 유닛(509)은 기기(500)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각 종 전신 네트워크와 기타 기기를 통해 정보/데이터를 교환하도록 허용한다.

처리 유닛(501)은 예컨대 흐름(400)과 같은 상기 설명 중의 각 방법 및 프로세스를 수행한다. 예를 들면, 일부 실시형태에서, 흐름(400)은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 이는 예를 들어 저장 유닛(508)과 같은 기계 판독 가능한 매체에 유형적으로 포함된다. 일부 실시형태에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(502) 및/또는 통신 유닛(509)을 거쳐 기기(500)에 로딩 및/또는 설치된다. 컴퓨터 프로그램이 RAM(503)에 로딩되고 CPU(501)에 의해 수행될 경우, 상기 설명 중의 흐름(400)의 하나 또는 복수의 단계를 수행할 수 있다. 선택 가능하게, 다른 실시형태에서, CPU(501)는 다른 임의의 적당한 방식(예를 들면, 펌웨어에 의해)을 통해 흐름(400)을 수행하도록 구성될 수 있다.

본 명세서에서 이상 설명된 기능은 적어도 일부가 하나 또는 복수 개의 하드웨어 논리 부재에 의해 실행될 수 있다. 예를 들어, 비제한적으로, 사용 가능한 시범 유형의 하드웨어 논리 부재는 필드 프로그램 가능 게이트 어레이(FPGA), 전용 집적 회로(ASIC), 전용 표준 제품(ASSP), 시스템 온 칩의 시스템(SOC), 복합 프로그램 가능 논리 소자(CPLD) 등을 포함한다.

본 출원의 방법을 구현하는 프로그램 코드는 하나 또는 복수 개의 프로그래밍 언어의 임의의 조합으로 편집할 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서 또는 제어 장치에 제공될 수 있으며, 프로그램 코드는 프로세서 또는 제어기에 의해 실행될 경우, 흐름도 및/또는 블록도에 지정된 기능/동작이 구현되도록 할 수 있다. 프로그램 코드는 완전히 기계에서 실행되거나, 국부적으로 기계에서 실행되거나, 별도의 소프트웨어 패키지로서 기계에서 실행되며, 일부는 원격 기계에서 실행되거나 완전히 원격 기계 또는 서버에서 실행될 수 있다.

본 출원의 컨텍스트에서, 기계 판독 가능 매체는 명령어 실행 시스템, 장치 또는 기기에 의해 또는 명령어 실행 시스템, 장치 또는 기기와 결합하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 유형 매체일 수 있다. 기계 판독 가능 매체는 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 상기 내용의 임의의 적절한 조합을 포함할 수 있으나 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예는 하나 또는 복수 개의 와이어에 기반한 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, CD-ROM, 광학 저장 기기, 자기 저장 기기 또는 상술한 내용의 임의의 적절한 조합을 포함한다.

이밖에, 특정 순서로 각 동작을 설명하였지만, 이는 이러한 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되도록 요구되거나 모든 도시된 동작들이 예기한 결과에 달성하기 위해 수행되어야 함을 이해해야 한다. 일정한 환경에서, 다수의 미션 및 합병 처리는 유리할 수 있다. 마찬가지로, 상술한 설명에서 여러 개의 구체적인 구현 세부사항이 포함되어 있지만 이것이 본 출원의 범위를 한정하는 것으로 해석되어서는 안된다. 독립적인 실시예의 컨텍스트에서 설명된 특정된 특징은 단일 구현으로 조합되어 구현될 수 있다. 반대로, 단일 구현의 컨텍스트에서 설명된 다양한 특징은 또한 다수의 구현에서 독립적으로 또는 임의의 적절한 하위 조합으로 구현될 수도 있다.

구조 특징 및/또는 방법 논리적 동작에 특정된 언어로 본 주제를 설명하였지만, 첨부된 청구범위에서 한정된 주제는 상술한 특정된 특징 또는 동작에 반드시 한정되는 것은 아님을 이해해야 한다. 반대로, 상술한 특정된 특징 및 동작은 단지 청구범위의 예시적 형태를 구현하기 위한 것이다.

Claims

위치 추적 방법으로서,
기기의 LiDAR가 제1 시각에 수집한 포인트 클라우드 데이터를 획득하고, 상기 기기의 상기 제1 시각에서의 관성 좌표계 중 제1 관성 위치 추적 정보에 기반하여 상기 포인트 클라우드 데이터에 대해 움직임 보정을 진행하는 단계;
움직임 보정 후의 상기 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 상기 전역 좌표계에서 상기 기기의 상기 제1 시각의 제1 전역 위치 추적 정보를 결정하는 단계;
움직임 보정 후의 상기 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 상기 국부 좌표계에서 상기 기기의 상기 제1 시각의 제1 국부 위치 추적 정보를 결정하는 단계; 및
적어도 상기 제1 전역 위치 추적 정보 및 상기 제1 국부 위치 추적 정보에 기반하여, 상기 제1 시각에서 상기 기기의 제1 위치 추적 결과를 결정하는 단계를 포함하는 위치 추적 방법.
제1항에 있어서,
상기 제1 관성 위치 추적 정보는 상기 제1 시각에서 상기 기기의 관성 측정 데이터를 획득하고, 상기 관성 측정 데이터를 적분(integration)하여, 관성 좌표계에서 상기 기기의 상기 제1 시각의 제1 관성 위치 추적 정보를 결정하는 것에 의해 결정되고,
상기 제1 위치 추적 결과를 결정하는 단계는 상기 제1 전역 위치 추적 정보, 상기 제1 국부 위치 추적 정보 및 상기 제1 관성 위치 추적 정보에 기반하여 결정되는 단계를 포함하는 위치 추적 방법.
삭제
제2항에 있어서,
상기 제1 위치 추적 결과를 결정하는 단계는,
상기 기기의 복수의 시각에서의 복수의 위치 추적 결과와 관련되는 사후 확률을 결정하는 단계 - 상기 복수의 위치 추적 결과는 적어도 상기 제1 시각에서 상기 기기의 상기 제1 위치 추적 결과 및 상기 제1 시각 이전의 제2 시각에서 상기 기기의 제2 위치 추적 결과를 포함함 - ; 및
상기 사후 확률을 최대화하여, 상기 제1 위치 추적 결과를 결정하는 단계를 더 포함하는 위치 추적 방법.
제4항에 있어서,
상기 사후 확률을 결정하는 단계는,
상기 제1 전역 위치 추적 정보와 관련되는 제1 우도 값을 결정하는 단계;
상기 제1 국부 위치 추적 정보와 관련되는 제2 우도 값을 결정하는 단계;
상기 제1 관성 위치 추적 정보와 관련되는 제3 우도 값을 결정하는 단계; 및
적어도 상기 제1 우도 값, 상기 제2 우도 값 및 상기 제3 우도 값에 기반하여, 상기 사후 확률을 결정하는 단계를 포함하는 위치 추적 방법.
제5항에 있어서,
상기 제1 전역 위치 추적 정보는 상기 전역 좌표계에서 상기 기기의 제1 포즈를 가리키고, 상기 제1 국부 위치 추적 정보는 상기 국부 좌표계에서 상기 기기의 제2 포즈를 가리키며,
상기 제1 우도 값을 결정하는 단계는,
상기 전역 좌표계와 상기 국부 좌표계 사이의 전환 관계 및 상기 제2 포즈에 기반하여, 상기 제1 포즈의 추정 값을 결정하는 단계;
상기 추정 값과 상기 제1 전역 위치 추적 정보가 가리키는 상기 제1 포즈를 분석하는 단계; 및
적어도 분석한 결과에 기반하여, 상기 제1 우도 값을 결정하는 단계를 포함하는 위치 추적 방법.
제5항에 있어서,
상기 제1 국부 위치 추적 정보는 상기 국부 지도에 대한 상기 포인트 클라우드 데이터의 상대 포즈, 상기 국부 좌표계에서 상기 기기의 제2 포즈, 및 상기 국부 좌표계에서 상기 국부 지도의 제3 포즈를 가리키고,
상기 제2 우도 값을 결정하는 단계는,
상기 제2 포즈 및 상기 제3 포즈에 기반하여, 상기 상대 포즈의 추정 값을 결정하는 단계;
상기 추정 값과 상기 제1 국부 위치 추적 정보가 가리키는 상기 상대 포즈를 분석하는 단계; 및
적어도 분석한 결과에 기반하여, 상기 제2 포즈 및 상기 제3 포즈에 대한 상기 상대 포즈의 상기 제2 우도 값을 결정하는 단계를 포함하는 위치 추적 방법.
제5항에 있어서,
상기 사후 확률을 결정하는 단계는,
상기 전역 좌표계에서 상기 기기의 상기 제2 시각의 제2 전역 위치 추적 정보와 관련되는 제4 우도 값을 결정하는 단계;
상기 국부 좌표계에서 상기 기기의 상기 제2 시각의 제2 국부 위치 추적 정보와 관련되는 제5 우도 값을 결정하는 단계;
상기 관성 좌표계에서 상기 기기의 상기 제2 시각의 제2 관성 위치 추적 정보와 관련되는 제6 우도 값을 결정하는 단계; 및
상기 제1 우도 값, 상기 제2 우도 값, 상기 제3 우도 값, 상기 제4 우도 값, 상기 제5 우도 값 및 상기 제6 우도 값에 기반하여, 상기 사후 확률을 결정하는 단계를 더 포함하는 위치 추적 방법.
제1항에 있어서,
상기 국부 지도는 상기 LiDAR가 상기 제1 시각 이전의 적어도 어느 한 시각에 수집한 적어도 하나의 프레임의 포인트 클라우드 데이터에 기반하여 구축된 것이며,
상기 위치 추적 방법은,
상기 포인트 클라우드 데이터에 기반하여, 상기 국부 지도를 업데이트하는 단계를 더 포함하는 위치 추적 방법.
제1항에 있어서,
상기 제1 위치 추적 결과는 상기 전역 좌표계 및 상기 국부 좌표계 중의 하나 또는 복수에서 상기 제1 시각의 상기 기기의 포즈를 가리키는 위치 추적 방법.
컴퓨팅 기기로서,
하나 또는 복수의 프로세서; 및
하나 또는 복수의 프로그램이 저장된 메모리를 포함하고,
상기 하나 또는 복수의 프로그램은 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 컴퓨팅 기기가 동작을 수행하도록 하되, 상기 동작은,
기기의 LiDAR가 제1 시각에 수집한 포인트 클라우드 데이터를 획득하고, 상기 기기의 상기 제1 시각에서의 관성 좌표계 중 제1 관성 위치 추적 정보에 기반하여 상기 포인트 클라우드 데이터에 대해 움직임 보정을 진행하며;
움직임 보정 후의 상기 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 상기 전역 좌표계에서 상기 기기의 상기 제1 시각의 제1 전역 위치 추적 정보를 결정하며;
움직임 보정 후의 상기 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 상기 국부 좌표계에서 상기 기기의 상기 제1 시각의 제1 국부 위치 추적 정보를 결정하고;
적어도 상기 제1 전역 위치 추적 정보 및 상기 제1 국부 위치 추적 정보에 기반하여, 상기 제1 시각에서 상기 기기의 제1 위치 추적 결과를 결정하는 것을 포함하는 컴퓨팅 기기.
제11항에 있어서,
상기 제1 관성 위치 추적 정보는 상기 제1 시각에서 상기 기기의 관성 측정 데이터를 획득하고, 상기 관성 측정 데이터를 적분하여, 관성 좌표계에서 상기 기기의 상기 제1 시각의 제1 관성 위치 추적 정보를 결정하는 것에 의해 결정되고,
상기 제1 위치 추적 결과를 결정하는 것은 상기 제1 전역 위치 추적 정보, 상기 제1 국부 위치 추적 정보 및 상기 제1 관성 위치 추적 정보에 기반하여 결정되는 것을 포함하는 컴퓨팅 기기.
삭제
제12항에 있어서,
상기 제1 위치 추적 결과를 결정하는 것은,
상기 기기의 복수의 시각에서의 복수의 위치 추적 결과와 관련되는 사후 확률을 결정하고, 상기 복수의 위치 추적 결과는 적어도 상기 제1 시각에서 상기 기기의 상기 제1 위치 추적 결과 및 상기 제1 시각 이전의 제2 시각에서 상기 기기의 제2 위치 추적 결과를 포함하며;
상기 사후 확률을 최대화하여, 상기 제1 위치 추적 결과를 결정하는 것을 더 포함하는 컴퓨팅 기기.
제14항에 있어서,
상기 사후 확률을 결정하는 것은,
상기 제1 전역 위치 추적 정보와 관련되는 제1 우도 값을 결정하고;
상기 제1 국부 위치 추적 정보와 관련되는 제2 우도 값을 결정하며;
상기 제1 관성 위치 추적 정보와 관련되는 제3 우도 값을 결정하고;
적어도 상기 제1 우도 값, 상기 제2 우도 값 및 상기 제3 우도 값에 기반하여, 상기 사후 확률을 결정하는 것을 포함하는 컴퓨팅 기기.
제15항에 있어서,
상기 제1 전역 위치 추적 정보는 상기 전역 좌표계에서 상기 기기의 제1 포즈를 가리키고, 상기 제1 국부 위치 추적 정보는 상기 국부 좌표계에서 상기 기기의 제2 포즈를 가리키며,
상기 제1 우도 값을 결정하는 것은,
상기 전역 좌표계와 상기 국부 좌표계 사이의 전환 관계 및 상기 제2 포즈에 기반하여, 상기 제1 포즈의 추정 값을 결정하고;
상기 추정 값과 상기 제1 전역 위치 추적 정보가 가리키는 상기 제1 포즈를 분석하며;
적어도 분석한 결과에 기반하여, 상기 제1 우도 값을 결정하는 것을 포함하는 컴퓨팅 기기.
제15항에 있어서,
상기 제1 국부 위치 추적 정보는 상기 국부 지도에 대한 상기 포인트 클라우드 데이터의 상대 포즈, 상기 국부 좌표계에서 상기 기기의 제2 포즈, 및 상기 국부 좌표계에서 상기 국부 지도의 제3 포즈를 가리키고,
상기 제2 우도 값을 결정하는 것은,
상기 제2 포즈 및 상기 제3 포즈에 기반하여, 상기 상대 포즈의 추정 값을 결정하고;
상기 추정 값과 상기 제1 국부 위치 추적 정보가 가리키는 상기 상대 포즈를 분석하며;
적어도 분석한 결과에 기반하여, 상기 제2 포즈 및 상기 제3 포즈에 대한 상기 상대 포즈의 상기 제2 우도 값을 결정하는 것을 포함하는 컴퓨팅 기기.
제15항에 있어서,
상기 사후 확률을 결정하는 것은,
상기 전역 좌표계에서 상기 기기의 상기 제2 시각의 제2 전역 위치 추적 정보와 관련되는 제4 우도 값을 결정하고;
상기 국부 좌표계에서 상기 기기의 상기 제2 시각의 제2 국부 위치 추적 정보와 관련되는 제5 우도 값을 결정하며;
상기 관성 좌표계에서 상기 기기의 상기 제2 시각의 제2 관성 위치 추적 정보와 관련되는 제6 우도 값을 결정하고;
상기 제1 우도 값, 상기 제2 우도 값, 상기 제3 우도 값, 상기 제4 우도 값, 상기 제5 우도 값 및 상기 제6 우도 값에 기반하여, 상기 사후 확률을 결정하는 것을 포함하는 컴퓨팅 기기.
제11항에 있어서,
상기 국부 지도는 상기 LiDAR가 상기 제1 시각 이전의 적어도 어느 한 시각에 수집한 적어도 하나의 프레임의 포인트 클라우드 데이터에 기반하여 구축된 것이며,
상기 동작은,
상기 포인트 클라우드 데이터에 기반하여, 상기 국부 지도를 업데이트하는 것을 더 포함하는 컴퓨팅 기기.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 매체로서,
상기 컴퓨터 프로그램이 컴퓨팅 기기에 의해 실행될 경우, 상기 컴퓨팅 기기가,
대상 기기의 LiDAR가 제1 시각에 수집한 포인트 클라우드 데이터를 획득하고, 상기 컴퓨팅 기기의 상기 제1 시각에서의 관성 좌표계 중 제1 관성 위치 추적 정보에 기반하여 상기 포인트 클라우드 데이터에 대해 움직임 보정을 진행하며;
움직임 보정 후의 상기 포인트 클라우드 데이터 및 전역 좌표계에서 구축된 전역 지도에 기반하여, 상기 전역 좌표계에서 상기 대상 기기의 상기 제1 시각의 제1 전역 위치 추적 정보를 결정하며;
움직임 보정 후의 상기 포인트 클라우드 데이터 및 국부 좌표계에서 구축된 국부 지도에 기반하여, 상기 국부 좌표계에서 상기 대상 기기의 상기 제1 시각의 제1 국부 위치 추적 정보를 결정하고;
적어도 상기 제1 전역 위치 추적 정보 및 상기 제1 국부 위치 추적 정보에 기반하여, 상기 제1 시각에서 상기 대상 기기의 제1 위치 추적 결과를 결정하는 것을 수행하도록 하는 컴퓨터 판독 가능한 매체.
컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 제1항, 제2항, 및 제4항 내지 제10항 중 어느 한 항에 따른 위치 추적 방법을 수행하는 것을 특징으로 하는 컴퓨터 프로그램.