KR20220025028A - 시각적 비콘 기반의 비콘 맵 구축 방법, 장치 - Google Patents

Abstract

시각적 비콘 기반의 비콘 맵 구축 방법, 장치에 있어서, 상기 방법은, 이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하는 단계; 상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계; 상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하는 단계; 상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼, 상기 타깃 검출 데이터를 기반으로 획득된 상기 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 상기 제2 타입 포즈의 최적화 결과를 획득하는 단계; 및 획득한 상기 제2 타입 포즈의 최적화 결과에 기반하여 비콘 맵을 구축하는 단계를 포함한다. 본 해결수단을 통해 시각적 비콘 포지셔닝 정보에 대한 의존을 감소시킬 수 있다.

Description

시각적 비콘 기반의 비콘 맵 구축 방법, 장치

본 발명은 컴퓨터 비전 분야에 관한 것으로, 특히 시각적 비콘 기반의 비콘 맵 구축 방법, 장치에 관한 것이다.

본 발명은 2019년 7월 5일에 중국 특허국에 제출한, 출원 번호가 201910603494.5이고 발명의 명칭이 “시각적 비콘 기반의 비콘 맵 구축 방법, 장치”인 중국 특허 출원의 우선권을 주장하는바, 이의 전부 내용은 참조로서 본 발명에 인용된다.

컴퓨터 비전에서 공간에 위치한 물체(강체)는 위치 및 자세로 설명할 수 있다. 위치 및 자세를 포즈라고 총칭하되, 여기서 위치는 3차원 공간 좌표계에서 물체의 좌표 위치를 의미하고, 자세는 상기 좌표계에서 물체의 3개의 좌표축에 대한 회전 각도를 의미하며, 피치 각도, 편향 각도 및 롤 각도를 포함한다.

시각적 비콘 항법 기술은 일반적인 로봇 항법 해결수단 중 하나이다. 로봇은 시각적 비콘을 사용하여 구축된 비콘 맵을 기반으로 포지셔닝을 구현한다. 종래의 시각적 비콘 맵 구축은 일반적으로 사전에 작업 환경에 대해 물리적으로 측정하고, 물리적 측정 결과를 기반으로 배치될 시각적 비콘의 위치 및 자세, 즉 배치될 시각적 비콘의 포즈를 수동 방식으로 분석하며, 배치될 시각적 비콘의 포즈에 따라 관련 인원에 의해 환경에 시각적 비콘을 배치해야 하고; 따라서 비콘 맵을 생성할 경우 배치될 시각적 비콘의 위치 및 자세에 기반하여 비콘 맵을 형성한다.

본 발명은 시각적 비콘의 배치 정밀도에 대한 의존을 감소시키는 시각적 비콘 기반의 비콘 맵 구축 방법 및 장치를 제공한다.

제1 양태에서, 본 발명의 실시예는,

이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하되; 상기 이미지 프레임은 사전 배치된 시각적 비콘에 대한 이미지 수집 과정에서 로봇이 수집한 이미지이고, 상기 타깃 측정 데이터는 상기 이미지 프레임이 수집되는 시각에 주행계 좌표계에서 상기 로봇의 로봇 본체의 포즈를 포함하는 단계;

상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하되; 상기 제1 타입 포즈는 상기 이미지 프레임이 샘플링되는 시각에 세계 좌표계에서 로봇 본체의 포즈인 단계;

상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하되; 상기 제2 타입 포즈는 세계 좌표계에서 상기 시각적 비콘의 포즈인 단계;

상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼, 상기 타깃 검출 데이터를 기반으로 획득된 상기 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 상기 제2 타입 포즈의 최적화 결과를 획득하되; 상기 제1 타입 레지듀얼은 상기 이미지 프레임의 주행계에 관한 제약 레지듀얼이고, 상기 제2 타입 레지듀얼은 상기 시각적 비콘의 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼이며; 상기 제1 타입 포즈의 초기값은 상기 제1 타입 포즈의 초기화 결과이고, 상기 제2 타입 포즈의 초기값은 상기 제2 타입 포즈의 초기화 결과인 단계; 및

획득한 상기 제2 타입 포즈의 최적화 결과에 기반하여 비콘 맵을 구축하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법을 제공한다.

제2 양태에서, 본 발명의 실시예는,

이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하되; 상기 이미지 프레임은 사전 배치된 시각적 비콘에 대한 이미지 수집 과정에서 로봇이 수집한 이미지이고, 상기 타깃 측정 데이터는 상기 이미지 프레임이 수집되는 시각에 주행계 좌표계에서 상기 로봇의 로봇 본체의 포즈를 포함하는 데이터 수집 모듈;

상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하되; 상기 제1 타입 포즈는 상기 이미지 프레임이 샘플링되는 시각에 세계 좌표계에서 로봇 본체의 포즈이고; 상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하되; 상기 제2 타입 포즈는 세계 좌표계에서 상기 시각적 비콘의 포즈인 초기화 모듈;

상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼, 상기 타깃 검출 데이터를 기반으로 획득된 상기 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 상기 제2 타입 포즈의 최적화 결과를 획득하되; 상기 제1 타입 레지듀얼은 상기 이미지 프레임의 주행계에 관한 제약 레지듀얼이고, 상기 제2 타입 레지듀얼은 상기 시각적 비콘의 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼이며; 상기 제1 타입 포즈의 초기값은 상기 제1 타입 포즈의 초기화 결과이고, 상기 제2 타입 포즈의 초기값은 상기 제2 타입 포즈의 초기화 결과인 제1 공동 최적화 모듈; 및

획득한 상기 제2 타입 포즈의 최적화 결과에 기반하여 비콘 맵을 구축하는 맵 구축 모듈을 포함하는 시각적 비콘 기반의 비콘 맵 구축 장치를 제공한다.

제3 양태에서, 본 발명의 실시예는 시각적 비콘 기반의 비콘 맵 구축 전자 기기를 제공하며, 상기 전자 기기는 메모리 및 프로세서를 포함하되, 여기서

상기 메모리는 컴퓨터 프로그램을 저장하고;

상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여 제1 양태에서 제공하는 시각적 비콘 기반의 비콘 맵 구축 방법을 구현한다.

제4 양태에서, 본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 제1 양태에서 제공하는 시각적 비콘 기반의 비콘 맵 구축 방법을 수행한다.

제5 양태에서, 본 발명의 실시예는 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 본 발명에서 제공하는 시각적 비콘 기반의 비콘 맵 구축 방법을 구현한다.

본 발명의 실시예에서 제공하는 해결수단에서, 타깃 측정 데이터 및 타깃 검출 데이터를 이용하여 주행계 제약 및 비콘 관측 제약(핵심 프레임에서 시각적 비콘의 모든 특징점의 재투영 제약을 적어도 포함함)을 통해 최적화 문제를 공동으로 구축하고, 상기 문제를 해결하여 시각적 비콘의 전역 포즈를 획득함으로써 획득한 시각적 비콘의 전역 포즈를 이용하여 비콘 맵을 구축한다. 본 발명에서 제공하는 해결수단이 맵 구축 시 이용한 시각적 비콘의 전역 포즈는 특정된 산출 방식으로 결정된 것이므로, 맵 구축 데이터 세트에 대한 요구를 줄이고, 시각적 비콘이 배치될 때 이용한 전역 위치 또는 각도 정보에 의존하지 않을 뿐더러 시각적 비콘의 타입에도 의존하지 않고, 임의의 사전 정보에도 의존하지 않으며, 동시에 맵 구축 효율 및 정밀도를 보장한다. 보다시피, 본 해결수단을 통해 시각적 비콘의 배치 정밀도에 대한 의존을 감소시킬 수 있다. 이 밖에, 본 해결수단은 맵 구축 시, 시각적 비콘이 배치될 때 기반으로 하는 포즈 정보에 의존하지 않으므로, 환경 측정에 대한 요구를 줄이거나 환경 측정에 대한 과정을 생략할 수 있고, 시각적 비콘의 배치 작업 난이도를 감소시켜 인력과 시간의 소모를 줄일 수 있다.

본 발명의 실시예 및 종래의 기술의 기술적 해결수단을 보다 명확하게 설명하기 위해, 이하 실시예 및 종래의 기술에 대한 설명에서 사용되는 첨부 도면에 대해 간단히 소개하며, 아래에서 설명되는 도면은 본 발명의 일부 실시예일 뿐, 본 기술분야의 통상의 기술자는 발명적 노력 없이 또한 이러한 도면에 따라 다른 실시예를 얻을 수 있음은 분명하다.
도 1은 본 발명의 실시예에 따른 시각적 비콘 맵 구축 방법의 흐름도이다.
도 2는 데이터 수집의 모식도이다.
도 3은 상기 단계 101 내지 단계 110에 관한 이미지 데이터의 연관 관계의 모식도를 도시한다.
도 4는 본 발명의 실시예에 따른 시각적 비콘 기반의 비콘 맵 구축 장치의 모식도이다.

본 발명의 목적, 기술적 해결수단 및 장점이 보다 명확해지도록, 이하 첨부된 도면을 참조하고 실시예를 예로 들어 본 발명을 더 상세하게 설명한다. 설명되는 실시예는 단지 본 발명의 일부 실시예일 뿐, 전부 실시예가 아님이 분명하다. 본 발명에서의 실시예에 기반하여, 본 기술분야의 통상의 기술자가 발명적 노력 없이 획득한 모든 다른 실시예는 모두 본 발명의 보호 범위에 속한다.

종래의 시각적 비콘 맵 구축은 일반적으로 사전에 작업 환경에 대해 물리적으로 측정하고, 물리적 측정 결과를 기반으로 배치될 시각적 비콘의 위치 및 자세, 즉 배치될 시각적 비콘의 포즈를 수동 방식으로 분석하며, 배치될 시각적 비콘의 포즈에 따라 관련 인원에 의해 환경에 시각적 비콘을 배치해야 하고; 따라서 비콘 맵을 생성할 경우 배치될 시각적 비콘의 위치 및 자세에 기반하여 비콘 맵을 형성한다.

보다시피, 종래의 시각적 비콘 맵 구축 방법에 주로 존재하는 문제는, 맵 구축 시 시각적 비콘의 배치 정밀도에 대한 의존이 비교적 높아, 시각적 비콘의 배치 정밀도가 낮으면 맵 구축의 정확성이 낮아지는 것을 포함한다.

종래의 기술적 문제를 해결하기 위해, 본 발명은 시각적 비콘 기반의 비콘 맵 구축 방법 및 장치를 제공한다. 아래에 우선 본 발명에서 제공하는 시각적 비콘 기반의 비콘 맵 구축 방법에 대해 소개한다.

본 발명의 목적, 기술적 해결수단 및 장점이 보다 명확해지도록, 이하 첨부된 도면을 결합하여 본 발명에 대해 더 상세하게 설명한다. 본 발명의 실시예를 쉽게 이해하기 위해 관련 개념을 설명하면 다음과 같다.

본 실시예는, 세계 좌표계, 픽업 카메라 좌표계(카메라 좌표계), 비콘 좌표계, 주행계 좌표계, 로봇 본체 좌표계를 포함하되, 여기서,

세계 좌표계는 시스템의 절대 좌표계이고, 환경에서 기준 좌표계를 선택하여 픽업 카메라 및 환경 중 어느 하나의 물체의 위치를 설명하는 것이고;

픽업 카메라 좌표계는 원점이 픽업 카메라 광학 중심이며, x축, y축이 이미지의 X, Y축과 평행되고 z축이 카메라 광축이며 이미징 평면에 수직이고, 이로 구성된 공간 직각 좌표계이며 카메라 좌표계로도 지칭되고, 픽업 카메라 좌표계는 3차원 좌표계이다. 여기서, 광축과 이미지 평면의 교점은 이미지 좌표계의 원점이고, 이미지의 X, Y축과 구성된 직각 좌표계는 이미지 좌표계이며, 이미지 좌표계는 2차원 좌표계이다.

비콘 좌표계는 시각적 비콘 중 특징점의 3차원 공간 위치, 예를 들어 2차원 코드 중 4개의 모서리에 위치한 포지셔닝 특징점의 위치를 설명한다. 각각의 시각적 비콘은 고유의 비콘 좌표계를 각각 갖는다.

로봇 본체 좌표계는 로봇의 본체를 위해 설정된 좌표계이다. 또한, 로봇 본체 좌표계의 원점은 로봇 중심과 일치할 수 있지만 이에 한정되지 않는다.

주행계 좌표계는 2차원 평면에서 로봇 본체의 움직임을 설명하기 위한 좌표계로, 포즈 산출이 시작되는 초기 시점에서 로봇 본체의 포즈에 의해 결정된다. 강조해야 할 것은, 주행계 좌표계는 초기 시점에서 로봇 본체 좌표계로, 로봇의 상대적 움직임의 측정값, 즉 초기 시점의 후속 시점에서 주행계 좌표계에 관한 로봇 본체 좌표계의 상대적 포즈를 반응하며, 구체적으로, 초기 시점에 대한 후속 시점에서 로봇 본체의 포즈(로봇 본체 좌표계에서 포즈)의 포즈 변화값이다. 예시적으로, 초기 시점은 로봇의 시작 시점이거나 로봇의 움직임 과정에서 어느 하나의 시점일 수 있다.

주행계는 이동 로봇에 대한 누적 포지셔닝 알고리즘으로, 사용하는 센서 및 기계 구조가 상이함에 따라 다양한 구현 방식이 있을 수 있고, 그 출력 결과는 주행계 좌표계 2차원 평면 내에서 로봇의 포즈이다.

아래에서, “국부적”은 “전역”과 상대적인 개념이며, 전역은 세계 좌표계를 의미하고, 국부적은 비 세계 좌표계를 의미한다.

PnP(Perspective-n-Point)는 n점 투시라고도 지칭되며, 이미지 중 한 세트의 특징점(n개의 점)의 좌표 및 상기 특징점의 3차원 위치를 통해 카메라의 포즈를 산출한다. 여기서, n은 적어도 4개의 상이한 특징점이다.

종래의 기술적 문제를 해결하기 위해, 본 발명은 시각적 비콘 기반의 비콘 맵 구축 방법을 제공한다. 비콘 맵을 구축하기 위해, 사전에 구축될 비콘 맵의 물리적 환경에 일정한 수의 시각적 비콘을 임의로 배치하는데, 상기 시각적 비콘에는 위치를 결정하기 위한 특징점이 포함된다. 상기 시각적 비콘 기반의 비콘 맵 구축 방법은,

이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하되; 이미지 프레임은 사전 배치된 시각적 비콘에 대한 이미지 수집 과정에서 로봇이 수집한 이미지이고, 타깃 측정 데이터는 이미지 프레임이 수집되는 시각에 주행계 좌표계에서 로봇의 로봇 본체의 포즈를 포함하는 단계;

타깃 측정 데이터에 기반하여 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하되; 제1 타입 포즈는 상기 이미지 프레임이 샘플링되는 시각에 세계 좌표계에서 로봇 본체의 포즈인 단계;

타깃 검출 데이터에 기반하여 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하되; 여기서 제2 타입 포즈는 세계 좌표계에서 상기 시각적 비콘의 포즈인 단계;

타깃 측정 데이터를 기반으로 획득된 이미지 프레임에 관한 제1 타입 레지듀얼, 타깃 검출 데이터를 기반으로 획득된 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼에 대해, 제1 타입 포즈를 상태 변수로 사용하고 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 제2 타입 포즈의 최적화 결과를 획득하되; 여기서 제1 타입 레지듀얼은 이미지 프레임의 주행계에 관한 제약 레지듀얼이고, 제2 타입 레지듀얼은 시각적 비콘의 특징점이 이미지 프레임에서 재투영된 제약 레지듀얼이며; 제1 타입 포즈의 초기값은 제1 타입 포즈의 초기화 결과이고, 제2 타입 포즈의 초기값은 제2 타입 포즈의 초기화 결과인 단계; 및

획득한 제2 타입 포즈의 최적화 결과에 기반하여 비콘 맵을 구축하는 단계를 포함할 수 있다.

여기서, 이미지 프레임의 수는 하나 이상일 수 있다.

본 발명의 실시예에서 제공하는 기술적 해결수단에서, 타깃 측정 데이터 및 타깃 검출 데이터를 이용하여 주행계 제약 및 비콘 관측 제약(핵심 프레임에서 시각적 비콘의 모든 특징점의 재투영 제약을 적어도 포함함)을 통해 최적화 문제를 공동으로 구축하고, 상기 문제를 해결하여 시각적 비콘의 전역 포즈를 획득함으로써 획득한 시각적 비콘의 전역 포즈를 이용하여 비콘 맵을 구축한다. 본 발명에서 제공하는 해결수단이 맵 구축 시 이용한 시각적 비콘의 전역 포즈는 특정된 산출 방식으로 결정된 것이므로, 맵 구축 데이터 세트에 대한 요구를 줄이고, 시각적 비콘이 배치될 때 이용한 전역 위치 또는 각도 정보에 의존하지 않을 뿐더러 시각적 비콘의 타입에도 의존하지 않고, 임의의 사전 정보에도 의존하지 않으며, 동시에 맵 구축 효율 및 정밀도를 보장한다. 보다시피, 본 해결수단을 통해 시각적 비콘의 배치 정밀도에 대한 의존을 감소시킬 수 있다. 이 밖에, 본 해결수단은 맵 구축 시, 시각적 비콘이 배치될 때 기반으로 하는 포즈 정보에 의존하지 않으므로, 환경 측정에 대한 요구를 줄이거나 환경 측정에 대한 과정을 생략할 수 있고, 시각적 비콘의 배치 작업 난이도를 감소시켜 인력과 시간의 소모를 줄일 수 있다.

선택 가능하게, 일 구현 방식에서, 타깃 검출 데이터에 기반하여 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하는 단계 이후에,

상기 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하되; 상기 제3 타입 레지듀얼은 상기 이미지 프레임 중의 시각적 비콘의 국부적 위치에 관한 제약 레지듀얼인 단계;

상기 제1 타입 레지듀얼 및 제3 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈 중의 전역 위치를 상태 변수로 사용하여 공동 최적화를 수행하여, 제1 타입 포즈의 초기 최적화 결과 및 상기 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 획득하되; 상기 제1 타입 포즈의 초기값은 상기 제1 타입 포즈의 초기화 결과이고, 상기 제2 타입 포즈 중 전역 위치의 초기값은 상기 제2 타입 포즈 중 전역 위치의 초기화 결과인 단계;

상기 제1 타입 포즈의 초기 최적화 결과를 상기 제1 타입 포즈의 초기화 결과로 사용하는 단계; 및

상기 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 상기 제2 타입 포즈 중 전역 위치의 초기화 결과로 사용하는 단계를 더 포함하고;

상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 자세를 획득하는 방식은,

상기 시각적 비콘이 최초로 관측되었을 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈 및 상기 타깃 검출 데이터에 기반하여, 상기 시각적 비콘에 대응되는 제2 타입 자세 중 전역 자세의 초기화 결과를 획득하는 단계를 포함한다.

선택 가능하게, 일 구현 방식에서, 상기 이미지 프레임의 수는 복수 개이고;

제1 타입 포즈를 상태 변수로 사용하고 제2 타입 포즈 중 전역 위치를 상태 변수로 사용하여 공동 최적화를 수행하여, 제1 타입 포즈의 초기 최적화 결과 및 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 획득하는 단계는,

각각의 제1 타입 레지듀얼 및 각각의 제3 타입 레지듀얼을 융합한 제1 타깃 함수를 구축하고, 각각의 제1 타입 포즈의 초기화 결과 및 각각의 제2 타입 포즈 중 전역 위치의 초기화 결과를 반복 초기값으로 사용하는 반복을 통해, 제1 타깃 함수가 최소값일 때 각각의 제1 타입 포즈의 초기 최적화 결과 및 각각의 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 획득하는 단계를 포함할 수 있다.

선택 가능하게, 일 구현 방식에서, 이미지 프레임의 수는 복수 개이고;

제1 타입 포즈를 상태 변수로 사용하고 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 제2 타입 포즈의 최적화 결과를 획득하는 단계는,

각각의 제1 타입 레지듀얼 및 각각의 제2 타입 레지듀얼을 융합한 제2 타깃 함수를 구축하고, 각각의 제1 타입 포즈의 초기화 결과 및 각각의 제2 타입 포즈의 초기화 결과를 반복 초기값으로 사용하는 반복을 통해, 제2 타깃 함수가 최소값일 때 각각의 제2 타입 포즈의 최적화 결과를 획득하는 단계를 포함할 수 있다.

선택 가능하게, 일 구현 방식에서, 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼의 획득 과정은,

각각의 이미지 프레임에 대해, 상기 이미지 프레임과 이의 인접한 이미지 프레임 사이의 제1 타입 상대 포즈 및 제2 타입 상대 포즈를 획득하되; 여기서 상기 제1 타입 상대 포즈 및 제2 타입 상대 포즈는 모두, 인접한 이미지 프레임이 수집되는 시각에 대한 상기 이미지 프레임이 수집되는 시각에 로봇 본체의 변화 포즈이고; 상기 제1 타입 상대 포즈는 상기 제1 타입 포즈의 상태 변수를 기반으로 결정되며 상기 제2 타입 상대 포즈는 상기 타깃 측정 데이터를 기반으로 결정되는 단계;

제1 타입 상대 포즈 및 제2 타입 상대 포즈의 차이에 의해, 상기 이미지 프레임에 관한 제1 타입 레지듀얼을 산출하는 단계; 및

각각의 이미지 프레임에 관한 제1 타입 레지듀얼을 누적하여 모든 이미지 프레임에 관한 제1 타입 레지듀얼을 획득하는 단계를 포함할 수 있다.

선택 가능하게, 일 구현 방식에서, 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 과정은,

각각의 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 이미지 프레임에 대응되는 카메라 좌표계에서 상기 시각적 비콘의 국부적 위치와 상기 시각적 비콘의 관측된 측정값 사이의 차이를 획득하여, 상기 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 단계; 및

각각의 시각적 비콘에 관한 제3 타입 레지듀얼을 누적하여, 모든 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 단계를 포함할 수 있되;

여기서, 상기 이미지 프레임에 대응되는 카메라 좌표계에서 시각적 비콘의 국부적 위치는 상기 시각적 비콘에 대응되는 카메라 외부 파라미터 포즈, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 벡터 및 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 현재 상태 벡터에 의해 획득되고; 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 벡터는 첫 번째 반복에서 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과이며; 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 현재 상태 벡터는 첫 번째 반복에서 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과의 벡터이다.

선택 가능하게, 일 구현 방식에서, 타깃 검출 데이터를 기반으로 획득된 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼의 결정 과정은,

각각의 이미지 프레임에 대해, 상기 이미지 프레임 중 각각의 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수 및 타깃 검출 데이터에 따라, 상기 이미지 프레임 중 모든 시각적 비콘의 모든 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼을 획득하는 단계를 포함할 수 있다.

선택 가능하게, 일 구현 방식에서, 각각의 이미지 프레임에 대해, 상기 이미지 프레임 중 각각의 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수 및 타깃 검출 데이터에 따라, 상기 이미지 프레임 중 모든 시각적 비콘의 모든 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼을 획득하는 단계는,

각각의 이미지 프레임 중의 어느 하나의 시각적 비콘이 갖는 어느 하나의 특징점에 대해, 카메라 내부 파라미터 행렬, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 변수, 상기 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수, 및 비콘 좌표계에서 상기 특징점의 국부적 위치의 투영 함수와 상기 특징점의 이미지 좌표의 측정값 사이의 차이에 따라, 상기 시각적 비콘 중 상기 특징점이 그 이미지 프레임에서 재투영된 오차를 획득하는 단계; 및

각각의 시각적 비콘의 각각의 특징점의 재투영 오차를 누적하여, 이미지 프레임에서 모든 시각적 비콘에 관한 모든 특징점의 재투영 제약 레지듀얼을 획득하는 단계를 포함할 수 있다.

선택 가능하게, 일 구현 방식에서, 타깃 측정 데이터에 기반하여 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계는,

주행계 좌표계에서 이미지 프레임이 수집되는 시각에 상기 로봇의 로봇 본체의 포즈를 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과로 사용하는 단계를 포함할 수 있고;

타깃 검출 데이터에 기반하여 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하는 단계는,

이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈 및 상기 타깃 검출 데이터를 통해, 세계 좌표계에서 상기 시각적 비콘의 위치의 초기화 결과 및 세계 좌표계에서 상기 시각적 비콘의 자세의 초기화 결과를 각각 획득하는 단계를 포함할 수 있으며;

여기서, 상기 시각적 비콘 검출 데이터는 카메라 좌표계에 대한 시각적 비콘의 국부적 포즈로부터 획득된 시각적 비콘의 관측된 측정값을 포함하고;

카메라 좌표계에 대한 시각적 비콘의 국부적 포즈는 시각적 비콘 중 특징점의 이미지 좌표, 카메라 내부 파라미터 및 비콘 파라미터에 따라 획득되며;

상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈는, 카메라가 상기 시각적 비콘이 속한 이미지 프레임을 획득할 때 카메라 포즈이다.

선택 가능하게, 일 구현 방식에서, 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈 및 상기 타깃 검출 데이터를 통해, 세계 좌표계에서 상기 시각적 비콘의 위치의 초기화 결과 및 세계 좌표계에서 상기 시각적 비콘의 자세의 초기화 결과를 각각 획득하는 단계는,

상기 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 벡터, 카메라 외부 파라미터의 포즈 벡터 및 관측된 측정값의 벡터에 따라, 세계 좌표계에서 상기 시각적 비콘의 위치의 초기화 결과를 획득하고; 여기서 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 제1 타입 포즈의 벡터 및 카메라 외부 파라미터의 포즈 벡터에 기반하여, 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈를 획득하는 단계; 및

로봇 본체 좌표계의 전역 회전 벡터, 카메라 외부 파라미터의 회전 벡터, 카메라 좌표계에서 상기 시각적 비콘의 국부적 회전 벡터에 따라, 세계 좌표계에서 상기 시각적 비콘의 자세의 초기화 결과를 획득하는 단계를 포함하되;

여기서, 로봇 본체 좌표계의 전역 회전 벡터는 제1 타입 포즈의 초기화 결과로부터 획득되며, 카메라 외부 파라미터의 회전 벡터는 카메라 외부 파라미터의 포즈로부터 획득되고, 카메라 좌표계에서 상기 시각적 비콘의 국부적 회전 벡터는 카메라 좌표계에 대한 상기 시각적 비콘의 국부적 포즈로부터 획득된다.

선택 가능하게, 일 구현 방식에서, 이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하는 단계는, 구축될 비콘 맵의 물리적 환경에 배치된 각각의 시각적 비콘의 이미지를 적어도 1회 수집하여, 이미지 프레임을 적어도 포함하는 타깃 검출 데이터를 획득하는 단계; 및 이미지 프레임을 수집하는 동일한 시각에 타깃 측정 데이터를 측정하는 단계를 포함할 수 있다.

선택 가능하게, 일 구현 방식에서, 상기 이미지 프레임의 수는 복수 개이고;

이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하는 단계 이후에,

현재 프레임에 비콘 이미지가 존재할 경우, 상기 프레임을 핵심 프레임으로 사용하는 조건;

현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 위치 수평 이동 편차가 설정된 수평 이동 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 조건;

현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 회전 편차가 설정된 회전 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 조건; 및

제1 프레임이 핵심 프레임인 조건; 중 어느 하나의 조건 또는 이들의 조합에 따라 복수의 이미지 프레임으로부터 핵심 프레임을 선별하는 단계를 더 포함하고,

타깃 측정 데이터에 기반하여 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계는,

타깃 측정 데이터에 기반하여 상기 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계를 포함하며;

상기 타깃 측정 데이터를 기반으로 획득된 이미지 프레임에 관한 제1 타입 레지듀얼은,

상기 타깃 측정 데이터를 기반으로 획득된 상기 핵심 프레임에 관한 제1 타입 레지듀얼을 포함하고;

제2 타입 레지듀얼은 시각적 비콘의 특징점이 핵심 프레임에서 재투영된 제약 레지듀얼이다.

해결수단을 명확히 하기 위해, 아래에 핵심 프레임을 맵 구축에 사용되는 이미지로 예를 들어, 본 발명에서 제공하는 시각적 비콘 기반의 비콘 맵 구축 방법 중의 각각의 단계에 대해 상세하게 소개한다. 설명해야 할 것은, 핵심 프레임을 사용하지 않는 경우에 대해, 맵 구축에 사용되는 이미지는 원본 데이터 중의 이미지 프레임이고, 맵 구축 과정 중의 각각의 단계는 핵심 프레임을 사용하여 맵을 구축할 때의 대응되는 단계와 유사하다.

비콘 맵을 구축하기 위해, 구축될 비콘 맵의 물리적 환경에 일정한 수의 시각적 비콘을 임의로 배치하는데, 상기 시각적 비콘에는 위치를 결정하기 위한 특징점이 포함된다.

도 1을 참조하면, 도 1은 본 발명의 실시예에서 제공하는 시각적 비콘 기반의 비콘 맵 구축 방법의 흐름도이다. 상기 방법은 하기와 같은 단계를 포함한다.

단계 101에서, 이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득한다.

여기서, 이미지 프레임은 사전 배치된 시각적 비콘에 대한 이미지 수집 과정에서 로봇이 수집한 이미지이고, 타깃 측정 데이터는 이미지 프레임이 샘플링되는 시각에 주행계 좌표계에서 상기 로봇의 로봇 본체의 포즈를 포함한다. 이해할 수 있는 것은, 타깃 검출 데이터에 포함되는 이미지 프레임의 수는 하나 이상일 수 있고, 타깃 검출 데이터에 포함되는 이미지 프레임에는 시각적 비콘에 관한 이미지가 적어도 존재하며; 대응되게, 타깃 측정 데이터는 하나 이상의 이미지 프레임이 샘플링되는 시각에 주행계 좌표계에서 로봇의 로봇 본체의 포즈를 포함한다.

도 2를 참조하면, 도 2는 데이터 수집의 모식도이다. 로봇의 이동을 제어하여 로봇이 적어도 하나의 카메라를 통해 구축될 비콘 맵의 물리적 환경에 배치된 각각의 시각적 비콘에 대해 이미지 수집을 수행하도록 하며, 각각의 시각적 비콘은 적어도 한번 수집되고; 이미지를 수집하여 이미지 프레임을 적어도 포함하는 타깃 검출 데이터를 획득하며; 휠 인코더 등 방식을 사용하여 타깃 측정 데이터를 획득하고, 상기 타깃 측정 데이터는 이미지 프레임이 샘플링되는 시각에 로봇 본체의 주행계에 관한 측정 데이터를 적어도 포함하며, 주행계에 관한 측정 데이터는 구체적으로 주행계 좌표계에서 로봇 본체의 포즈이다. 로봇의 이동 궤적에는 제한이 없으며 모든 시각적 비콘을 적어도 한번 수집하면 되고; 도 2와 같이, 총 4개의 시각적 비콘이 배치되어 있으며 로봇의 이동 궤적은 주행계 궤적이다.

이와 같이, 데이터 수집 과정에서 수집된 원본 데이터는 타깃 측정 데이터 및 타깃 검출 데이터를 포함하되, 여기서 타깃 측정 데이터는 주행계 좌표계에서 로봇 본체의 포즈를 포함하고; 타깃 검출 데이터는 수집된 이미지 프레임, 시각적 비콘의 비콘 ID 및 시각적 비콘의 각각의 특징점의 이미지 좌표를 포함한다.

이 밖에, 또한 카메라 내부 파라미터(광학 중심 위치, 렌즈 초점 거리, 왜곡 계수 등), 카메라 외부 파라미터(카메라와 로봇 본체의 상대 포즈), 비콘 파라미터(비콘 좌표계에서 각각의 특징점의 국부적 좌표 위치)를 포함하는 시스템 파라미터를 미리 획득할 수 있다.

시각적 비콘에 관한 이미지 데이터 수집 과정에서, 일반적으로 시각적 비콘이 없는 이미지 프레임 및 상기 이미지 프레임의 측정 데이터를 수집기도 하며, 이러한 데이터는 또한 타깃 검출 데이터 및 타깃 측정 데이터에 각각 속하여 수집된 원본 데이터를 형성할 수 있다.

단계 102에서, 수집된 원본 데이터를 기반으로, 핵심 프레임 선별 전략에 따라 원본 데이터로부터 일정한 수의 핵심 프레임을 선별한다.

산출 효율을 고려하여, 원본 데이터를 선별함으로써 대량의 원본 데이터에 포함되는 이미지 프레임으로부터 핵심 프레임을 선별하여 비콘 맵의 구축 효율을 향상시킬 수 있다.

여기서, 핵심 프레임 선별 전략은 다양할 수 있고 본 실시예에서의 일 전략은,

현재 프레임에 비콘 이미지가 존재할 경우, 상기 프레임을 핵심 프레임으로서 선택하는 전략; 및/또는

현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 위치 수평 이동 편차가 설정된 수평 이동 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 전략, 즉 인접한 핵심 프레임의 주행계에 관한 수평 이동 편차가 설정된 수평 이동 임계값보다 큰 전략; 및/또는

현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 회전 편차가 설정된 회전 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 전략, 즉 인접한 핵심 프레임의 주행계에 관한 회전 편차가 설정된 회전 임계값보다 큰 전략; 및/또는

제1 프레임이 핵심 프레임인 전략이다.

이해할 수 있는 것은, 구체적인 응용에서 구체적인 핵심 프레임 선별 방식은, 현재 프레임에 비콘 이미지가 존재하면 상기 프레임을 핵심 프레임으로서 선택하는 방식을 포함할 수 있고; 또한,

현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 위치 수평 이동 편차가 설정된 수평 이동 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 조건;

현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 회전 편차가 설정된 회전 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 조건; 및

제1 프레임이 핵심 프레임인 조건; 중 어느 하나의 조건 또는 이들의 조합에 따라 핵심 프레임을 선별하며,

따라서, 선별된 핵심 프레임은 비콘 이미지가 구비된 핵심 프레임 및 비콘 이미지가 구비되지 않은 핵심 프레임을 포함한다.

상기 현재 프레임의 주행계에 관한 측정은, 현재 프레임이 샘플링되는 시각에 주행계 좌표계에서 로봇 본체의 포즈를 의미하고, 핵심 프레임의 주행계에 관한 측정은 핵심 프레임이 샘플링되는 시각에 주행계 좌표계에서 로봇 본체의 포즈를 의미한다. 다시 말해서, 어느 하나의 프레임의 주행계에 관한 측정은 구체적으로 상기 프레임이 샘플링되는 시각에 주행계 좌표계에서 로봇 본체의 포즈이다.

단계 103에서, 시각적 비콘이 포함된 핵심 프레임, 및 단계 101에서 획득한 시각적 비콘의 비콘 파라미터에 따라, 카메라 좌표계에 대한 시각적 비콘의 국부적 포즈를 획득하고, 상기 국부적 포즈를 타깃 검출 데이터에 추가하여 시각적 비콘의 관측된 측정값으로 사용한다. 여기서, 시각적 비콘의 비콘 파라미터는 비콘 좌표계에서 각각의 특징점의 국부적 좌표 위치를 포함한다.

상기 단계에서, 카메라 좌표계에 대한 시각적 비콘의 국부적 포즈는 구체적으로 카메라 좌표계에서 시각적 비콘의 포즈를 의미한다. 카메라 좌표계에 대한 시각적 비콘의 국부적 포즈의 해법은 실질적으로 PnP(Perspective-n-Point) 문제를 해결하는 것으로, 즉 시각적 비콘의 특징점의 이미지 좌표, 카메라 내부 파라미터, 비콘 파라미터에 따라 카메라 좌표계에 대한 시각적 비콘의 국부적 포즈를 획득한다. PnP 문제를 해결하기 위한 특징점 수에 대한 요구 사항을 고려하여 본 발명은 4개의 특징점을 적어도 포함한다.

단계 104에서, 핵심 프레임에 대응되는 제1 타입 포즈를 초기화하고 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치를 초기화하여, 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과 및 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과를 획득하되; 여기서 핵심 프레임에 대응되는 제1 타입 포즈는 핵심 프레임이 샘플링되는 시각에 세계 좌표계에서 로봇 본체의 포즈이고, 시각적 비콘에 대응되는 제2 타입 포즈는 세계 좌표계에서 시각적 비콘의 포즈이다.

핵심 프레임에 대응되는 제1 타입 포즈의 초기화는 측정 데이터 결과, 즉 타깃 측정 데이터에 포함된 핵심 프레임이 샘플링되는 시각에 주행계 좌표계에서 로봇 본체의 포즈를 직접 사용한다. 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과는 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 핵심 프레임에 대응되는 카메라 포즈, 및 타깃 검출 데이터에 포함된 상기 시각적 비콘의 관측된 측정값을 산출하여 획득되되, 여기서 상기 시각적 비콘이 속한 핵심 프레임에 대응되는 카메라 포즈는, 카메라가 상기 시각적 비콘이 속한 핵심 프레임을 획득할 때의 카메라 포즈를 의미한다.

구체적인 산출 공식은 하기와 같을 수 있다.

(1)

여기서, 부호 좌측 위 모서리와 아래 모서리는 좌표계 식별자로 표기되고,

는 세계 좌표계에서 시각적 비콘의 전역 위치의 벡터(세계 좌표계w에 대한 비콘 좌표계m 중의 시각적 비콘의 좌표 위치)이고, 즉 세계 좌표계에서 시각적 비콘의 전역 위치의 초기화 결과이며;

는 시각적 비콘이 속한 핵심 프레임에 대응되는 제1 타입 포즈의 벡터(로봇 좌표계b 중 핵심 프레임이 샘플링되는 시각에 세계 좌표계w에 대한 로봇 본체의 포즈)이고

로 표시할 수 있으며,

는 세계 좌표계에서 로봇 본체의 전역 회전 벡터이고,

는 세계 좌표계에서 로봇 본체의 전역 위치 벡터이며, 상기

는 로봇 본체의 전역 포즈 벡터

를 2차원 공간에서 3차원 공간으로 변환시켜 획득된 것이고, 여기서 로봇 본체의 전역 포즈 벡터는

로 표시할 수 있으며,

는 로봇 본체의 요 각도이고; 시각적 비콘이 속한 핵심 프레임에 대응되는 제1 타입 포즈의 벡터의 초기값은 타깃 측정 데이터를 초기값으로 사용하며,

는 카메라 외부 파라미터의 포즈 벡터(카메라 좌표계c에서 로봇 좌표계b에 대한 카메라의 위치)이고

로 표시할 수 있으며,

는 카메라 외부 파라미터의 회전 벡터이고,

는 카메라 외부 파라미터의 위치 벡터이며;

는 카메라 좌표계에 대한 시각적 비콘의 국부적 위치의 벡터(카메라 좌표계c에 대한 비콘 좌표계m 중의 시각적 비콘의 좌표 위치, 즉 관측된 측정값)이고 단계 103에 의해 획득되며

로 표시할 수 있고;

부호는 오른쪽 곱셈을 나타내며 예를 들어

및

이고; ⊙ 부호는 투영을 나타내며 예를 들어

이고;

에 의해 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 핵심 프레임에 대응되는 카메라 포즈를 획득한다.

단계 105에서, 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과 및 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과를 기반으로, 핵심 프레임에 관한 제1 타입 레지듀얼, 시각적 비콘에 관한 제3 타입 레지듀얼을 각각 산출하고, 본 발명에서 제3 타입 레지듀얼은 M제약 레지듀얼로 약칭하며; 여기서 제1 타입 레지듀얼은 핵심 프레임의 주행계에 관한 제약 레지듀얼이고; 제3 타입 레지듀얼은 핵심 프레임 중 시각적 비콘의 국부적 위치의 제약 레지듀얼이며;

어느 하나의 핵심 프레임i의 제1 타입 레지듀얼에 대해, 인접한 핵심 프레임 사이의 제1 타입 상대 포즈 및 인접한 핵심 프레임 사이의 제2 타입 상대 포즈를 획득하되, 여기서 제1 타입 상대 포즈 및 제2 타입 상대 포즈는 모두 인접한 핵심 프레임이 샘플링되는 시각에 대한 상기 핵심 프레임이 샘플링되는 시각에, 로봇 본체의 변화 포즈이며; 제1 타입 상대 포즈는 제1 타입 포즈의 상태 변수를 기반으로 결정되고 제2 타입 상대 포즈는 타깃 측정 데이터를 기반으로 결정된다. 예시적으로,

실시형태 중 하나는, 인접한 핵심 프레임의 제1 타입 상대 포즈와 상기 제2 타입 상대 포즈 사이의 차이를 산출하는 것일 수 있으며, 예를 들어 양자 사이의 차이값은,

로 표시할 수 있으며,

여기서,

는 핵심 프레임i의 제1 타입 레지듀얼의 레지듀얼 항을 나타내고,

은 핵심 프레임i에 대응되는 제1 타입 포즈의 벡터를 나타내며,

는 핵심 프레임i와 인접한 핵심 프레임i+1에 대응되는 제1 타입 포즈의 벡터를 나타내고,

은 핵심 프레임i가 샘플링되는 시각에 주행계 좌표계에서 로봇 본체의 포즈를 나타내며,

는 핵심 프레임i+1이 샘플링되는 시각에 주행계 좌표계에서 로봇 본체의 포즈를 나타내고,

로부터 인접한 핵심 프레임 사이의 제1 타입 상대 포즈를 획득하며, (

)로부터 인접한 핵심 프레임 사이의 제2 타입 상대 포즈를 획득한다.

핵심 프레임 중 시각적 비콘에 관한 제3 타입 레지듀얼의 획득 과정은 다음을 포함한다.

어느 하나의 핵심 프레임i 중 어느 하나의 시각적 비콘j에 대해, 시각적 비콘j의 국부적 위치의 제약 레지듀얼은, 시각적 비콘이 위치한 핵심 프레임에 대응되는 카메라 좌표계에서 시각적 비콘의 국부적 위치와 상기 시각적 비콘의 관측된 측정값 사이의 차이이다. 구체적으로, 시각적 비콘이 위치한 핵심 프레임에 대응되는 카메라 좌표계에서 시각적 비콘의 국부적 위치는, 상기 시각적 비콘에 대응되는 카메라 외부 파라미터 포즈, 상기 핵심 프레임(상기 시각적 비콘이 위치한 핵심 프레임)에 대응되는 제1 타입 포즈의 현재 상태 벡터 및 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 현재 상태 벡터에 의해 획득되고; 상기 핵심 프레임에 대응되는 제1 타입 포즈의 현재 상태 벡터는 첫 번째 반복에서 상기 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과이며; 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 현재 상태 벡터는 첫 번째 반복에서 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과의 벡터이다.

예시적으로, 실시형태 중 하나는, 시각적 비콘이 위치한 핵심 프레임에 대응되는 카메라 좌표계에서 시각적 비콘의 국부적 위치와 상기 시각적 비콘의 관측된 측정값 사이의 차이값일 수 있으며,

(2)로 표시할 수 있고,

여기서,

는 핵심 프레임i 중 시각적 비콘j의 국부적 위치의 제약 레지듀얼을 나타내며,

는 시각적 비콘j에 대응되는 제2 타입 포즈 중 전역 위치의 벡터이고, 그 초기값은 단계 104 중의 제2 타입 포즈의 초기화 결과에 의해 획득되며,

는 핵심 프레임i 중 시각적 비콘j의 관측된 측정값의 벡터를 나타내고,

에 의해 시각적 비콘j가 위치한 핵심 프레임i에 대응되는 카메라 좌표계에서 시각적 비콘j의 국부적 위치를 획득한다.

단계 106에서, 선별된 모든 핵심 프레임의 제1 타입 레지듀얼 및 모든 핵심 프레임 중의 모든 시각적 비콘의 제3 타입 레지듀얼에 대해 공동 최적화를 수행하여, 모든 핵심 프레임에 대응되는 제1 타입 포즈의 초기 최적화 결과 및 핵심 프레임 중 모든 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 생성함으로써, 후속의 비콘 특징점 이미지 재투영 제약의 공동 최적화에 초기값을 제공하며;

상기 단계에서, 선별된 모든 핵심 프레임의 제1 타입 레지듀얼 및 모든 시각적 비콘의 제3 타입 레지듀얼에 따라, 상기 제약 레지듀얼을 융합한 제1 타깃 함수를 구축하고, LM(Levenberg-Marquardt) 알고리즘과 같은 비선형 최적화 문제에 대한 반복 최적화 알고리즘을 사용하여, 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과 및 핵심 프레임 중 시각적 비콘에 대응되는 제2 타입 포즈 중의 전역 위치의 초기화 결과를 초기값으로 사용하여 여러 차례의 반복 수렴을 수행하고, 반복 과정에서 핵심 프레임에 대응되는 제1 타입 포즈, 및 핵심 프레임 중 제2 타입 포즈 중 전역 위치를 상태 변수로 사용하며, 즉 최적화된 상태 변수는 제1 타입 포즈, 제2 타입 포즈 중의 전역 위치의 두 부분으로 구성되고; 제1 타깃 함수가 최소값을 획득할 때 제1 타입 포즈 및 제2 타입 포즈 중 전역 위치의 해를 구한다. 여기서, 제1 타깃 함수는,

로 표시할 수 있으며,

여기서,

, 여기서

는 핵심 프레임에 대응되는 제1 타입 포즈이고,

은 시각적 비콘에 대응되는 제2 타입 포즈이며; N은 모든 핵심 프레임이고, M은 모든 핵심 프레임 중의 모든 시각적 비콘의 수이며;

는 핵심 프레임i의 제1 타입 레지듀얼에 대응되는 제약 정보 행렬이고,

는 핵심 프레임i 중 시각적 비콘j의 제3 타입 레지듀얼에 대응되는 제약 정보 행렬이며, 정보 행렬의 값은 시스템 오차 모델과 관련되고 일반적으로 인위적으로 주어진다.

는 선별된 모든 핵심 프레임N의 제1 타입 레지듀얼의 누적을 나타내고,

는 집합

중 모든 시각적 비콘j의 제3 타입 레지듀얼의 누적을 나타내며, 상기 집합

는 어느 하나의 시각적 비콘j를 가진 핵심 프레임i로 구성된다. 최적화 과정에서, 첫 번째 반복에서 핵심 프레임에 대응되는 제1 타입 포즈의 상태 변수 초기값은, 단계 104에서 획득된 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과이고, 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 상태 변수의 초기값은, 단계 104에서 획득된 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과이며; 첫 번째 반복 이후의 반복 과정에서, 이전 반복에서 얻은 상태 변수를 현재 상태 변수로 사용하여, 각각의 현재 반복 시 최적화된 상태 변수의 해를 구한다.

단계 106의 공동 최적화를 통해, 핵심 프레임에 대응되는 제1 타입 포즈 및 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치가 더 양호한 견고성을 갖도록 하고, 반복 과정에서 국부적 최소값에 쉽게 빠지지 않도록 하여, 후속의 비콘 특징점 이미지 재투영 제약의 공동 최적화의 효율을 향상시키는데 유리하다.

단계 107에서, 시각적 비콘을 가진 핵심 프레임을 기반으로, 시각적 비콘에 대응되는 제2 타입 자세 중 전역 자세(각도)를 초기화하고;

시각적 비콘에 대응되는 제2 타입 자세 중 전역 자세(각도) 초기화는 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 핵심 프레임에 대응되는 카메라 포즈, 및 타깃 검출 데이터에 포함되는 관측된 측정값을 산출하여 획득되며,

(3)로 표시할 수 있고,

여기서,

는 시각적 비콘에 대응되는 전역 회전 벡터(세계 좌표계w에 대한 비콘 좌표계m의 회전 각도), 즉 시각적 비콘에 대응되는 제2 타입 자세 중 전역 자세이며,

는 로봇 본체 좌표계의 전역 회전 벡터(세계 좌표계w에 대한 로봇 본체 좌표계b의 회전 각도)이고,

는 카메라 외부 파라미터의 회전 벡터(로봇 본체 좌표계b에 대한 카메라 좌표계c의 회전 각도)이며,

는 카메라 좌표계에서 시각적 비콘의 국부적 회전 벡터(카메라 좌표계c에 대한 비콘 좌표계m의 회전 각도)이고, 단계 103에서 카메라 좌표계에 대한 시각적 비콘의 국부적 포즈로부터 획득된다.

단계 108에서, 시각적 비콘에 대응되는 제2 타입 자세의 초기화 결과를 기반으로, 핵심 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼을 산출하고, 시각적 비콘에 관한 제2 타입 레지듀얼은 핵심 프레임에서 시각적 비콘 중의 특징점의 재투영 제약 레지듀얼이며, 즉 핵심 프레임 카메라 이미지에서 시각적 비콘 특징점의 재투영 오차이고, 본 발명에서는 V 제약으로 약칭하며,

로 표시할 수 있고,

여기서,

는 핵심 프레임에서 상기 핵심 프레임i 중 비콘j가 갖는 특징점k의 재투영 제약 레지듀얼, 즉 핵심 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼이며, proj(.)는 이미지 투영 함수이고, A는 카메라 내부 파라미터 행렬이며,

는 시각적 비콘j에서 특징점k의 국부적 위치 벡터(이미지 좌표계f에서 비콘 좌표계m 중 비콘j에 대한 특징점k의 좌표 위치, 즉 비콘 파라미터)이고,

는 카메라 이미지에서 특징점k의 국부적 위치의 벡터(카메라 좌표계c에서 핵심 프레임i에 대한 이미지 좌표계f에서 특징점k의 이미지 좌표 위치, 즉 특징점k의 이미지 좌표 측정값)이며,

는 시각적 비콘j의 제2 타입 포즈의 초기값이고 단계 107에서의 시각적 비콘의 전역 자세(각도) 초기화 결과 및 단계 106에서 얻은 전역 위치의 초기 최적화 결과에 의해 획득된다.

단계 109에서, 선별된 모든 제1 레지듀얼 및 모든 제2 타입 레지듀얼에 대해 공동 최적화를 수행하여, 전술한 양자의 제약 레지듀얼을 융합한 제2 타깃 함수를 구축하고, 제2 타깃 함수가 최소값을 획득할 때 핵심 프레임에 대응되는 제1 타입 포즈 및 시각적 비콘에 대응되는 제2 타입 포즈의 해를 구하며;

단계 106에서 획득된 핵심 프레임에 대응되는 제1 타입 포즈의 초기 최적화 결과를 핵심 프레임에 대응되는 제1 타입 포즈의 초기값으로 사용하고, 단계 106에서 획득된 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기 최적화 결과 및 단계 107에서 획득된 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 자세 결과를 시각적 비콘에 대응되는 제2 타입 포즈의 초기값으로 사용하며, LM(Levenberg-Marquardt) 알고리즘과 같은 비선형 최적화 문제에 대한 반복 최적화 알고리즘을 사용하여, 핵심 프레임에 대응되는 제1 타입 포즈의 초기값 및 시각적 비콘에 대응되는 제2 타입 포즈의 초기값에 대해 여러 차례의 반복 수렴을 수행하며, 반복 과정에서 핵심 프레임에 대응되는 제1 타입 자세 및 시각적 비콘에 대응되는 제2 타입 포즈(전역 위치

및 전역 포즈

)를 상태 변수로 사용하고, 즉 최적화된 상태 변수는 핵심 프레임에 대응되는 제1 타입 자세, 시각적 비콘에 대응되는 제2 타입 포즈의 두 부분으로 구성되며; 제2 타깃 함수가 최소값을 획득할 때 핵심 프레임에 대응되는 제1 타입 포즈 및 시각적 비콘에 대응되는 제2 타입 포즈의 해를 구한다. 여기서, 제2 타깃 함수는

로 표시할 수 있고,

여기서,

, 여기서

공식 중의 제1 타입 레지듀얼의 레지듀얼 항과 단계 106 중의 제1 타입 레지듀얼을 일치하며,

는 핵심 프레임에서 핵심 프레임i 중 시각적 비콘j가 갖는 특징점k의 재투영 제약 레지듀얼, 즉 핵심 프레임i 및 시각적 비콘j에 관한 제2 타입 레지듀얼이고,

는 V 제약 레지듀얼에 대응되는 정보 행렬, 즉 핵심 프레임i 및 시각적 비콘j의 제2 타입 레지듀얼에 대응되는 정보 행렬이며,

는 모든 시각적 비콘j 중의 모든 특징점k의 V 제약 레지듀얼의 누적을 나타낸다.

최적화 과정에서, 첫 번째 반복에서 핵심 프레임에 대응되는 제1 타입 포즈의 상태 변수의 초기값은 단계 104에서 획득한 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과이고, 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 상태 변수의 초기값은 단계 104에서 획득한 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과이며; 첫 번째 반복 이후의 반복 과정에서, 이전 반복에서 얻은 상태 변수를 현재 상태 변수로 사용하여, 현재 반복 시 최적화된 상태 변수의 해를 구한다.

단계 110에서, 획득된 시각적 비콘에 대응되는 제2 타입 포즈를 기반으로 비콘 맵을 구축한다.

상기 단계에서는 단계식 공동 최적화 전략이 사용되는데, 먼저 M 제약 공동 최적화를 사용하여 시각적 비콘의 전역 위치를 추정한 다음, V 제약 공동 최적화를 수행하여 시각적 비콘의 전역 포즈를 추정하여, 최적화 알고리즘이 국부적 최소값으로 떨어지는 확률을 감소시킨다. 물론, 핵심 프레임의 제1 타입 레지듀얼과 시각적 비콘에 관한 M제약 레지듀얼의 공동 최적화는 수행하지 않을 수 있으며, 이와 같이 제2 타깃 함수의 반복 수렴을 거친 초기값은 단계 104에서 획득한 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과 및 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 사용할 수 있고, 여기서 시각적 비콘에 대응되는 제2 타입 포즈 중의 전역 위치의 초기화 결과는 단계 104에서 획득되며, 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 자세의 초기화 결과는 단계 107에서 획득된다.

도 3을 참조하면, 도 3은 상기 단계 101 내지 단계 110에 관한 이미지 데이터의 연관 관계의 모식도를 도시한다. 도면에서,

수집된 원본 데이터(이미지 프레임)는 핵심 프레임을 얻기 위해 선별되고;

핵심 프레임을 기반으로, 카메라 내부 파라미터의 행렬, 비콘 파라미터, 핵심 프레임에서 특징점의 이미지 좌표 위치에 따라, 카메라 좌표계에 대한 시각적 비콘의 국부적 위치

, 카메라에 대한 시각적 비콘의 국부적 자세

, 즉 시각적 비콘의 관측된 측정값을 포함하는 카메라 좌표계에 대한 각 시각적 비콘의 국부적 포즈를 획득하며;

타깃 측정 데이터를 기반으로, 타깃 측정 데이터 결과를 핵심 프레임에 대응되는 제1 타입 포즈 중 전역 위치의 초기화 결과

, 핵심 프레임에 대응되는 제2 타입 포즈 중 전역 자세의 초기화 결과

를 포함하는 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과로 사용하고;

카메라 외부 파라미터로부터 카메라 외부 파라미터의 포즈

, 및 카메라 외부 파라미터의 자세

, 즉 카메라 외부 파라미터의 회전 벡터를 획득하며;

상기

,

,

(타원 점선)에 따라, 각각의 시각적 비콘의 제2 타입 자세 중 전역 위치의 초기화 결과

를 획득하고;

상기

,

,

를 통해, 각 시각적 비콘이 위치한 핵심 프레임 카메라 좌표계에서 시각적 비콘의 국부적 위치를 획득하며, 상기 국부적 위치와 이가 위치한 핵심 프레임에 대응되는 이미지 좌표계에서 국부적 위치 사이의 차이값에 따라 각 시각적 비콘의 M 제약 레지듀얼을 획득하며;

모든 핵심 프레임에 관한 제1 타입 레지듀얼 및 모든 핵심 프레임 중 각적 비콘에 관한 제3 타입 레지듀얼에 대해, 각각의 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과, 및 각각의 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과를 초기값(미도시)으로 하여 공동 최적화를 수행하여, 모든 핵심 프레임에 대응되는 제1 타입 자세의 초기 최적화 결과 및 모든 핵심 프레임 중 모든 시각적 비콘에 대응되는 제2 타입 자세 중 전역 위치의 초기 최적화 결과를 획득하되; 여기서 상기 모든 핵심 프레임의 제1 타입 레지듀얼은 타깃 측정 데이터를 기반으로 획득되고;

시각적 비콘의 제1 타입 포즈의 초기화 결과(자세의 초기화 결과 및 위치의 초기화 결과를 포함함), 카메라 내부 파라미터 행렬, 비콘 파라미터, 카메라 이미지에서 특징점의 국부적 위치를 통해, 모든 핵심 프레임 중 각각의 시각적 비콘의 각각의 특징점의 V 제약 레지듀얼을 산출하며, 모든 제1 타입 레지듀얼 및 모든 제2 타입 레지듀얼에 대해, 상기 각각의 핵심 프레임에 대응되는 제1 타입 자세의 초기화 결과 및 상기 각각의 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 초기값으로 사용하여 공동 최적화를 수행하여, 모든 핵심 프레임에 대응되는 제1 타입 포즈의 최적화 결과 및 모든 핵심 프레임 중 모든 시각적 비콘에 대응되는 제2 타입 포즈의 최적화 결과를 획득하며;

획득한 상기 제2 타입 포즈의 최적화 결과에 기반하여 비콘 맵을 구축한다.

본 발명은 타깃 검출 데이터 및 타깃 측정 데이터를 이용하고, 주행계에 관한 제약과 시각적 비콘의 국부적 위치에 관한 제약의 제1 타깃 함수 및 주행계에 관한 제약과 시각적 비콘 특징점의 이미지 재투영 제약의 제2 타깃 함수를 각각 구축하여, 제1 타깃 함수 및 제2 타깃 함수에 대한 해결 공동 최적화 문제를 통해, 시각적 비콘의 전역 포즈를 획득함으로써 비콘 맵을 구축한다. 보다시피, 본 해결수단을 통해 시각적 비콘의 배치 정밀도에 대한 의존을 감소시킬 수 있다. 이 밖에, 본 해결수단은 맵 구축 시, 시각적 비콘이 배치될 때 기반으로 하는 포즈 정보에 의존하지 않으므로, 환경 측정에 대한 요구를 줄이거나 환경 측정에 대한 과정을 생략할 수 있고, 시각적 비콘의 배치 작업 난이도를 감소시켜 인력과 시간의 소모를 줄일 수 있다. 또한, 원본 데이터를 선별하여 핵심 프레임 데이터를 획득하고, 핵심 프레임에 대한 최적화 산출을 수행하여 최적화 알고리즘의 산출 효율을 크게 향상시킨다.

도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 시각적 비콘 기반의 비콘 맵 구축 장치의 모식도이다. 상기 장치는,

이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하되; 상기 이미지 프레임은 사전 배치된 시각적 비콘에 대한 이미지 수집 과정에서 로봇이 수집한 이미지이고, 상기 타깃 측정 데이터는 상기 이미지 프레임이 수집되는 시각에 주행계 좌표계에서 상기 로봇의 로봇 본체의 포즈를 포함하는 데이터 수집 모듈;

상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하되; 상기 제1 타입 포즈는 상기 이미지 프레임이 샘플링되는 시각에 세계 좌표계에서 로봇 본체의 포즈이고; 상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하되; 상기 제2 타입 포즈는 세계 좌표계에서 상기 시각적 비콘의 포즈인 초기화 모듈;

상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼, 상기 타깃 검출 데이터를 기반으로 획득된 상기 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 상기 제2 타입 포즈의 최적화 결과를 획득하되; 상기 제1 타입 레지듀얼은 상기 이미지 프레임의 주행계에 관한 제약 레지듀얼이고, 상기 제2 타입 레지듀얼은 상기 시각적 비콘의 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼이며; 상기 제1 타입 포즈의 초기값은 상기 제1 타입 포즈의 초기화 결과이고, 상기 제2 타입 포즈의 초기값은 상기 제2 타입 포즈의 초기화 결과인 제1 공동 최적화 모듈; 및

획득한 상기 제2 타입 포즈의 최적화 결과에 기반하여 비콘 맵을 구축하는 맵 구축 모듈을 포함한다.

여기서, 상기 데이터 수집 모듈은 구체적으로, 구축될 비콘 맵의 물리적 환경에 배치된 각각의 시각적 비콘의 이미지를 적어도 1회 수집하여, 이미지 프레임을 적어도 포함하는 타깃 검출 데이터를 획득하고; 이미지 프레임을 수집하는 동일한 시각에 타깃 측정 데이터를 측정한다.

상기 데이터 수집 모듈은, 타깃 측정 데이터를 획득하기 위한 주행계 측정 모듈; 및 타깃 검출 데이터를 획득하기 위한 시각적 비콘 검출 모듈을 포함한다.

상기 초기화 모듈은, 상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하기 위한 제1 초기화 서브 모듈; 및 상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하기 위한 제2 초기화 서브 모듈을 포함하되; 여기서,

상기 제1 초기화 서브 모듈은 구체적으로, 주행계 좌표계에서 상기 이미지 프레임이 수집되는 시각에 상기 로봇의 로봇 본체의 포즈를 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과로 사용하고;

상기 제2 초기화 서브 모듈은 구체적으로,

상기 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈 및 상기 타깃 검출 데이터를 통해, 세계 좌표계에서 상기 시각적 비콘의 위치의 초기화 결과 및 세계 좌표계에서 상기 시각적 비콘의 자세의 초기화 결과를 각각 획득하되;

여기서, 상기 시각적 비콘 검출 데이터는 카메라 좌표계에 대한 시각적 비콘의 국부적 포즈로부터 획득된 시각적 비콘의 관측된 측정값을 포함하고;

카메라 좌표계에 대한 상기 시각적 비콘의 국부적 포즈는 시각적 비콘 중 특징점의 이미지 좌표, 카메라 내부 파라미터 및 비콘 파라미터에 따라 획득되며;

상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈는, 카메라가 상기 시각적 비콘이 속한 이미지 프레임을 획득할 때 카메라 포즈이다.

상기 제2 초기화 서브 모듈은 구체적으로,

상기 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 벡터, 카메라 외부 파라미터의 포즈 벡터 및 관측된 측정값의 벡터에 따라, 세계 좌표계에서 상기 시각적 비콘의 위치의 초기화 결과를 획득하고; 여기서 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 제1 타입 포즈의 벡터 및 카메라 외부 파라미터의 포즈 벡터에 기반하여, 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈를 획득하며;

로봇 본체 좌표계의 전역 회전 벡터, 카메라 외부 파라미터의 회전 벡터, 카메라 좌표계에서 상기 시각적 비콘의 국부적 회전 벡터에 따라, 세계 좌표계에서 상기 시각적 비콘의 자세의 초기화 결과를 획득하되,

여기서, 상기 로봇 본체 좌표계의 전역 회전 벡터는 상기 제1 타입 포즈의 초기화 결과로부터 획득되며, 상기 카메라 외부 파라미터의 회전 벡터는 상기 카메라 외부 파라미터의 포즈로부터 획득되고, 카메라 좌표계에서 상기 시각적 비콘의 국부적 회전 벡터는 카메라 좌표계에 대한 상기 시각적 비콘의 국부적 포즈로부터 획득된다.

상기 장치는, 제2 공동 최적화 모듈을 더 포함하되, 상기 제2 공동 최적화 모듈은,

상기 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하고; 여기서, 상기 제3 타입 레지듀얼은 상기 이미지 프레임 중 시각적 비콘의 국부적 위치에 관한 제약 레지듀얼이며;

상기 제1 타입 레지듀얼 및 제3 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈 중의 전역 위치를 상태 변수로 사용하여 공동 최적화를 수행하여, 제1 타입 포즈의 초기 최적화 결과 및 상기 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 획득하되; 상기 제1 타입 포즈의 초기값은 상기 제1 타입 포즈의 초기화 결과이고, 상기 제2 타입 포즈 중 전역 위치의 초기값은 상기 제2 타입 포즈 중 전역 위치의 초기화 결과이며;

상기 제1 타입 포즈의 초기 최적화 결과를 상기 제1 타입 포즈의 초기화 결과로 사용하고;

상기 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 상기 제2 타입 포즈 중 전역 위치의 초기화 결과로 사용하며;

상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 자세를 획득하는 방식은,

상기 시각적 비콘이 최초로 관측되었을 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈 및 상기 타깃 검출 데이터에 기반하여, 상기 시각적 비콘에 대응되는 제2 타입 자세 중 전역 자세의 초기화 결과를 획득하는 단계를 포함한다.

선택 가능하게, 상기 이미지 프레임의 수는 복수 개이고; 상기 제2 공동 최적화 모듈은 구체적으로,

각각의 제1 타입 레지듀얼 및 각각의 제3 타입 레지듀얼을 융합한 제1 타깃 함수를 구축하고, 각각의 제1 타입 포즈의 초기화 결과 및 각각의 제2 타입 포즈 중 전역 위치의 초기화 결과를 반복 초기값으로 사용하는 반복을 통해, 상기 제1 타깃 함수가 최소값일 때 각각의 제1 타입 포즈의 초기 최적화 결과 및 각각의 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 획득한다. 선택 가능하게, 상기 이미지 프레임의 수는 복수 개이고, 상기 제1 공동 최적화 모듈은 구체적으로,

각각의 제1 타입 레지듀얼 및 각각의 제2 타입 레지듀얼을 융합한 제2 타깃 함수를 구축하고, 각각의 제1 타입 포즈의 초기화 결과 및 각각의 제2 타입 포즈의 초기화 결과를 반복 초기값으로 사용하는 반복을 통해, 상기 제2 타깃 함수가 최소값일 때 각각의 제2 타입 포즈의 최적화 결과를 획득한다.

선택 가능하게, 상기 제1 공동 최적화 모듈이 상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼을 획득하는 과정은,

각각의 이미지 프레임에 대해, 상기 타깃 측정 데이터를 기반으로 상기 이미지 프레임과 이의 인접한 이미지 프레임 사이의 제1 타입 상대 포즈 및 제2 타입 상대 포즈를 획득하되; 여기서 상기 제1 타입 상대 포즈 및 제2 타입 상대 포즈는 모두, 인접한 이미지 프레임이 수집되는 시각에 대한 상기 이미지 프레임이 수집되는 시각에 로봇 본체의 변화 포즈이고; 상기 제1 타입 상대 포즈는 상기 제1 타입 포즈의 상태 변수를 기반으로 결정되며 상기 제2 타입 상대 포즈는 상기 타깃 측정 데이터를 기반으로 결정되는 단계;

상기 제1 타입 상대 포즈 및 제2 타입 상대 포즈의 차이에 의해, 상기 이미지 프레임에 관한 제1 타입 레지듀얼을 산출하는 단계; 및

각각의 상기 이미지 프레임에 관한 제1 타입 레지듀얼을 누적하여 모든 상기 이미지 프레임에 관한 제1 타입 레지듀얼을 획득하는 단계를 포함한다.

선택 가능하게, 상기 제2 공동 최적화 모듈이 상기 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 과정은,

각각의 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 이미지 프레임에 대응되는 카메라 좌표계에서 상기 시각적 비콘의 국부적 위치와 상기 시각적 비콘의 관측된 측정값 사이의 차이를 획득하여, 상기 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 단계; 및

각각의 시각적 비콘에 관한 제3 타입 레지듀얼을 누적하여, 모든 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 단계를 포함하되;

여기서, 상기 이미지 프레임에 대응되는 카메라 좌표계에서 상기 시각적 비콘의 국부적 위치는 상기 시각적 비콘에 대응되는 카메라 외부 파라미터 포즈, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 벡터 및 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 현재 상태 벡터에 의해 획득되고; 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 벡터는 첫 번째 반복에서 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과이며; 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 현재 상태 벡터는 첫 번째 반복에서 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과의 벡터이다.

선택 가능하게, 상기 제1 공동 최적화 모듈이 상기 타깃 검출 데이터를 기반으로 획득된 상기 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼을 결정하는 과정은,

각각의 이미지 프레임에 대해, 상기 이미지 프레임 중 각각의 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수 및 상기 타깃 검출 데이터에 따라, 상기 이미지 프레임 중 모든 시각적 비콘의 모든 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼을 획득하는 단계를 포함한다.

선택 가능하게, 상기 제1 공동 최적화 모듈이 각각의 이미지 프레임에 대해, 상기 이미지 프레임 중 각각의 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수 및 상기 타깃 검출 데이터에 따라, 상기 이미지 프레임 중 모든 시각적 비콘의 모든 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼을 획득하는 단계는,

각각의 이미지 프레임 중의 어느 하나의 시각적 비콘이 갖는 어느 하나의 특징점에 대해, 카메라 내부 파라미터 행렬, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 변수, 상기 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수, 및 비콘 좌표계에서 상기 특징점의 국부적 위치의 투영 함수와 상기 특징점의 이미지 좌표의 측정값 사이의 차이에 따라, 상기 시각적 비콘 중 상기 특징점이 그 이미지 프레임에서 재투영된 오차를 획득하는 단계; 및

각각의 시각적 비콘의 각각의 특징점의 재투영 오차를 누적하여, 이미지 프레임에서 모든 시각적 비콘에 관한 모든 특징점의 재투영 제약 레지듀얼을 획득하는 단계를 포함한다.

선택 가능하게, 상기 이미지 프레임의 수는 복수 개이고;

상기 장치는, 이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득한 이후에,

현재 프레임에 비콘 이미지가 존재할 경우, 상기 프레임을 핵심 프레임으로 사용하는 조건;

현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 위치 수평 이동 편차가 설정된 수평 이동 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 조건;

현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 회전 편차가 설정된 회전 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 조건; 및

제1 프레임이 핵심 프레임인 조건; 중 어느 하나의 조건 또는 이들의 조합에 따라 복수의 이미지 프레임으로부터 핵심 프레임을 선별하기 위한 핵심 프레임 선별 모듈을 더 포함하되;

상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계는, 상기 타깃 측정 데이터에 기반하여 상기 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계를 포함하고;

상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼은,

상기 타깃 측정 데이터를 기반으로 획득된 상기 핵심 프레임에 관한 제1 타입 레지듀얼을 포함하며;

상기 제2 타입 레지듀얼은 상기 시각적 비콘의 특징점이 상기 핵심 프레임에서 재투영된 제약 레지듀얼이다.

본 발명은 시각적 비콘 기반의 비콘 맵 구축 전자 기기를 더 제공하며, 상기 전자 기기는 메모리 및 프로세서를 포함하되, 상기 메모리는 컴퓨터 프로그램을 저장하고; 상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여, 상기 시각적 비콘 기반의 비콘 맵 구축 방법을 구현한다.

메모리는 랜덤 액세스 메모리(Random Access Memory, RAM)를 포함할 수 있고, 적어도 하나의 디스크 메모리와 같은 비휘발성 메모리(Non-Volatile Memory, NVM)를 포함할 수도 있다. 선택적으로, 메모리는 또한 전술한 프로세서로부터 멀리 떨어진 적어도 하나의 저장 장치일 수 있다. 상술한 프로세서는 중앙 처리 장치(Central Processing Unit, CPU), 네트워크 프로세서(Network Processor, NP) 등을 포함하는 범용 프로세서일 수 있고; 또한, 디지털 신호 프로세싱(Digital Signal Processing, DSP), 전용 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그램 가능 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 다른 프로그램 가능 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트일 수 있다.

본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 본 발명에서 제공하는 시각적 비콘 기반의 비콘 맵 구축 방법의 단계를 구현한다.

본 발명의 실시예는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 본 발명에서 제공하는 시각적 비콘 기반의 비콘 맵 구축 방법을 구현한다.

장치/네트워크 측 기기/저장 매체 실시예의 경우, 기본적으로 방법 실시예와 유사하므로 설명이 비교적 간단하며 관련된 부분은 방법 실시예의 부분적 설명을 참조하면 된다.

본문에서, 제1 및 제2와 같은 관계 용어는 단지 하나의 엔티티 또는 동작을 다른 하나의 엔티티 또는 동작과 구분하기 위한 것일 뿐, 이러한 엔티티 또는 동작 사이에 어느 하나의 이러한 실제적인 관계 또는 순서가 존재하도록 반드시 요구하거나 암시하는 것은 아니다. 또한, 용어 “포괄”, “포함” 또는 어느 하나의 다른 변형은 비배타적인 포함을 포함하여 일련의 요소를 포함하는 과정, 방법, 물품 또는 기기가 그러한 요소를 포함할 뿐만 아니라, 명확하게 열거되지 않은 다른 요소를 더 포함하도록 하거나, 이러한 과정, 방법, 물품 또는 기기의 고유한 요소를 더 포함하도록 한다. 더 많이 제한되지 않는 한, 문구 “하나의 ... 을 포함하다”가 한정하는 요소는 상기 요소를 포함하는 과정, 방법, 물품 또는 기기 중에 별도의 동일한 요소가 더 존재하는 것을 배제하지 않는다.

이상 서술은 단지 본 발명의 비교적 바람직한 실시예일 뿐, 본 발명을 한정하려는 것이 아니며, 본 발명의 정신 및 원칙 이내에서 이루어진 모든 어느 하나의 수정, 등가 교체, 개선 등은 모두 본 발명의 보호 범위 이내에 포함되어야 한다.

Claims (16)

1. 시각적 비콘 기반의 비콘 맵 구축 방법으로서,
   이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하되; 상기 이미지 프레임은 사전 배치된 시각적 비콘에 대한 이미지 수집 과정에서 로봇이 수집한 이미지이고, 상기 타깃 측정 데이터는 상기 이미지 프레임이 수집되는 시각에 주행계 좌표계에서 상기 로봇의 로봇 본체의 포즈를 포함하는 단계;
   상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하되; 상기 제1 타입 포즈는 상기 이미지 프레임이 샘플링되는 시각에 세계 좌표계에서 로봇 본체의 포즈인 단계;
   상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하되; 상기 제2 타입 포즈는 세계 좌표계에서 상기 시각적 비콘의 포즈인 단계;
   상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼, 상기 타깃 검출 데이터를 기반으로 획득된 상기 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 상기 제2 타입 포즈의 최적화 결과를 획득하되; 상기 제1 타입 레지듀얼은 상기 이미지 프레임의 주행계에 관한 제약 레지듀얼이고, 상기 제2 타입 레지듀얼은 상기 시각적 비콘의 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼이며; 상기 제1 타입 포즈의 초기값은 상기 제1 타입 포즈의 초기화 결과이고, 상기 제2 타입 포즈의 초기값은 상기 제2 타입 포즈의 초기화 결과인 단계; 및
   획득한 상기 제2 타입 포즈의 최적화 결과에 기반하여 비콘 맵을 구축하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법.
2. 제1항에 있어서,
   상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하는 단계 이후에,
   상기 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하되; 상기 제3 타입 레지듀얼은 상기 이미지 프레임 중의 시각적 비콘의 국부적 위치에 관한 제약 레지듀얼인 단계;
   상기 제1 타입 레지듀얼 및 제3 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈 중의 전역 위치를 상태 변수로 사용하여 공동 최적화를 수행하여, 제1 타입 포즈의 초기 최적화 결과 및 상기 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 획득하되; 상기 제1 타입 포즈의 초기값은 상기 제1 타입 포즈의 초기화 결과이고, 상기 제2 타입 포즈 중 전역 위치의 초기값은 상기 제2 타입 포즈 중 전역 위치의 초기화 결과인 단계;
   상기 제1 타입 포즈의 초기 최적화 결과를 상기 제1 타입 포즈의 초기화 결과로 사용하는 단계; 및
   상기 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 상기 제2 타입 포즈 중 전역 위치의 초기화 결과로 사용하는 단계를 더 포함하고;
   상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 자세를 획득하는 방식은,
   상기 시각적 비콘이 최초로 관측되었을 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈 및 상기 타깃 검출 데이터에 기반하여, 상기 시각적 비콘에 대응되는 제2 타입 자세 중 전역 자세의 초기화 결과를 획득하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법.
3. 제2항에 있어서,
   상기 이미지 프레임의 수는 복수 개이고;
   상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈 중 전역 위치를 상태 변수로 사용하여 공동 최적화를 수행하여, 제1 타입 포즈의 초기 최적화 결과 및 상기 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 획득하는 단계는,
   각각의 제1 타입 레지듀얼 및 각각의 제3 타입 레지듀얼을 융합한 제1 타깃 함수를 구축하고, 각각의 제1 타입 포즈의 초기화 결과 및 각각의 제2 타입 포즈 중 전역 위치의 초기화 결과를 반복 초기값으로 사용하는 반복을 통해, 상기 제1 타깃 함수가 최소값일 때 각각의 제1 타입 포즈의 초기 최적화 결과 및 각각의 제2 타입 포즈 중 전역 위치의 초기 최적화 결과를 획득하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 이미지 프레임의 수는 복수 개이고;
   상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 상기 제2 타입 포즈의 최적화 결과를 획득하는 단계는,
   각각의 제1 타입 레지듀얼 및 각각의 제2 타입 레지듀얼을 융합한 제2 타깃 함수를 구축하고, 각각의 제1 타입 포즈의 초기화 결과 및 각각의 제2 타입 포즈의 초기화 결과를 반복 초기값으로 사용하는 반복을 통해, 상기 제2 타깃 함수가 최소값일 때 각각의 제2 타입 포즈의 최적화 결과를 획득하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법.
5. 제4항에 있어서,
   상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼의 획득 과정은,
   각각의 이미지 프레임에 대해, 상기 타깃 측정 데이터를 기반으로 상기 이미지 프레임과 이의 인접한 이미지 프레임 사이의 제1 타입 상대 포즈 및 제2 타입 상대 포즈를 획득하되; 상기 제1 타입 상대 포즈 및 제2 타입 상대 포즈는 모두, 인접한 이미지 프레임이 수집되는 시각에 대한 상기 이미지 프레임이 수집되는 시각에 로봇 본체의 변화 포즈이고; 상기 제1 타입 상대 포즈는 상기 제1 타입 포즈의 상태 변수를 기반으로 결정되며 상기 제2 타입 상대 포즈는 상기 타깃 측정 데이터를 기반으로 결정되는 단계;
   상기 제1 타입 상대 포즈 및 제2 타입 상대 포즈의 차이에 의해, 상기 이미지 프레임에 관한 제1 타입 레지듀얼을 산출하는 단계; 및
   각각의 상기 이미지 프레임에 관한 제1 타입 레지듀얼을 누적하여 모든 상기 이미지 프레임에 관한 제1 타입 레지듀얼을 획득하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법.
6. 제4항에 있어서,
   상기 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 과정은,
   각각의 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 이미지 프레임에 대응되는 카메라 좌표계에서 상기 시각적 비콘의 국부적 위치와 상기 시각적 비콘의 관측된 측정값 사이의 차이를 획득하여, 상기 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 단계; 및
   각각의 시각적 비콘에 관한 제3 타입 레지듀얼을 누적하여, 모든 시각적 비콘에 관한 제3 타입 레지듀얼을 획득하는 단계를 포함하되;
   상기 이미지 프레임에 대응되는 카메라 좌표계에서 상기 시각적 비콘의 국부적 위치는 상기 시각적 비콘에 대응되는 카메라 외부 파라미터 포즈, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 벡터 및 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 현재 상태 벡터에 의해 획득되고; 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 벡터는 첫 번째 반복에서 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과이며; 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 현재 상태 벡터는 첫 번째 반복에서 상기 시각적 비콘에 대응되는 제2 타입 포즈 중 전역 위치의 초기화 결과의 벡터인 시각적 비콘 기반의 비콘 맵 구축 방법.
7. 제4항에 있어서,
   상기 타깃 검출 데이터를 기반으로 획득된 상기 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼의 결정 과정은,
   각각의 이미지 프레임에 대해, 상기 이미지 프레임 중 각각의 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수 및 상기 타깃 검출 데이터에 따라, 상기 이미지 프레임 중 모든 시각적 비콘의 모든 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼을 획득하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법.
8. 제7항에 있어서,
   상기 각각의 이미지 프레임에 대해, 상기 이미지 프레임 중 각각의 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수 및 상기 타깃 검출 데이터에 따라, 상기 이미지 프레임 중 모든 시각적 비콘의 모든 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼을 획득하는 단계는,
   각각의 이미지 프레임 중의 어느 하나의 시각적 비콘이 갖는 어느 하나의 특징점에 대해, 카메라 내부 파라미터 행렬, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 현재 상태 변수, 상기 시각적 비콘에 대응되는 제2 타입 포즈의 현재 상태 변수, 및 비콘 좌표계에서 상기 특징점의 국부적 위치의 투영 함수와 상기 특징점의 이미지 좌표의 측정값 사이의 차이에 따라, 상기 시각적 비콘 중 상기 특징점이 그 이미지 프레임에서 재투영된 오차를 획득하는 단계; 및
   각각의 시각적 비콘의 각각의 특징점의 재투영 오차를 누적하여, 이미지 프레임에서 모든 시각적 비콘에 관한 모든 특징점의 재투영 제약 레지듀얼을 획득하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법.
9. 제1항에 있어서,
   상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계는,
   주행계 좌표계에서 상기 이미지 프레임이 수집되는 시각에 상기 로봇의 로봇 본체의 포즈를 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과로 사용하는 단계를 포함하고;
   상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하는 단계는,
   상기 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈 및 상기 타깃 검출 데이터를 통해, 세계 좌표계에서 상기 시각적 비콘의 위치의 초기화 결과 및 세계 좌표계에서 상기 시각적 비콘의 자세의 초기화 결과를 각각 획득하는 단계를 포함하며;
   상기 시각적 비콘 검출 데이터는 카메라 좌표계에 대한 시각적 비콘의 국부적 포즈로부터 획득된 시각적 비콘의 관측된 측정값을 포함하고;
   카메라 좌표계에 대한 상기 시각적 비콘의 국부적 포즈는 시각적 비콘 중 특징점의 이미지 좌표, 카메라 내부 파라미터 및 비콘 파라미터에 따라 획득되며;
   상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈는, 카메라가 상기 시각적 비콘이 속한 이미지 프레임을 획득할 때 카메라 포즈인 시각적 비콘 기반의 비콘 맵 구축 방법.
10. 제9항에 있어서,
    상기 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈 및 상기 타깃 검출 데이터를 통해, 세계 좌표계에서 상기 시각적 비콘의 위치의 초기화 결과 및 세계 좌표계에서 상기 시각적 비콘의 자세의 초기화 결과를 각각 획득하는 단계는,
    상기 이미지 프레임 중 어느 하나의 시각적 비콘에 대해, 상기 이미지 프레임에 대응되는 제1 타입 포즈의 벡터, 카메라 외부 파라미터의 포즈 벡터 및 관측된 측정값의 벡터에 따라, 세계 좌표계에서 상기 시각적 비콘의 위치의 초기화 결과를 획득하고; 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 제1 타입 포즈의 벡터 및 카메라 외부 파라미터의 포즈 벡터에 기반하여, 상기 시각적 비콘이 최초로 관측될 때 상기 시각적 비콘이 속한 이미지 프레임에 대응되는 카메라 포즈를 획득하는 단계; 및
    로봇 본체 좌표계의 전역 회전 벡터, 카메라 외부 파라미터의 회전 벡터, 카메라 좌표계에서 상기 시각적 비콘의 국부적 회전 벡터에 따라, 세계 좌표계에서 상기 시각적 비콘의 자세의 초기화 결과를 획득하는 단계를 포함하되;
    상기 로봇 본체 좌표계의 전역 회전 벡터는 상기 제1 타입 포즈의 초기화 결과로부터 획득되며,
    상기 카메라 외부 파라미터의 회전 벡터는 상기 카메라 외부 파라미터의 포즈로부터 획득되고,
    카메라 좌표계에서 상기 시각적 비콘의 국부적 회전 벡터는 카메라 좌표계에 대한 상기 시각적 비콘의 국부적 포즈로부터 획득되는 시각적 비콘 기반의 비콘 맵 구축 방법.
11. 제4항에 있어서,
    상기 이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하는 단계는,
    구축될 비콘 맵의 물리적 환경에 배치된 각각의 시각적 비콘의 이미지를 적어도 1회 수집하여, 이미지 프레임을 적어도 포함하는 타깃 검출 데이터를 획득하는 단계; 및
    이미지 프레임을 수집하는 동일한 시각에 타깃 측정 데이터를 측정하는 단계를 포함하는 시각적 비콘 기반의 비콘 맵 구축 방법.
12. 제1항에 있어서,
    상기 이미지 프레임의 수는 복수 개이고;
    상기 이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하는 단계 이후에,
    현재 프레임에 비콘 이미지가 존재할 경우, 상기 프레임을 핵심 프레임으로 사용하는 조건;
    현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 위치 수평 이동 편차가 설정된 수평 이동 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 조건;
    현재 프레임의 주행계에 관한 측정과 기존의 핵심 프레임의 주행계에 관한 측정 사이의 회전 편차가 설정된 회전 임계값보다 클 경우, 현재 프레임을 핵심 프레임으로 사용하는 조건; 및
    제1 프레임이 핵심 프레임인 조건; 중 어느 하나의 조건 또는 이들의 조합에 따라 복수의 이미지 프레임으로부터 핵심 프레임을 선별하는 단계를 더 포함하고,
    상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계는, 상기 타깃 측정 데이터에 기반하여 상기 핵심 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하는 단계를 포함하며;
    상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼은,
    상기 타깃 측정 데이터를 기반으로 획득된 상기 핵심 프레임에 관한 제1 타입 레지듀얼을 포함하고;
    상기 제2 타입 레지듀얼은 상기 시각적 비콘의 특징점이 상기 핵심 프레임에서 재투영된 제약 레지듀얼인 시각적 비콘 기반의 비콘 맵 구축 방법.
13. 시각적 비콘 기반의 비콘 맵 구축 장치로서,
    이미지 프레임을 적어도 포함하는 타깃 검출 데이터 및 타깃 측정 데이터를 획득하되; 상기 이미지 프레임은 사전 배치된 시각적 비콘에 대한 이미지 수집 과정에서 로봇이 수집한 이미지이고, 상기 타깃 측정 데이터는 상기 이미지 프레임이 수집되는 시각에 주행계 좌표계에서 상기 로봇의 로봇 본체의 포즈를 포함하는 데이터 수집 모듈;
    상기 타깃 측정 데이터에 기반하여 상기 이미지 프레임에 대응되는 제1 타입 포즈의 초기화 결과를 획득하되; 상기 제1 타입 포즈는 상기 이미지 프레임이 샘플링되는 시각에 세계 좌표계에서 로봇 본체의 포즈이고; 상기 타깃 검출 데이터에 기반하여 상기 시각적 비콘에 대응되는 제2 타입 포즈의 초기화 결과를 획득하되; 상기 제2 타입 포즈는 세계 좌표계에서 상기 시각적 비콘의 포즈인 초기화 모듈;
    상기 타깃 측정 데이터를 기반으로 획득된 상기 이미지 프레임에 관한 제1 타입 레지듀얼, 상기 타깃 검출 데이터를 기반으로 획득된 상기 이미지 프레임 및 시각적 비콘에 관한 제2 타입 레지듀얼에 대해, 상기 제1 타입 포즈를 상태 변수로 사용하고 상기 제2 타입 포즈를 상태 변수로 사용하여 공동 최적화를 수행하여, 상기 제2 타입 포즈의 최적화 결과를 획득하되; 상기 제1 타입 레지듀얼은 상기 이미지 프레임의 주행계에 관한 제약 레지듀얼이고, 상기 제2 타입 레지듀얼은 상기 시각적 비콘의 특징점이 상기 이미지 프레임에서 재투영된 제약 레지듀얼이며; 상기 제1 타입 포즈의 초기값은 상기 제1 타입 포즈의 초기화 결과이고, 상기 제2 타입 포즈의 초기값은 상기 제2 타입 포즈의 초기화 결과인 제1 공동 최적화 모듈; 및
    획득한 상기 제2 타입 포즈의 최적화 결과에 기반하여 비콘 맵을 구축하는 맵 구축 모듈을 포함하는 시각적 비콘 기반의 비콘 맵 구축 장치.
14. 시각적 비콘 기반의 비콘 맵 구축 전자 기기로서,
    상기 전자 기기는 메모리 및 프로세서를 포함하되, 상기 메모리는 컴퓨터 프로그램을 저장하고; 상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여 제1항 내지 제12항 중 어느 한 항에 따른 시각적 비콘 기반의 비콘 맵 구축 방법을 구현하는 전자 기기.
15. 컴퓨터 판독 가능 저장 매체로서,
    상기 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 제1항 내지 제12항 중 어느 한 항에 따른 시각적 비콘 기반의 비콘 맵 구축 방법을 수행하는 컴퓨터 판독 가능 저장 매체.
16. 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 제1항 내지 제12항 중 어느 한 항에 따른 시각적 비콘 기반의 비콘 맵 구축 방법을 구현하는 컴퓨터 프로그램.

Images