KR20230158498A

KR20230158498A - 원격 제어기 및 ar 안경을 사용하여 드론을 비행시키는 조작자를 보조하는 장치, 방법 및 소프트웨어

Info

Publication number: KR20230158498A
Application number: KR1020237031900A
Authority: KR
Inventors: 한누 레소넨; 라시 임모넨
Original assignee: 아나키 랩스 오와이
Priority date: 2021-02-19
Filing date: 2022-02-17
Publication date: 2023-11-20
Also published as: US11669088B2; EP4047434A1; EP4047434C0; PL4047434T3; EP4047434B1; ES2970543T3; EP4273656A2; US20220269266A1; JP2024516480A; WO2022175379A1; US20220269267A1; US11409280B1; EP4273656A3; CN117222955A

Abstract

원격 제어기(150)를 사용하여 인간 조작자(120)가 드론(160)을 비행시키는 것을 보조하기 위한 장치(100), 방법 및 소프트웨어. 장치(100)는 원격 제어기(150)로부터 데이터를 수신하도록 구성된 내부 데이터 통신 인터페이스(108), 데이터를 디스플레이하도록 구성된 증강 현실 디스플레이(112), 컴퓨터 프로그램 코드(106)를 포함하는 하나 이상의 메모리들(104), 및 하나 이상의 프로세서들(102)을 포함하여, 장치(100)로 하여금 인간 조작자(120)가 드론(160)을 향해 보고 있는(204) 동안 드론(160)의 위치를 나타내는 타겟 심볼(200)을 증강 현실 디스플레이(112) 상에 중첩시키고; 인간 조작자(120)가 드론(160)을 향해 보고 있는(204) 동안 드론(160)의 배향을 나타내는 배향 심볼(202)을 증강 현실 디스플레이(112) 상에 중첩시키게 한다.

Description

원격 제어기 및 AR 안경을 사용하여 드론을 비행시키는 오퍼레이터를 보조하는 장치, 방법 및 소프트웨어

다양한 실시예들은 원격 제어기를 사용하여 인간 조작자가 드론을 비행시키는 것을 보조하기 위한 장치, 원격 제어기를 사용하여 인간 조작자가 드론을 비행시키는 것을 보조하기 위한 방법, 및 하나 이상의 프로세서들에 의해 실행될 때, 이 방법의 수행을 야기하는 컴퓨터 프로그램 코드를 포함하는 컴퓨터판독가능 매체에 관한 것이다.

(지상 기반) 인간 조작자는 원격 제어기를 사용하여 드론(또는 무인 항공기, UAV)을 비행시킨다(때때로 오토파일럿에 의해 적어도 부분적으로 보조됨).

인간 조작자는 동시에 공중에 있는 드론을 바라보고, 핸드헬드 원격 제어기를 조작하고, 때때로 원격 제어기의 디스플레이를 바라보아야 한다. 이는 상황 인식의 저하로 이어져서 잠재적으로 위험한 상황들을 야기한다.

법적 요건은 인간 조작자가 공중에 있는 드론에 대해 (가시선에 의해) 시각적 접촉을 유지해야 한다는 것이다. 이것은 드론이, 예를 들어, 긴 거리, 낮은 주변광, 또는 물리적 장애물로 인해 보이지 않을 수 있기 때문에 상당히 도전적이다.

이러한 문제들은 심지어 쌍안경들을 사용하더라도 다른 사람, 소위 스포터(spotter)가 드론에 대한 시각적 접촉을 유지하는 한편, 인간 조작자는 원격 제어기를 조작하는 것에 집중하는 것에 의해 완화될 수 있다(그러나 때때로 원격 제어기의 디스플레이를 여전히 확인해야할 필요가 있을 수 있다). 당연히 이러한 셋업은 인간 조작자와 스포터에게 좋은 의사소통 능력이 필요하다. 또한, 수작업이 2배가 되어 드론의 운영 비용이 증가하게 된다.

US 2018/0196425 A1, US 2019/0077504 A1, 및 US 2019/0049949 A1은 드론을 비행시킬 때 헤드 마운트 디스플레이의 사용과 관련된 다양한 양태들을 개시한다.

일 양태에 따르면, 독립항들의 청구물이 제공된다. 종속항들은 일부 실시예들을 정의한다.

구현들의 하나 이상의 예들은 첨부 도면들 및 실시예들의 설명에서 더 상세히 설명된다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다
도 1a 및 도 1b는 원격 제어기를 사용하여 드론을 비행시킬 때 인간 조작자를 보조하기 위한 장치의 실시예들을 예시한다.
도 2 및 도 3은 장치의 증강 현실 디스플레이에 의해 제공되는 뷰들의 실시예들을 도시한다.
도 4, 도 5, 도 6, 도 7, 도 8 및 도 9는 드론의 배향의 실시예들을 도시한다.
도 10, 도 11 및 도 12는 드론과 관련하여 장애물을 시각화하는 실시예들을 도시한다.
도 13은 드론과 관련하여 웨이포인트를 시각화하는 실시예들을 도시한다.
도 14 및 도 15는 드론에 의해 캡처된 데이터를 시각화하는 실시예들을 도시한다.
도 16 및 도 17은 드론의 비행과 관련된 맵들을 시각화하는 실시 예들을 도시한다.
도 18 및 도 19는 장치의 메뉴 구조들을 시각화하는 실시예들을 도시한다.
도 20, 도 21 및 도 22는 드론의 물리적 환경과 관련된 외부 데이터를 시각화하는 실시예들을 도시한다.
도 23, 도 24, 도 25, 도 26 및 도 27은 상이한 가시성들 동안 드론에 대한 가시선을 시각화하는 실시예들을 도시한다.
도 28 및 도 29는 2개의 장치들을 포함하는 시스템의 실시예들을 도시한다.
도 30은 원격 제어기를 사용하여 드론을 비행시킬 때 인간 조작자를 보조하기 위한 방법의 실시예들을 도시하는 흐름도이다.

실시예들의 설명

다음의 실시예들은 단지 예들일 뿐이다. 본 명세서는 몇몇 위치들에서 "일" 실시예를 지칭할 수 있지만, 이는 각각의 그러한 참조가 동일한 실시예(들)에 대한 것이거나, 특징부가 단일 실시예에만 적용된다는 것을 반드시 의미하는 것은 아니다. 상이한 실시예들의 단일 특징들은 또한 다른 실시예들을 제공하기 위해 결합될 수 있다. 또한, "구비하는(comprising)" 및 "포함하는(including)"이라는 단어들은 설명된 실시예들을 언급된 특징들로만 구성되도록 제한하지 않는 것으로 이해되어야 하고, 이러한 실시예들은 또한 구체적으로 언급되지 않은 특징들/구조들을 포함할 수 있다.

실시예들의 설명 및 특허청구범위 둘 모두에서, 참조 번호들은 단지 이러한 예들로 제한하지 않고 도면들을 참조하여 실시예들을 예시하는 역할을 한다.

독립항들의 범위에 속하지 않는 다음의 설명에 개시된 실시예들 및 특징들은, 있다면, 본 발명의 다양한 실시예들을 이해하는데 유용한 예들로서 해석되어야 한다.

원격 제어기(150)를 사용하여 드론(160)을 비행시킬 때 인간 조작자(또는 파이로트(pilot))(120)를 보조하기 위한 장치(100)의 단순화된 블록도를 도시하는 도 1a를 설명한다. 드론(160)은 UAV(unmanned aerial vehicle)로도 알려져 있다. UAS(unmanned aircraft system)는 드론(또는 UAV)(160), (지상 기반) 원격 제어기(150), 및 원격 제어기(150)와 드론(160) 사이의 무선 통신 시스템(152)을 포함하는 것으로 정의될 수 있다.

이와 동시에, 도 30은 인간 조작자(120)가 원격 제어기(150)를 이용하여 드론(160)을 비행시키는 것을 보조하는 방법의 실시예들을 나타낸 흐름도이다.

이 방법은 3000에서 시작하여 3010에서 종료된다. 이 방법은 동작(3002)으로 루프 백(looping back)함으로써 (장치(100)의 시동 후 스위칭 오프까지) 요구되는 만큼 오래 실행될 수 있다는 점에 유의한다.

동작들은 도 30에서 시간적인 순서로 엄격하지 않으며, 동작들 중 일부는 동시에 또는 주어진 동작들과 상이한 순서로 수행될 수 있다. 다른 기능들이 또한 동작들 사이에서 또는 동작들 내에서 실행될 수 있고 이들 동작들 사이에서 다른 데이터가 교환될 수 있다. 몇몇 동작들 또는 동작들의 일부는 또한 생략되거나 대응하는 동작 또는 그 동작의 일부로 대체될 수 있다. 처리 명령에 대한 논리적 요건들로 인해 필요한 경우를 제외하고는 동작들의 특별한 순서는 필요하지 않음은 물론이다.

장치(100)는 원격 제어기(150)로부터 비행과 관련된 데이터를 수신(3002)하도록 구성된 내부 데이터 통신 인터페이스(108)를 포함한다. 비행과 관련된 데이터는 드론(160)의 텔레메트리 데이터를 포함할 수 있다. 비행과 관련된 데이터는 자이로스코프 및 자력계와 같은 센서 판독들, 각속도, 속도, 고도 및 글로벌 위치와 같은 융합 데이터, 배터리, 짐벌(gimbal) 및 비행 상태와 같은 항공기 정보 등을 포함할 수 있지만, 이에 제한되지 않는다. 드론 환경에 따라, 일부 데이터는 또한 드론(160)으로부터 직접 장치(100)에 의해 수신될 수 있다.

내부 데이터 통신 인터페이스(108)는 원격 제어기(150)의 무선 송수신기와 통신하도록 구성된 무선 송수신기를 사용하여 구현될 수 있다. 내부 데이터 통신 인터페이스(108)에 대한 기술들은 IEEE 802.11ac 표준 또는 Wi-Fi 프로토콜 스위트를 사용하여 구현되는 무선 로컬 영역 네트워크(WLAN), 블루투스 또는 블루투스 LE(Low Energy)와 같은 단거리 무선 네트워크, 가입자 식별 모듈(SIM) 또는 eSIM(임베디드 SIM)을 사용하는 셀룰러 무선 네트워크, 또는 다른 표준 또는 독점 (proprietary)무선 접속 수단 중 하나 이상을 포함하지만, 이에 제한되지 않는다. 일부 사용 사례들에서, 내부 데이터 통신 인터페이스(108)는 추가적으로 또는 대안적으로, 예를 들어, 적용가능한 버스와 같은 표준 또는 독점 유선 접속을 이용할 수 있다는 점에 유의한다. 일 실시예는 USB(Universal Serial Bus) 표준에 따른 유선 연결을 이용한다.

장치(100)는 또한 인간 조작자(120)에게 비행과 관련된 데이터를 디스플레이(3004)하도록 구성된 증강 현실(AR) 디스플레이(112)를 포함한다. 도 2 내지 도 29로부터의 도면들은 특정 실시예들을 도시하지만, 이들 외에도, 비행과 관련된 다양한 통지들 및 상태들이 증강 현실 디스플레이(112) 상에 도시될 수 있다는 것에 유의한다.

이들 도면들에서, 증강 현실 디스플레이(112)는 헤드 밴드가 부착된(또는 헬멧이 장착된) 헤드 장착형 디스플레이로서 구현되고, 인간 조작자(120)에 의해 눈 앞에 바이저로서 착용된다. 이들 도면들에서, 증강 현실 디스플레이(112)는 홀로그래픽 영상들이 표시되는 시스루 디스플레이(see through display)로 구현된다. 대안적인 실시예에서, 증강 현실 디스플레이(112)는 카메라를 이용하여 실세계 뷰를 인터셉트하고 투영(projection)으로서 실세계의 증강 뷰를 디스플레이할 수 있다.

일 실시예에서, 장치(100)는 증강 현실 디스플레이(112)로서 시스루 홀로그래픽 렌즈들을 채용하는 Microsoft® HoloLens® 2(또는 이후 버전) 혼합 현실 스마트글래스을 사용하여 구현되어, 완전한 개발 환경을 제공한다. 이어서, 헤드장착 장치(100)는 필요한 프로세서들(시스템 온 칩, 맞춤형 홀로그래픽 처리 유닛 및 코프로세서를 포함함)(102), 메모리들(104) 및 소프트웨어(106), 심도 카메라, 비디오 카메라, 프로젝션 렌즈들, 관성 측정 유닛(가속도계, 자이로스코프 및 자력계를 포함함), 무선 접속 유닛(108, 110), 및 재충전 가능한 배터리를 포함한다. 이들 부분들 중 일부는 도 1에 도시되지 않았음에 유의한다. 이러한 기성 환경은, 예를 들어, 실세계와 증강 현실을 함께 융합하고 인간 조작자(120)의 머리 및 눈 움직임들을 추적하는 것과 관련된 기본 동작들을 제공하도록 구성된 증강 현실 엔진(144)을 제공한다.

그러나, 증강 현실 이미징을 갖는 안경, 헤드업 디스플레이, 콘택트 렌즈 등을 포함하지만 이에 제한되지 않는 증강 현실 디스플레이(112)의 다른 적용 가능한 구현들이 또한 사용될 수 있다. 본 실시예들의 목적들을 위해, 증강 현실 디스플레이(112)는 컴퓨터-생성 지각 정보에 의해 강화된 실세계 비행 환경(210) 및 드론(160)의 대화형 실시간 경험을 제공하도록 구성된다. 비행과 관련된 데이터는 자연 환경(210) 및 드론(160)에 추가하여 중첩(또는 오버레이)된다.

장치(100)는 또한 컴퓨터 프로그램 코드(106)를 포함하는 하나 이상의 메모리(104), 및 장치(100)가 필요한 데이터 처리를 수행하게 하기 위해 컴퓨터 프로그램 코드(106)를 실행하도록 구성된 하나 이상의 프로세서(102)를 포함한다. 장치(100)에 의해 수행되는 데이터 처리는 방법 또는 알고리즘(130)으로 해석될 수 있다.

용어 ‘프로세서’(102)는 데이터를 처리할 수 있는 디바이스를 의미한다. 일 실시예에서, 프로세서(102)는 집적 회로 상의 중앙 처리 유닛(CPU)의 기능들을 구현하는 마이크로프로세서로서 구현된다. CPU는 컴퓨터 프로그램 코드(106)를 실행하는 로직 머신이다. CPU는 레지스터들의 세트, 산술 논리 유닛(ALU), 및 제어 유닛(CU)을 포함할 수 있다. 제어 유닛은 (작업) 메모리(104)로부터 CPU로 전송되는 컴퓨터 프로그램 코드(106)의 시퀀스에 의해 제어된다. 제어 유닛은 기본 동작을 위한 다수의 마이크로명령어들을 포함할 수 있다. 마이크로명령어들의 구현은 CPU 설계에 따라 달라질 수 있다. 하나 이상의 프로세서들(102)은 단일 프로세서들의 코어들로서 및/또는 별개의 프로세서들로서 구현될 수 있다.

용어 ‘메모리’(104)는 데이터를 런타임(= 워킹 메모리) 또는 영구적으로(= 비휘발성 메모리) 저장할 수 있는 디바이스를 의미한다. 워킹 메모리 및 비휘발성 메모리는 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 정적 RAM(SRAM), 플래시 메모리, 솔리드 스테이트 디스크(SSD), PROM(프로그램가능 판독 전용 메모리), 적합한 반도체, 또는 전기 컴퓨터 메모리를 구현하는 임의의 다른 수단에 의해 구현될 수 있다.

컴퓨터 프로그램 코드(106)는 소프트웨어에 의해 구현된다. 일 실시예에서, 소프트웨어는 적합한 프로그래밍 언어에 의해 기록될 수 있고, 결과적인 실행가능 코드는 메모리(104)에 저장되고 하나 이상의 프로세서(102)에 의해 실행될 수 있다.

컴퓨터 프로그램 코드(106)는 방법/알고리즘(130)을 구현한다. 컴퓨터 프로그램 코드(102)는, 예를 들어, C, C++, 또는 Rust와 같은 고레벨 프로그래밍 언어일 수 있는 프로그래밍 언어를 사용하여 컴퓨터 프로그램(또는 소프트웨어)으로서 코딩될 수 있다. 컴퓨터 프로그램 코드(106)는 소스 코드 형태, 객체 코드 형태, 실행 파일, 또는 일부 중간 형태일 수 있지만, 하나 이상의 프로세서(102)에서 사용하기 위해 애플리케이션(140)으로서 실행 가능한 형태이다. 컴퓨터 프로그램 코드(106)를 구성하는 많은 방법들이 있다: 동작들은 소프트웨어 설계 방법론 및 사용된 프로그래밍 언어에 따라 모듈들, 서브루틴들, 방법들, 클래스들, 객체들, 애플릿들, 매크로들 등으로 분할될 수 있다. 현대 프로그래밍 환경들에서, 매우 다양한 표준 동작들을 수행하기 위해 컴퓨터 프로그램 코드(106)에 의해 이용될 수 있는 소프트웨어 라이브러리들, 즉 기성(ready-made) 함수들의 컴파일들(compilations)이 존재한다. 또한, 운영 체제(예컨대, 범용 운영 체제)는 컴퓨터 프로그램 코드(106)에 시스템 서비스들을 제공할 수 있다.

실시예는, 하나 이상의 프로세서들(102)에 로딩되고 하나 이상의 프로세서들(102)에 의해 실행될 때, 하나 이상의 프로세서들(102)로 하여금 도 30에 설명된 방법/알고리즘(130)을 수행하게 하는 컴퓨터 프로그램 코드(106)를 저장하는 컴퓨터 판독가능 매체(170)를 제공한다. 컴퓨터판독가능 매체(170)는 적어도 다음을 포함할 수 있다: 컴퓨터 프로그램 코드(106)를 하나 이상의 프로세서들(102)에 전달할 수 있는 임의의 엔티티 또는 디바이스, 기록 매체, 컴퓨터 메모리, 판독전용 메모리, 전기 캐리어 신호, 전기통신 신호, 및 소프트웨어 분배 매체. 일부 관할들에서, 법률 및 특허 관행에 따라, 컴퓨터 판독가능 매체(170)는 전기통신 신호가 아닐 수 있다. 일 실시예에서, 컴퓨터 판독가능 매체(170)는 컴퓨터 판독가능 저장 매체일 수 있다. 일 실시예에서, 컴퓨터 판독가능 매체(170)는 비일시적 컴퓨터 판독가능 저장 매체일 수 있다.

도 1a 및 도 1b에 도시된 바와 같이, 컴퓨터 판독가능 매체(170)는 장치(100)에 대한 실행가능한 애플리케이션(140)으로서, 그리고 원격 제어기(150)가 장치(100)에 비행과 관련된 데이터를 송신하기 위한 실행가능한 애플리케이션(142)으로서 컴퓨터 프로그램 코드(160)를 반송할 수 있다. DJI®와 같은 전형적인 드론 환경에서, 소프트웨어 개발 키트는 애플리케이션(142)이 원격 제어기(150)와 인터페이싱하도록 사용될 수 있다.

도 1a는 증강 현실 디스플레이(112), 컴퓨터 프로그램 코드(106)를 포함하는 하나 이상의 메모리(104), 및 하나 이상의 프로세서(102)를 포함하는 통합된 유닛으로서 장치(100)를 예시한다.

그러나, 도 1b에 예시된 바와 같이, 장치(100)는 또한 인간 조작자(120)가 증강 현실 디스플레이(112)를 제공받도록, 그러나 증강 현실 디스플레이(112) 및 원격 제어기(150)와 통신가능하게 커플링되고, 컴퓨터 프로그램 코드(106)를 포함하는 하나 이상의 메모리(104) 및 하나 이상의 프로세서(102)를 포함하는, 별도의 처리 부분(180)을 갖는 분산형 장치(100)로서 구현될 수 있다. 이는 처리 부분(180)이 인간 조작자(120)에 의해 휴대되는 스마트폰, 태블릿 컴퓨터 또는 휴대용 컴퓨터와 같은 사용자 장치가 되도록 구현될 수 있고, 통신 커플링은 유선 또는 무선일 수 있다. 다른 구현은 처리 부분(180)이 클라이언트-서버 아키텍처, 클라우드 컴퓨팅 아키텍처, 피어-투-피어 시스템, 또는 다른 적용가능한 분산 컴퓨팅 아키텍처에 따라 증강 현실 디스플레이(112)와 상호동작하는 네트워크화된 컴퓨터 서버인 것이다.

도 2 및 도 3은 장치(100)의 증강 현실 디스플레이(112)에 의해 제공되는 뷰들의 실시예들을 도시한다. 도 2 내지 도 29의 모든 도면들은 2개의 상이한 시각적 각도들의 조합으로서 각각의 사용 경우를 예시한다는 것에 유의한다.

도 2 및 도 3을 보다 구체적으로 살펴본다. 도시된 바와 같이, 제1 시각적 각도는 비행을 예시한다: 인간 조작자(120)는 원격 제어기(150)를 동작시키고, 장치(100)를 통해, 또는, 더 정확하게 표현하여, 장치(100)의 증강 현실 디스플레이(112)를 통해 공중(210)에서 드론(160)을 관찰(또는, 주시(look away))(204) 한다. 도시된 바와 같이, 제2 시각적 각도는 증강 현실 디스플레이(112) 상에 나타낸 요소들(200, 202)을 도시한다.

이러한 설명은 도 2로부터 도 29까지의 모든 도면들에서 사용된다: 점선 화살표(204)는 인간 조작자(120)가 공중에서 드론(160)을 향해, 일반적으로 향하여 보고 있는 방향을 도시하지만, 일부 사용 경우들에서, 인간 조작자(120)는 지면을 향하는 것과 같은 다른 방향을 향해 보고 있고, 시선의 방향은 참조 부호들(600, 1404, 1706, 1804, 2602)에 의해 지칭되는 점선 화살표들로 표시된다. 그러나, 실세계 뷰를 인터셉트하고 투영으로서 실세계의 증강 뷰를 디스플레이하기 위해 카메라들을 사용하는 이전에 언급된 대안적인 실시예에서, 증강 현실 디스플레이(112)를 향한 시선의 방향은 카메라들의 캡처 방향과 상이할 수 있다. 예를 들어, 비행 위치를 용이하게 하기 위해, 인간 조작자(120)는 하늘을 응시하기 위해 머리를 기울일 필요가 없지만, 카메라들은 위로 기울어진다.

모든 설명된 실시예들에서, 인간 조작자(120)는 지상(500)에 서있고, 드론(160)은 공중(210)에서 비행하고 있다는 것에 유의한다. 그러나, 실시예들은 지하 동굴에서, (건물 또는 터널과 같은) 인공 구조물 내부에서, 또는 심지어 드론(160)이 인간 조작자(120) 아래로 비행하고 있는, 즉 인간 조작자(120)가 드론(160)을 향해 보고 있는(204) 반면 위가 아닌 아래를 보고 있는 그러한 사용 경우들에서도 드론(160)을 비행시키는 것과 같은 다른 종류의 환경들에 또한 적용가능하다. 그러한 사용 사례에서, 인간 조작자(120)는 높은 플랫폼(예를 들어, 초고층 건물 또는 산) 상에 서있을 수 있고, 드론(160)은 (예를 들어, 거리들 위 또는 밸리 내에서) 그 아래로 비행하고 있다. 실시예들은 또한 잠수된 드론(160)을 비행시키는 데 적용될 수 있으며, 즉 드론(160)은 무인 수중 차량(UUV)이고, 인간 조작자(120)는 예를 들어 드론이 강, 호수, 바다, 물로 채워진 광산 또는 터널 등에서 수중에 있는 동안 육지로부터 또는 선박으로부터 드론(160)을 조작할 수 있다.

어떻게 보면, 도 2에서 도 29까지의 모든 도면들은 실세계의 위에 증강 현실을 예시하는 하이브리드들이다. 실세계는 외부 뷰(실세계의 외부로부터 사용 사례를 관찰하는 다른 사람의 뷰와 같음)로부터 예시되는 반면, 증강 현실 디스플레이(112)는 인간 조작자(120)의 제1 사람 뷰로부터 예시된다.

이제 도 2 및 도 3으로 복귀한다. 일 실시예에서, 장치(100)는 인간 조작자(120)가 (UAV의 경우 공중(210)에서의) 드론(160)을 향해보고 있는(204) 동안 (UAV의 경우 공중(210)에서의) 드론(160)의 위치를 나타내는 타겟 심볼(200)을 증강 현실 디스플레이(112) 상에 중첩하게 된다(3006). 일 실시예에서, 장치는 또한 인간 조작자(120)가 (UAV의 경우 공중(210)에서의) 드론(160)을 향해 보고 있는(204) 동안 (UAV의 경우 공중(210)에서의) 드론(160)의 배향을 나타내는 배향 심볼(202)을 증강 현실 디스플레이(112) 상에 중첩하게 된다(3008).

증강 현실 디스플레이(112)의 사용은 비행 동안 인간 조작자(120)가 공중(210)에서의 드론(160)을 향해 볼(204) 수 있게 한다. 이는 스포터(spotter)를 필요로 하지 않고 비행에 관한 인간 조작자(120)의 상황 인식을 개선한다. 인간 조작자는 공중(210)에서의 드론(160)에 대한 (가시선(line of sight)에 의한) 시각적 접촉을 유지하지만, 또한 설명되는 바와 같이 실제의 정확한 세계 위치들에서의 항공 데이터를 동시에 보여준다.

타겟 심볼(200)은 공중(210)에서의 드론(160)의 위치를 나타내므로, 비행 중에 인간 조작자(120)가 드론(160)을 추적하기 용이하다. 일 실시예에서, 타겟 심볼(200)은 도시된 바와 같이 레티클이다. 레티클(200)은 총기의 조준경(telescopic sight)에서 흔히 사용된다. 레티클(200)은 도 3에 도시된 바와 같이 원(300) 및 부분 십자선(302)의 조합을 포함할 수 있지만, 또한 도트들, 포스트들, 셰브론들 등과 같은 다른 패턴들이 사용될 수 있다.

배향 심볼(202)은 공중(210)에서의 드론(160)의 배향을 나타내며, 이는 인간 조작자(120)가 비행 중에 원격 제어기(150)로 주어진 조향 커맨드들의 드론(160)에 대한 효과를 더 쉽게 이해할 수 있게 한다. 일 실시예에서, 배향 심볼(202)은 예시된 바와 같은 화살표이다. 도 3에 도시된 바와 같이, 화살표(202)는 인간 조작자(120) 주위의 360도 원의 일부를 예시하는 호(304)에 의해 증강될 수 있다. 화살표(202)는 나중에 설명되는 바와 같이 드론(160)의 헤딩을 가리킬 수 있다.

증강 현실 디스플레이(112)에서, 디지털 세계로부터의 타겟 심볼(200) 및 배향 심볼(202)은 비행 환경(210)의 자연 부분들로서 인식되는 몰입형 감각들의 통합을 통해, 인간 조작자(120)의 실 세계의 인식으로 혼합된다.

다음으로 드론(160)의 배향의 실시예들을 예시하는 도 4, 도 5, 도 6, 도 7, 도 8 및 도 9를 설명한다.

일 실시예에서, 배향 심볼(202)은 공중(210)에서의 드론(160)의 배향에 관련하여 고정된 미리 결정된 방향을 가리키도록 구성된다. 인간 조작자(120)가 미리 정해진 방향을 인식함에 따라, 인간 조작자(120)는 원격 제어기(150)로 주어지는 조향 커맨드들이 비행에 미치는 영향을 쉽게 이해할 수 있다. 도 3에 도시된 바와 같이, 원격 제어기(150)는 조향 커맨드들을 제공하기 위해 예를 들어 2개의 조이스틱(310, 312)들을 포함할 수 있다. 당연히, 다른 종류의 조향 장치들도 설명된 실시예들과 호환될 수 있다. 다만, 원격 제어기(150)는 드론(160)을 좌우로 기울이는 롤(roll), 드론(160)을 전후로 기울이는 피치(pitch), 드론(160)을 시계 방향 또는 반시계 방향으로 회전시키는 요(yaw) 등 다양한 자유도로 드론(160)을 제어할 수 있다. 또한, 고도 제어는 드론(160)이 더 높거나 더 낮게 비행하도록 제어한다. 원격 제어기(150)의 일부 사용자 인터페이스 요소들은 증강 현실 환경에서 수행되는 것 이외에, 장치(100)의 사용자 인터페이스 동작들이 또한 원격 제어기(150)의 (물리적) 사용자 인터페이스 요소들과 수행될 수 있도록 장치(100)와 상호작용하도록 프로그래밍될 수 있다는 것에 유의한다.

도 4에 도시된 실시예에서, 소정 방향은 드론(160)의 헤딩(400)과 관련하여 고정된다. 네비게이션에서, 드론(160)의 헤딩(400)은 드론(160)의 코(nose)가 향하는 나침반 방향이다. 예를 들어 쿼드콥터(= 4개의 로터들를 갖는 헬리콥터)인 드론(160)은 "자연스러운" 코를 갖지 않을 수 있으며, 이 경우 드론(160)의 일 방향이 상술한 코로서 정의된다는 점에 유의한다.

도 5는 실시예들를 가능하게 하기 위해 서로 관련될 필요가 있는 다양한 좌표계(502, 504, 506)를 도시한다. 세계 좌표계(502)는 장치(100)의 좌표계(504) 및 드론(160)의 좌표계(506)에 매핑되는 3차원 세계 모델 시각화를 정의한다. 그 다음, 장치(100)는 그 자신의 좌표계(504)를 사용하여 증강 현실을 도시하지만, 또한 세계 좌표계(502)에서의 드론(160)의 위치 및 인간 조작자(120)의 위치를 도시한다.

도 5 및 도 6에 도시된 실시예에서, 장치(100)는 다음을 수행하게 된다:

- 세계 좌표계(502)에서 지상(ground: 500) 상의 드론(160)의 위치를 획득하는 것;

- 장치(100)의 증강 현실 좌표계(504)에서 지상(500) 상의 드론(160)의 위치를 획득하는 것;

- 증강 현실 좌표계(504)에서의 드론(160)의 위치를 세계 좌표계(502)에서의 드론(160)의 위치와 로킹하는 것(locking);

- 지상(500)에서의 드론(160)의 헤딩(400)을 획득하는 것; 및

- 장치(100)의 증강 현실 좌표계(504)에서의 교정(calibration) 헤딩 심볼의 배향으로서 헤딩(400)을 설정하는 것.

이러한 방식으로, 인간 조작자(120)의 머리의 임의의 움직임을 지속적으로 추적하는 증강 현실 좌표 시스템(504)은 이제 세계 좌표(502)에 확고하게 기초하고, 또한 실제 나침반 방향들(602)을 따른다. 따라서, 증강 현실 표현으로의 세계 위도 및 경도(세계 좌표계(502)의 x 및 z) 및 나침반 방위 정보(602)의 결합이 달성된다.

더 구체적인 실시예에서, 장치(100)는 다음을 수행하게 된다:

- (원격 제어기(150)로부터 또는 드론(160)으로부터) 세계 좌표계(502)에서의 지상(500) 상의 드론(160)의 위치를 획득하는 것;

- 증강 현실 디스플레이(112) 상에 교정 위치 심볼을 중첩하는 것;

- 교정 위치 심볼이 드론(160) 상에(예컨대, 드론(160)의 중심 또는 드론(160) 상의 다른 미리 결정된 지점 상에) 배치된 후에 제1 사용자 확인응답을 수신하는 것;

- (증강 현실 엔진(144)으로부터) 장치(100)의 증강 현실 좌표계(504)에서의 지상(500) 상의 드론(160)의 위치를 획득하는 것;

- 증강 현실 좌표계(504)에서의 드론(160)의 위치를 세계 좌표계(502)에서의 드론(160)의 위치와 고정하는 것(locking);

- (원격 제어기(150)로부터 또는 드론(160)으로부터), 지상(500) 상의 드론(160)의 헤딩(400)을 획득하는 것;

- 증강 현실 디스플레이(112) 상에 교정 배향 심볼을 중첩시키는 것;

- 교정 배향 심볼이 드론(160)과 (예컨대, 드론(160)의 꼬리-코 라인과 또는 드론(160)의 다른 미리 결정된 배향과) 정렬된 후 제2 사용자 확인응답을 수신하는 것; 및

- 장치(100)의 증강 현실 좌표계(504)에서의 교정 배향 심볼의 배향으로서 헤딩(400)을 설정하는 것.

첫째로, 증강 현실 시스템에는 세계 좌표계(502)에서의 드론(160)의 위치 및 증강 현실 좌표계(504)에 대한 드론(160)의 위치가 도시된다. 드론(160) 중심이, 증강 현실 표시자들과 함께, 증강 현실 시야(112) 내에서 이러한 정확한 스폿에 위치됨을 표시함으로써, 그 스폿은 이제 실세계 좌표계(502) 및 증강 현실 시스템 좌표들(504) 둘 모두에서 알려진다. 이러한 조합으로, 세계 위도 및 경도 정보를 갖는 고정된 공통 위치가 획득된다. 이 위도 및 경도는 드론(160)이 현재 (GPS 또는 다른 글로벌 내비게이션 위성 시스템에 의해, 또는 셀룰러 무선기반 위치확인과 같은 다른 위치확인 기술에 의해 제공되는) 정확한 좌표를 알고 있기 때문에 제공딘다. 증강 현실 포인터 스틱, 또는 다른 유형의 교정 위치 심볼은 인간 조작자(120)에 대한 증강 현실 디스플레이(112)에서의 위치를 나타낼 수 있다. 드론(160)의 위치를 나타낼 때, 인간 조작자(160)의 정면에서 고정된 거리로 이동하며 아래를 가리키는 이 스틱이 드론(160)의 중심 상단에 위치하도록 안내된다. 위치를 확인하기 위해 일정하게 유지되며, 이는 이어서 좌표계들(502, 504)을 함께 로킹한다. 대안적으로, 이것은 또한 머신 비전을 사용하여 행해질 수 있고, 단지 드론(160)을 보고 증강 현실 좌표계(504)에서 그 위치를 해독하고, 이어서 드론(160) 위도, 경도를 로킹하고 심지어 그 형상으로 헤딩하는 것까지 가능하다. 드론(160)의 위치를 보여주는 것은 많은 방식들로 행해질 수 있지만, 실세계 및 증강 현실 좌표계들(502, 504)을 함께 신뢰할 수 있게 로킹하기 위해서는 자신감을 갖고 수행되어야 한다.

둘째로, 드론(160)이 그것의 코가 어디를 가리키는지 알고 있기 때문에, 즉, 드론(160)이 그것의 나침반 헤딩을 각도 단위로 알려주기 때문에, 이것은 좌표계들(502, 504)의 결합을 마무리하는 데 사용될 수 있다. 증강 현실 시스템은 디스플레이된 라인 또는 다른 유형의 교정 배향 심볼을 드론(160)의 꼬리-코-라인(tail-nose -line) 과 정렬하기 위해 사용되고, 이것이 달성될 때, 세계 좌표계(502)에서 디스플레이된 라인의 이 나침반 배향이 이제 알려진다. 따라서, 임의의 방향, 예를 들어 북쪽의 세계 나침반 헤딩(world compass heading)이 그로부터 계산될 수 있다.

선택적인 단계로서, 세계 위치(위도, 경도)가 드론(160)으로부터 획득될 때, 정확한 고도(세계 좌표계(502)에서 y)는 또한 정확한 세계 좌표들(502)에 기초하여 맵 시스템으로부터 또는 가능하게는 원격 제어기(150)를 통해 드론(160) 자체로부터 질의될 수 있다. 따라서, (정확한 정밀도가 필요하다면, 지상(500)으로부터 드론(160)의 상부 표면의 드론-특정 오프셋으로) 공간에서의 이 지점에 대한 고도를 또한 교정할 수 있고, 그래서 맵 데이터를 사용하여 여기서부터 임의의 다른 세계 지점 지형 고도를 정확하게 결정할 수 있다. 요약하면, 위도, 경도, 가능하게는 고도, 및 나침반 헤딩(compass heading)이 세계 잠금이 달성되기 위해 필요할 수 있다.

이 결합 후에, 전체 시스템의 다른 모든 것은 드론(160)이 실제로 세계 좌표(502)에서 어디에 있는지 그리고 그 세계 죄표에서 주변에 정확히 무엇이 있는지에 대한 지식을 기반으로 구축된다. 결합과 관련된 설명된 실시예들은 모든 다른 실시예들, 또한 독립항들 및 다른 종속항들과 관련하여 설명된 것들과 무관하게 독립형 실시예들로서 동작할 수 있다는 점에 유의한다.

비행과 관련된 데이터는 세계 좌표(502)에 매핑되고, 결과적으로 3004, 3006, 3008로 표시되어, 그의 시각화는 증강 현실 좌표계(504)에 고정된 세계 좌표계(502)에서 표현된 그의 3차원 위치를 아는 것을 이용한다.

일 실시예에서, 도 7에 도시된 바와 같이, 수치 정보로 상황 인식이 더욱 향상될 수 있다. 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 타겟 심볼(200)과 시각적으로 결합된 스케일(700) 및 수치 값을 사용하여 드론(160)의 순항 고도(704)를 증강 현실 디스플레이(112) 상에 중첩하게 된다. 도 7에 도시된 바와 같이, 스케일(700)은 특정 고도를 나타내는 수평선들을 포함할 수 있다. 장치는 또한 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 배향 심볼(202)과 시각적으로 결합된 각도들(702)로 드론(160)의 헤딩(706)을 증강 현실 디스플레이(112) 상에 중첩시키게 된다. 이는 전문 인간 조작자(120)에게 유용할 수 있다.

도 8에 예시된 실시예에서, 장치(100)는, 증강 현실 디스플레이(112) 상에, 지상(500) 상의 드론(160)의 지리적 위치로 수평으로 연장되는 간접 가시선 가이드라인(800)을 중첩시키게 되며, 이로부터 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 간접 가시선 가이드라인(802)은 공중(210)에서의 드론(160)의 순항 고도에서 타겟 심볼(200)에 수직으로 계속 연장된다. 이는, 인간 조작자(120)가 먼저 지표면(500) 상의 드론(160)의 지리적 위치를 보기 위해 수평 가이드라인(800)을 관찰하고, 이어서 드론(160)이 공중(210) 에서 있는 곳을 파악하기 위해 수직 가이드라인(802)을 관찰할 수 있기 때문에 상황 인식을 더 향상시킬 수 있다.

도 9에 예시된 실시예에서, 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 공중(210)에서 드론(160)의 트랙(902) 및 속도를 나타내는 트랙 심볼(900)을 증강 현실 디스플레이(112) 상에 중첩시키게 된다. 네비게이션에서, 트랙(902)은 드론(160)이 실제로 이동하는 루트이다. 헤딩(400)과 트랙(902) 사이의 차이는 공중(210)의 움직임에 의해(예컨대 기류에 의해) 야기된다. 트랙(902) 및 속도를 보여줌으로써, 인간 조작자(120)는 현재 제어의 효과를 예측하며, 이는 그 후 필요에 따라 조정될 수 있다.

다음으로, 드론(160)과 관련하여 장애물을 시각화하는 실시예들을 예시하는 도 10, 도 11 및 도 12를 설명한다.

도 10에 예시된 실시예에서, 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 실제 객체(1004)에 대한 드론(160)의 거리(1002)를 묘사하도록 구성된 장애물 표시자 심볼(1000)을 증강 현실 디스플레이(112) 상에 중첩하게 된다. 거리(1002)는 드론(160)과 실제 객체(1004) 사이의 최단 거리일 수 있다. 도 10에 도시된 바와 같이, 장애물 표시자 심볼(1000)은 가능하게는 거리(1002)를 나타내는 수치만큼 증강된 화살표를 사용하여 거리를 표시할 수 있다. 실제 객체(1004)는 건물, 다리 등과 같은 인공물 또는 언덕, 숲 등과 같은 자연물일 수 있다.

도 11은 추가 실시예를 도시하며, 여기서 장애물 표시자 심볼(1000)은 실제 객체(1004) 위에 적어도 부분적으로 중첩되는 시각적 표시자(1100)를 포함한다. 도 11에 도시된 바와 같이, 시각적 표시자(1100)는 실제 객체(1004) 상에 오버레이된 음영 또는 유사한 시각적 효과일 수 있다. 이와 같이, 인간 조작자(120)는 드론(160)이 실제 객체(1004)에 접근함에 따라 충돌 위험을 즉시 인식한다.

도 12는 도 10의 실시예 또는 도 11의 실시예 중 어느 하나에 적용 가능한 추가 실시예를 도시한다. 장애물 표시자 심볼(1200)은 드론(160)으로부터 실제 물체(1206)까지의 최단 수평(1202) 및 수직(1204) 거리를 묘사하는 요소들을 포함한다. 이와 같이, 실제 객체(1206)와의 충돌을 회피하기 위해 드론(160)의 수직 및 수평 이동 모두의 효과를 인식할 수 있다.

다음으로, 드론(160)과 관련하여 웨이포인트를 시각화하는 실시 예들을 도시하는 도 13을 설명한다. 장치(100)는 인간 조작자(120)의 지리적 위치(1302), 드론(160)의 지리적 위치(1304) 및 웨이포인트(1306)를 보여주는 맵(1300)을 증강 현실 디스플레이(112) 상에 중첩시키게 된다. 이와 같이, 인간 조작자(120)는 비행과 관련된 주변에 대한 보다 직관적인 이해를 갖게 된다. 도 13에 도시된 바와 같이, 맵(1300) 및 드론(160)은 인간 조작자(120)의 시야 내에 동시에 있을 수 있고, 시선은 드론으로 지향되는 것(204) 또는 맵(1300)으로 지향되는 것(1310)으로서 교번할 수 있다. 장치(100)는 또한 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 지상(500) 상의 웨이포인트(1306)의 지리적 위치로부터 시작하여 웨이포인트(1306)의 미리 결정된 고도를 향해 연장되는 수직 웨이포인트 심볼(1308)을 증강 현실 디스플레이(112) 상에 중첩시키게 된다. 웨이포인트 심볼(1308)의 좁은 부분은 지구(500) 상의 지리적 위치를 정확하게 지적할 수 있는 반면, 웨이포인트 심볼(1308)의 더 넓은 부분은 공중(210)에서의 웨이포인트의 설정된 고도를 나타낼 수 있다. 이러한 방식으로, 웨이포인트 심볼(1308)은 실세계의 정확한 위치에 도시된다.

다음, 도 14 및 도 15는 드론(160)이 촬영한 데이터를 시각화하는 실시예들을 나타낸다. 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고(204) 있는 동안 타겟 심볼(200) 부근에서 드론(160)에 탑재된 하나 이상의 센서(1402)를 사용하여 실시간으로 캡처된 하나 이상의 시각적 요소(1400)를 증강 현실 디스플레이(112) 상에 중첩시키고, 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고(204) 있는 동안 가시선이 방해받지 않고 유지되도록 증강 현실 디스플레이(112) 상에 하나 이상의 시각적 요소들(1400)을 위치시키게 된다. 시각적 요소(들)(1400)는 도시된 바와 같이 타겟 심볼(200)의 어느 한 측면 상에 배치될 수 있지만, 또한 타겟 심볼(200) 주위의 어디에도 배치될 수 있다. 어떤 경우든, 인간 조작자(120)는 시각적 요소(들)(1400)를 신속하게 주시할 수 있지만(1404), 주로 드론(160)을 향해 보고(204) 동시에 드론(170)을 조종할 수 있다. 예시된 실시예에서, 이미지 센서(1402)는 이미지 또는 비디오 피드를 데이터로서 캡처하고, 이는 이어서 증강 현실 디스플레이(112) 상에 시각적 요소(1400)로서 중첩된다. 이러한 방식으로, 인간 조작자(120)는 이미지 센서(1402)가 원하는 뷰를 촬영하도록 드론(120)을 조종할 수 있다. 이미지 센서는 사진 카메라 또는 비디오 카메라와 같은 (통상의) 가시광 카메라로서 동작할 수 있음에 유의한다. 그 밖에, 이미지 센서는 열(또는 적외선) 카메라, 다중 분광 카메라, 초분광 카메라, 코로나 방전 카메라 등으로 동작할 수 있다. 드론(160)에 탑재된 하나 이상의 센서(1402)는 라이다(lidar) (light detection and ranging, or laser imaging, detection, and ranging, or 3-D laser scanning) 센서, 소나(sound navigation and ranging) 센서, 레이더(radio detection and ranging) 센서, 화학 센서, 생물학적 센서, 방사선 센서, 입자 센서, 자기 센서, 네트워크 신호 강도 센서 등 중 하나 이상을 포함할 수 있지만, 이에 제한되지 않는다. 드론(160)은 페이로드로서 이들 센서들(1402)의 임의의 조합을 운반할 수 있으며, 그 데이터는 이어서 동적으로 위치된 하나 이상의 시각적 요소들(1400)로 설명된 바와 같이 시각화된다.

도 16 및 도 17은 드론(160)의 비행과 관련된 맵을 시각화하는 실시예들 나타낸다. 인간 조작자(120)는 맵(1600, 1700)의 레이아웃을 선택할 수 있거나, 장치(100)는 비행 상황에 따라 어떤 레이아웃을 사용할지를 자동으로 결정할 수 있다. 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 증강 현실 디스플레이(112) 상에 인간 조작자(120)의 지리적 위치(1602) 및 타겟 심볼(200)의 부근에서의 드론(160)의 지리적 위치(1604)를 도시하는 수직 레이아웃의 맵(1600)을 중첩시키게 된다. 대안적으로, 장치(100)는 인간 조작자(120)가 지상(500)을 향해 보고 있는(1706) 동안 인간 조작자(112)의 지리적 위치(1702) 및 드론(160)의 지리적 위치(1704)를 보여주는 수평 레이아웃의 맵(1700)을 증강 현실 디스플레이(112) 상에 중첩시키게 된다. 수직 레이아웃 맵(1600)을 사용함으로써, 인간 조작자가 드론(160)을 향해 바라보고(204) 측면에서 맵(1600)을 보기 때문에 상황 인식은 항상 유지될 수 있다. 수평 레이아웃 맵(1700)을 사용함으로써, 인간 조작자(120)는 지상(500)을 향해 살펴볼(1706) 필요가 있지만, 도시된 바와 같이, 맵(1700)은 맵(1700) 표면이 지상(500)과 평행함에 따라 더 크고 더 직관적으로 도시될 수 있다.

도 17은 또한 사용된 맵들(1700)이 3차원 건물들(1708)에 의해 묘사된 바와 같은 고도 데이터를 또한 예시하는 3차원 지형도들일 수 있다는 것을 예시한다.

도 18 및 도 19는 장치(100)의 메뉴 구조를 시각화하는 실시예들을 나타낸다. 장치(100)는 인간 조작자(120)가 지상(500)을 향해 보고 있는(1804) 동안 인간 조작자(120) 주위에 메뉴 구조(1800)를 증강 현실 디스플레이(112) 상에 중첩시키게 된다. 장치(100)는 메뉴 구조(1800)와 관련된 명령으로서 인간 조작자(120)로부터의 제스처(1802)를 검출하고, 이 명령에 기초하여 비행과 관련된 데이터의 디스플레이(1900)를 증강 현실 디스플레이(112) 상에서 제어하도록 야기된다. 이를 통해, 인간 조작자(120)는 장치(100)를 빠르게 조작할 수 있다. 도시된 바와 같이, 도 18에서, 타겟 심볼(200) 및 배향 심볼(202)의 기본 디스플레이가 도시되어 있는 반면, 도 19에서, 인간 조작자(120)는 도 7을 참조하여 앞서 설명된 바와 같이 타겟 심볼(200)과 시각적으로 결합된 수치 및 스케일(700)을 사용하여 드론(160)의 순항 고도를 디스플레이하도록 메뉴 구조(1800)로부터 선택하였다.

도 20, 도 21 및 도 22는 드론(160)의 물리적 환경과 관련된 외부 데이터를 시각화하는 실시예들을 나타낸다.

도 1a 및 도 1b에 도시된 바와 같이, 장치(100)는 드론(160)의 물리적 환경과 관련된 외부 데이터(114)를 수신하도록 구성된 외부 데이터 통신 인터페이스(110)를 포함한다. 외부 데이터 통신 인터페이스(110)는 일 실시예에서 내부 데이터 통신 인터페이스(108)를 사용하여 구현될 수 있음에 유의한다. 장치(100)는 외부 데이터(114)의 하나 이상의 시각화(2000)들을 증강 현실 디스플레이(112) 상에 중첩하게 된다. 이러한 방식으로, 장치(100)는 증강 현실 디스플레이(112)에 의해 구현되는 단일 사용자 인터페이스에 외부 데이터 소스들을 통합함으로써 인간 조작자(120)의 상황 인식을 증가시킬 수 있다. 앞서 설명된 바와 같이, 외부 데이터(114)는 세계 좌표(502)에 매핑되고, 결과적으로 그의 시각화가 증강 현실 좌표계(504)에 고정되는 세계 좌표계(502)에서 표현된 그의 3차원 위치를 아는 것을 이용하도록 디스플레이된다. 다양한 소스들로부터 외부 데이터를 획득하는 것 이외에, 외부 데이터 통신 인터페이스(110)는 또한 외부 수신기들(116)로 비행하는 것에 관련된 데이터를 통신하는 데 사용될 수 있으며, 전송되는 데이터는 드론(160)의 위치, 인간 조작자(120)로부터의 스피치, 드론(160)으로부터의 하나 이상의 비디오 피드들 등을 포함하지만 이에 제한되지 않는다.

도 20에 도시된 바와 같이, 외부 데이터(114)는 기상(weather) 데이터를 포함할 수 있고, 하나 이상의 시각화(2000)는 기상데이터를 도시한다. 실시예에서, 기상 데이터는 바람의 속도 및 방향에 대한 정보를 포함한다. 방향은 화살표들로 표시될 수 있고, 속도는 도시된 바와 같이 화살표들의 스케일로 또는 대안적으로 수치로 표시될 수 있다. 추가적으로 또는 대안적으로, 기상 데이터는 다음 중 하나 이상을 포함할 수 있다: 난기류들(예측되거나 알려진), 습도, 구름 시각화들, 비 경고들, 우박 경고들, 눈 경고들, 폭풍 경고들, 낙뢰에 대한 경고들, 조명 조건(시간, 태양 및/또는 달의 위치), 안개, 공기 온도 및 압력, 가시성, 이슬점(항공 파일럿들에게 중요한), "체감" 온도. 또한 이 모든 것이 시간과 연결될 수도 있습니다. 예를 들어, 다가오는 구름 전선들과 바람의 변화들과 같은 기상 예보들을 시각화할 수 있다.

도 21에 도시된 바와 같이, 외부 데이터는 공역들(airspaces)의 분류들을 포함하는 114개의 항공 교통 제어 데이터를 포함할 수 있고, 하나 이상의 시각화들(2100, 2102)은 공중(210)에서 드론(160)의 위치와 매칭되는 공역의 분류를 도시한다. 도시된 바와 같이, 자유 공역(2100)은 "I"로 표시될 수 있고, 제한된 공역(2102)은 도시된 바와 같이 "II"로 표시될 수 있고, 음영 처리된 직사각형이거나 다른 3차원 형상(예컨대, 다각형 메시) 또는 심지어 2차원 형상(예컨대, 다각형)으로 표시될 수 있다. 일반적으로, 공역의 분류들은 드론 비행금지 구역들(지역들, 볼륨들), 드론 및/또는 다른 항공 운항들을 위한 공역들의 예약들 및 통지들, 비행장 통제 구역들, 공역 통제 구역들, 송전선들 및 다른 장애물들, 국가 경계 구역들, 상이한 고도들에서 전술된 것들 모두, 경고/위험/제한 구역들, UAV 예약 구역들, UAS 예약 구역들, 모형 비행기 예약 구역들을 포함할 수 있지만, 이에 제한되지 않는다. 항공 맵은 다양한 벽들, 지붕들, 비행 레벨들 등을 갖는 3차원 다각형 메시를 사용하여 시각화될 수 있으며, 이들 모두는 증강 현실 디스플레이(112)에서 보여지는 바와 같이 정확한 위치들에 있다.

도 22에 도시된 바와 같이, 외부 데이터는 공중(210)에서의 항공기(2200)의 위치들을 포함하는 114개의 항공 교통 제어 데이터를 포함할 수 있고, 하나 이상의 시각화들(2202, 2204)은 공중(210)에서의 항공기(2200)의 위치들을 도시한다. 일 실시예에서, 하나 이상의 시각화(2202, 2204)는 공중(210)에서 드론(160)의 위치로부터 미리 결정된 거리(예를 들어, 3, 5 또는 10 킬로미터의 반경 내) 내에서 비행하는 항공기(2200)에 대해 도시된다. 시각화들은 항공기(2200)의 위치를 나타내는 화살표들(2202, 2204)로 구현될 수 있고, 추가적으로 또는 대안적으로 항공기(2200)의 시뮬레이션이 도시될 수 있다.

도 23, 도 24, 도 25, 도 26 및 도 27은 상이한 가시성들 동안 드론(160)에 대한 가시선을 시각화하는 실시예들을 예시한다.

도 23의 실시예에서, 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 비행과 관련된 데이터를 증강 현실 디스플레이(112) 상에 양호한 가시성 동안 드론(160)에 대한 가시선과 중첩시키게 된다. 이것은 이상적인 비행 상황이다.

도 24의 실시예에서, 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고(204) 있는 동안 비행과 관련된 데이터를 손상된 가시성 동안 드론(160)에 대한 증강 가시선과 함께 증강 현실 디스플레이(112) 상에 중첩시키게 된다. 증강된 가시선은 인간 조작자(120)가 타겟 심볼(200)과 함께 우측 방향을 바라보도록 가이드함으로써 달성될 수 있다. 선택적으로, 시뮬레이션된 드론(160)은 정확한 위치에 보여질 수 있다. 손상된 가시성은 낮은 빛 조건, 구름, 안개, 스모그, 비, 강설, 또는 일부 다른 물리적 현상에 의해 야기될 수 있다.

도 25의 실시예에서, 장치(100)는, 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고(204) 있는 동안 비행과 관련된 데이터를, 차단된 가시성 동안 드론(160)에 대한 증강 및 시뮬레이션된 가시선과 함께 증강 현실 디스플레이(112) 상에 중첩하게 된다. 차단된 가시성은 장애물(2502)에 의해 야기될 수 있는데, 즉 드론(160)은 장애물(2502) 뒤에 있다. 장애물(2502)은 도 10 및 도 11의 실제 객체(1004)일 수 있으며, 즉 장애물(2502)은 건물, 다리 등과 같은 인공물 또는 언덕, 숲 등과 같은 자연물일 수 있다. 증강은 인간 조작자(120)가 타겟 심볼(200)을 이용하여 올바른 방향을 보도록 가이드하고, 시뮬레이션된 드론(160)을 올바른 위치에 보여줌으로써 시뮬레이션이 이루어진다.

일 실시예에서, 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 비행과 관련된 데이터를 증강 현실 디스플레이(112) 상에, 장거리 가시성 동안 드론(160)에 대한 증강 가시선과 중첩시키게 된다. 이는 어떠한 도면에도 도시되어 있지 않지만, 기본적으로 드론(160)은 예를 들어 하늘 높이 또는 수평선 근처에 있으며, 인간 조작자(120)는 타겟 심볼(200)을 통해 우측 방향을 보도록 안내되며, 이에 의해 인간 조작자(120)는 단지 드론(160)을 먼 거리의 작은 물체로서 볼 수 있다.

도 26 및 도 27에 예시된 실시예에서, 장치(100)는 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 가시선(2602)이 방해받지 않고 유지되도록 증강 현실 디스플레이(112) 상에서 비행과 관련된 데이터의 디스플레이(2600)를 조정하게 된다(2700). 도 26에서, 인간 조작자(120)는 자유 가시선(2602)으로 드론(160)을 향해 계속 본다(204). 그러나, 드론이 하강(2604)함에 따라, 맵(2600)은 결국 가시선(2602)을 방해할 것이다. 도 27에 도시된 바와 같이, 드론(160)은 이제 비교적 낮게 비행하지만, 맵(2600)의 좌측으로의 이동(2700)으로 인해 가시선(2602)은 자유롭게 유지된다.

마지막으로, 2개의 장치(100, 2800)를 포함하는 시스템의 실시예들을 예시하는 도 28 및 도 29를 설명한다.

제1 장치(100)는 제1 인간 조작자(120)가 원격 제어기(150)를 사용하여 공중(210) 에서 드론(160)을 비행시키는 것을 보조하기 위해 사용된다.

공중(210)에서의 드론(160)의 위치에 관한 제1 인간 조작자(120)의 제1 지리적 위치(2814)는 제1 타겟 심볼(200) 및 제1 배향 심볼(202)을 포함하는 비행과 관련된 데이터가 제1 장치(100)의 제1 증강 현실 디스플레이(112) 상에 중첩되도록 렌더링하기 위한 제1 시점을 조정하는데 사용된다.

도 28에 도시된 바와 같이, 제2 장치(2800)는 드론(160)의 공중(210) 비행과 관련하여 제2 인간 조작자(2802)에게 알리기 위해 사용된다.

공중(210)에서의 드론(160)의 위치에 관한 제2 인간 조작자(2802)의 제2 지리적 위치(2804)는 제2 장치(2800)의 제2 증강 현실 디스플레이(2810) 상에 중첩될 제2 타겟 심볼(2806) 및 제2 배향 심볼(2808)을 포함하는 비행과 관련된 데이터를 렌더링하기 위한 제2 시점을 조정하는데 사용된다.

이러한 방식으로, 제2 인간 조작자(2802)는 적어도 공중(210)에서 드론(160)의 비행을 관찰(2812)할 수 있다. 이것은 단지 재미로, 교육적 목적들로, 비행 라이센스에 대한 시험을 통과하기 위해, 감시용으로, 실종자를 추적하기 위해, 또는 심지어 예를 들어 제1 인간 조작자(120)를 보조하기 위해 유용할 수 있다. 조작자들(120, 2802) 중 하나 또는 둘 모두는 또한, 앞서 설명된 바와 같이 드론(160)에 탑재된 하나 이상의 센서들(1402)를 사용하여 실시간으로 캡처된 데이터에 기초하여 하나 이상의 시각적 요소들을 제공받을 수 있다.

도 29에 예시된 실시예에서, 제2 장치(2800)는 드론(160)에 탑재된 하나 이상의 센서들(1402)을 제어하는 것(2902)과 관련하여 제2 인간 조작자(2802)를 보조하기 위해 사용되는 한편, 제1 인간 조작자(120)는 드론(160)의 비행 방향(2908) 및 속도를 제어한다.

예를 들어, 센서(1402)가 전술한 바와 같이 이미지 센서이면, 제2 인간 조작자(2802)의 제2 지리적 위치(2804)는 드론(160)에 탑재된 하나 이상의 비디오 카메라들(2900)로부터 실시간으로 캡처된 하나 이상의 비디오 피드들을 또한 포함하는 비행과 관련된 데이터를 렌더링하기 위한 제2 시점을 조정하여 제2 장치(2800)의 제2 증강 현실 디스플레이(2810) 상에 중첩되도록 사용된다. 도 29에 도시된 바와 같이, 하나 이상의 비디오 피드들(2904)은 제2 증강 현실 디스플레이(2810) 상에 중첩된다.

도 29의 사용 사례는 또한 양 조작자들(120, 2802)이 증강 현실 디스플레이들(112, 2810) 상에서 동일한 정보를 도시하도록 될 수 있고, 이들 둘 모두가 원격 제어기들(150, 2906)을 갖기 때문에, 비행에 대한 책임이 조작자들(120, 2906) 사이에서 비행중에 끊김없이 전달될 수 있음은 물론이다. 이는 훈련 세션 동안 또는 긴 미션 동안 특히 유용할 수 있다. 특히 위험하거나 제한된 공역에서, 허가된 파일럿(2802)이 안전하게 가로질러 드론(160)을 파일럿할 수 있고, 그 후 (원래) 조작자(120)가 드론(160)의 제어를 회복한다는 것이 또한 예상된다.

도 28 및 도 29의 시나리오들은 드론(160) 및 제1 인간 조작자(120) 근처에 물리적으로 존재하는 제2 인간 조작자(2802)에 제한되지 않음은 물론이다. 앞서 설명된 바와 같이, 외부 데이터 통신 인터페이스(110)는 비행과 관련된 데이터를 외부 수신기(116)에 통신할 수 있다. 외부 수신기(116)는 클라이언트-서버 아키텍처, 클라우드 컴퓨팅 아키텍처, 피어-투-피어 시스템, 또는 다른 적용 가능한 분산 컴퓨팅 아키텍처에 따라 제 1 장치(100) 및 제 2 장치(2800)와 상호 동작하는 네트워크화된 컴퓨터 서버일 수 있다. 이러한 방식으로, 제2 인간 조작자(120)는 멀리, 심지어 상이한 도시, 국가 또는 대륙에서 멀리 떨어져 있어도, 여전히, 설명된 바와 같이, 관찰하거나 심지어 보조할 수 있다. 당연히, 데이터 전송 지연들은 최소화될 필요가 있고, 특히 원격의 제2 인간 조작자(2802)가 예를 들어 하나 이상의 센서들(1402)을 제어(2902)하고 있는 경우 이를 고려할 필요가 있다.

본 발명은 첨부된 도면들에 따라 하나 이상의 실시예들을 참조하여 설명되었지만, 본 발명이 이에 한정되는 것은 아니며, 첨부된 특허청구범위내에서 여러 가지 방식으로 변형될 수 있음은 물론이다. 모든 단어들 및 표현들은 넓게 해석되어야 하며, 실시예들을 한정하려는 것이 아니라 설명하기 위한 것이다. 기술이 발전함에 따라, 본 발명의 기술적 사상은 다양하게 구현될 수 있음은 당업자에게 자명할 것이다.

Claims

원격 제어기(150)를 사용하여 드론(160)을 비행시키는데 있어서 인간 조작자(120)를 보조하기 위한 장치(100)로서,
상기 원격 제어기(150)로부터 비행과 관련된 데이터를 수신하도록 구성된 내부 데이터 통신 인터페이스(108);
상기 인간 조작자(120)에게 비행과 관련된 데이터를 디스플레이하도록 구성된 증강 현실 디스플레이(112);
컴퓨터 프로그램 코드(106)를 포함하는 하나 이상의 메모리(104); 및
상기 컴퓨터 프로그램 코드(106)를 실행하여 상기 장치(100)로 하여금 적어도:
상기 인간 조작자(120)가 상기 드론(160)을 향해 보고 있는(204) 동안 상기 드론(160)의 위치를 나타내는 타겟 심볼(200)을 상기 증강 현실 디스플레이(112)에 중첩시키는 것; 및
상기 인간 조작자(120)가 상기 드론(160)을 향해 보고 있는(204) 동안 상기 드론(160)의 배향을 나타내는 배향 심볼(202)을, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것을 수행하게 하도록 구성된 하나 이상의 프로세서(102)를 포함하는, 인간 조작자(120)를 보조하기 위한 장치(100) .
제 1 항에 있어서,
상기 배향 심벌(202)은, 상기 드론(160)의 공중(210)에서의 배향과 관련하여 고정된 미리 결정된 방향을 가리키도록 구성되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 2 항에 있어서,
상기 소정 방향은 상기 드론(160)의 헤딩(400)와 관련하여 고정되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 장치(100)는
세계 좌표계(502)에서 지상(500) 에서의 상기 드론(160)의 위치를 획득하는 것;
상기 장치(100)의 증강 현실 좌표계(504)에서 지상(500)에서의 상기 드론(160)의 위치를 획득하는 것;
상기 증강 현실 좌표계(504)에서의 상기 드론(160)의 위치를 상기 세계 좌표계(502)에서의 상기 드론(160)의 위치와 로킹하는 것;
지상(500)에서 상기 드론(160)의 헤딩(400)을 획득하는 것; 및
상기 장치(100)의 상기 증강 현실 좌표계(504)에서 교정 헤딩 심볼의 배향으로서 상기 헤딩(400)을 설정하는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 장치(100)는
상기 인간 조작자(120)가 공중(210)에서 상기 드론(160)을 향해 보고 있는 (204) 동안 상기 타겟 심볼(200)과 시각적으로 결합된 수치 및 스케일(700)을 사용하여 상기 드론(160)의 순항 고도(704)를, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것; 및
상기 인간 조작자(120)가 공중(210)에서 상기 드론(160)을 향해 보고 있는(204) 동안 상기 배향 심볼(202)과 시각적으로 결합된 각도들(702)에서의 상기 드론(160)의 헤딩(706)을, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 장치(100)는
지상(500) 에서의 상기 드론(160)의 지리적 위치로 수평으로 연장하는 간접 가시선 가이드라인(800)을, 상기 증강 현실 디스플레이(112) 상에, 중첩시키고, 이로부터 간접 가시선 가이드라인(802)은 인간 조작자(120)가 공중(210)에서 드론(160)을 향해 보고 있는(204) 동안 공중(210)에서 상기 드론(160)의 순항 고도에서 상기 타겟 심볼(200)에 수직으로 계속 연장하는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 장치(100)는
상기 인간 조작자(120)가 공중(210)에서 상기 드론(160)을 향해 보고 있는(204) 동안 공중(210)에서 상기 드론(160)의 트랙(902) 및 속도를 나타내는 트랙 심볼(900)을, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 장치(100)는
상기 인간 조작자(120)가 공중에서 상기 드론(160)을 향해 보고 있는 (204) 동안 실제 객체(1004)까지의 상기 드론(160)의 거리(1002)를 묘사하도록 구성된 장애물 표시자 심볼(1000)을, 상기 증강 현실 디스플레이(112) 에, 중첩시키는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 8 항에 있어서,
상기 장애물 표시자 심볼(1000)은 상기 실제 객체(1004) 위에 적어도 부분적으로 중첩되는 시각적 표시자(1100)를 포함하는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 장치(100)는
상기 인간 조작자(120)의 지리적 위치(1302), 상기 드론(160)의 지리적 위치(1304) 및 웨이포인트(1306)를 보여주는 맵(1300)을, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것 ; 및
상기 인간 조작자(120)가 공중(210)에서 상기 드론(160)을 향해 을 보고 있는 (204) 동안 지상(500) 에서의 상기 웨이포인트(1306)의 지리적 위치로부터 시작하여 상기 웨이포인트(1306)의 미리 결정된 고도를 향해 연장하는 수직 웨이포인트 심볼(1308)을, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 장치(100)는
상기 인간 조작자(120)가 공중(210)에서 상기 드론(160)을 향해 보고 있는(204) 동안 상기 타겟 심볼(200) 부근에서 상기 드론(160)에 탑재된 하나 이상의 센서들(1402)을 사용하여 실시간으로 캡처된 데이터에 기초하여 하나 이상의 시각적 요소들(1400)을, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것; 및
상기 인간 조작자(120)가 공중(210)에서 상기 드론(160)을 향해 보고 있는 (204) 동안 가시선이 방해받지 않고 유지되도록 상기 하나 이상의 시각적 요소들(1400)을, 상기 증강 현실 디스플레이(112) 상에, 위치시키는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 장치(100)는
상기 인간 조작자(120)가 공중(210)에서 상기 드론(160)을 향해 보고 있는 (204) 동안 상기 인간 조작자(120)의 지리적 위치(1602) 및 상기 타겟 심볼(200) 부근의 상기 드론(160)의 지리적 위치(1604)를 나타내는 수직 레이아웃의 맵(1600)을, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것; 또는
상기 인간 조작자(120)가 지상(500)을 향해 보고 있는(1706) 동안 상기 인간 조작자(112)의 지리적 위치(1702) 및 상기 드론(160)의 지리적 위치(1704)를 보여주는 수평 레이아웃의 맵(1700)를, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 장치(100)는
상기 인간 조작자(120)가 지상(500)을 향해 보고 있는(1804) 동안 상기 인간 조작자(120) 주위의 메뉴 구조(1800)를, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것;
상기 인간 조작자(120)로부터의 제스처(1802)를 상기 메뉴 구조(1800)와 관련된 명령으로서 검출하는 것; 및
상기 명령에 기초하여 비행과 관련된 데이터의 디스플레이(1900)를, 상기 증강 현실 디스플레이(112) 상에서, 제어하는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 13 항 중 어느 한 항에 있어서, 상기 장치(100)는
상기 드론(160)의 물리적 환경과 관련된 외부 데이터(114)를 수신하도록 구성된 외부 데이터 통신 인터페이스(110)를 구비하고,
장치(100)는
상기 외부 데이터(114)의 하나 이상의 시각화들(2000), 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 14 항에 있어서,
상기 외부 데이터(114)는 기상 데이터를 포함하고, 상기 하나 이상의 시각화들(2000)은 상기 기상 데이터를 묘사하는, 인간 조작자(120)를 보조하기 위한 장치.
제 14 항 또는 제 15 항에 있어서,
상기 외부 데이터(114)는 공역들의 분류들을 포함하는 항공 교통 제어 데이터를 포함하고, 상기 하나 이상의 시각화들(2100, 2102)은 공중에서 상기 드론(160)의 위치와 매칭되는 공역의 상기 분류를 묘사하는, 인간 조작자(120)를 보조하기 위한 장치.
제 14 항, 제 15 항 또는 제 16 항에 있어서,
상기 외부 데이터(114)는 상기 공중(210)에서의 항공기(2200)의 위치들을 포함하는 항공 교통 제어 데이터를 포함하고, 상기 하나 이상의 시각화들(2202, 2204)은 상기 공중(210)에서의 상기 항공기(2200)의 위치들을 묘사하는, 인간 조작자(120)를 보조하기 위한 장치.
제 1 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 장치(100)는
상기 인간 조작자(120)가 양호한 가시성 동안 상기 드론(160)에 대한 시각적 가시선(2300)으로, 또는 손상된 가시성 동안 상기 드론(160)에 대한 증강 가시선(2400)으로 , 또는 차단된 가시성 동안 상기 드론(160)에 대한 증강 및 시뮬레이션된 가시선으로, 또는 장거리 가시성 동안 상기 드론(160)에 대한 증강 가시선으로 공중(210)에서 상기 드론(160)을 향해 보고 있는 (204) 동안 비행과 관련된 데이터를, 상기 증강 현실 디스플레이(112) 상에, 중첩시키는 것을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 18 항 중 어느 한 항에 있어서,
상기 장치(100)는 상기 인간 조작자(120)가 공중(210)에서 상기 드론(160)을 향해 보고 있는 (204) 동안 가시선(2602)이 방해받지 않고 유지되도록 비행과 관련된 데이터의 디스플레이(2600)를, 상기 증강 현실 디스플레이(112) 상에서, 조정하는 것(2700)을 수행하도록 야기되는, 인간 조작자(120)를 보조하기 위한 장치(100).
제 1 항 내지 제 19 항 중 어느 한 항에 기재의 장치를 2개 포함하는 시스템에 있어서
제1 장치(100)는 제1 인간 조작자(120)가 상기 원격 제어기(150)를 사용하여 공중(210)에서 상기 드론(160)을 비행시키는 것을 보조하기 위해 사용되고, 공중에서 상기 드론(160)의 위치에 관한 상기 제1 인간 조작자(120)의 제1 지리적 위치(2814)는 제1 타겟 심볼(200) 및 제1 배향 심볼(202)을 포함하는 비행과 관련된 데이터가 상기 제1 장치(100)의 제1 증강 현실 디스플레이(112) 상에 중첩되도록 렌더링하기 위한 제1 시점(first viewpoint)을 조정하기 위해 사용되며;
제2 장치(2800)는 공중(210)에서 상기 드론(160)을 비행시키는 것과 관련하여 제2 인간 조작자(2802)에게 알리기 위해 사용되고, 공중(210)에서 상기 드론(160)의 위치와 관련하여 상기 제2 인간 조작자(2802)의 제2 지리적 위치(2804)는 제2 타겟 심볼(2806) 및 제2 배향 심볼(2808)을 포함하는 비행과 관련된 데이터가 상기 제2 장치(2800)의 제2 증강 현실 디스플레이(2810) 상에 중첩되도록 렌더링하기 위한 제2 시점(second viewpoint)을 조정하기 위해 사용되는, 시스템.
제 20 항에 있어서,
상기 제2 장치(2800)는 상기 드론(160)에 탑재된 하나 이상의 센서들(1402)을 제어하는 것(2902)과 관련하여 상기 제2 인간 조작자(2802)를 보조하기 위해 사용되는, 시스템.
원격 제어기를 이용하여 인간 조작자의 드론 비행을 보조하는 방법에 있어서,
상기 원격 제어기로부터 비행과 관련된 데이터를 수신하는 단계(3002);
상기 인간 조작자에게 비행에 관련된 데이터를, 증강 현실 디스플레이 상에, 디스플레이하는 단계(3004);
상기 인간 조작자가 상기 드론을 향해 보고 있는 동안 상기 드론의 위치를 나타내는 타겟 심볼을, 상기 증강 현실 디스플레이상에, 중첩시키는 단계(3006); 및
상기 인간 조작자가 상기 드론을 향해 보고 있는 동안 상기 드론의 배향을 나타내는 배향 심볼을, 상기 증강 현실 디스플레이 상에, 중첩시키는 단계(3008)를 포함하는, 원격 제어기를 이용하여 인간 조작자의 드론 비행을 보조하는 방법.
하나 이상의 프로세서들(102)에 의해 실행될 때, 원격 제어기를 사용하여 인간 조작자의 드론 비행을 보조하는 방법의 수행을 야기하는 컴퓨터 프로그램 코드(106)를 포함하는 컴퓨터 판독 가능 매체(170)로서, 상기 방법은
상기 원격 제어기로부터 비행과 관련된 데이터를 수신하는 단계(3002);
상기 인간 조작자에게 비행에 관련된 데이터를, 증강 현실 디스플레이 상에, 디스플레이하는 단계(3004);
상기 인간 조작자가 상기 드론을 향해 보고 있는 동안 상기 드론의 위치를 나타내는 타겟 심볼을, 상기 증강 현실 디스플레이상에, 중첩시키는 단계(3006); 및
상기 인간 조작자가 상기 드론을 향해 보고 있는 동안 상기 드론의 배향을 나타내는 배향 심볼을, 상기 증강 현실 디스플레이 상에, 중첩시키는 단계(3008)를 포함하는, 컴퓨터 판독 가능 매체(170).