ES2970543T3 - Aparato, procedimiento y software para ayudar a un operador a volar un dron usando un controlador remoto y gafas de realidad aumentada - Google Patents

Aparato, procedimiento y software para ayudar a un operador a volar un dron usando un controlador remoto y gafas de realidad aumentada Download PDF

Info

Publication number
ES2970543T3
ES2970543T3 ES21158161T ES21158161T ES2970543T3 ES 2970543 T3 ES2970543 T3 ES 2970543T3 ES 21158161 T ES21158161 T ES 21158161T ES 21158161 T ES21158161 T ES 21158161T ES 2970543 T3 ES2970543 T3 ES 2970543T3
Authority
ES
Spain
Prior art keywords
drone
human operator
augmented reality
air
towards
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES21158161T
Other languages
English (en)
Inventor
Hannu Lesonen
Lassi Immonen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anarky Labs Oy
Original Assignee
Anarky Labs Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anarky Labs Oy filed Critical Anarky Labs Oy
Application granted granted Critical
Publication of ES2970543T3 publication Critical patent/ES2970543T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

Aparato, método y software para ayudar al operador humano (120) a volar un dron (160) usando un controlador remoto (150). El aparato (100) incluye una interfaz de comunicación de datos interna (108) configurada para recibir datos desde el controlador remoto. (150), una pantalla de realidad aumentada (112) configurada para mostrar los datos, una o más memorias (104) que incluyen el código de programa informático (106), y uno o más procesadores (102) para hacer que el aparato (100): se superponga , en la pantalla de realidad aumentada (112), un símbolo de objetivo (200) que indica una posición del dron (160) mientras el operador humano (120) mira (204) hacia el dron (160); y superponer, en la pantalla de realidad aumentada (112), un símbolo de orientación (202) que indica una orientación del dron (160) mientras el operador humano (120) mira (204) hacia el dron (160). (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Aparato, procedimiento y software para ayudar a un operador a volar un dron usando un controlador remoto y gafas de realidad aumentada
Campo
Diversas realizaciones se refieren a un aparato para ayudar a un operador humano a volar un dron usando un controlador remoto, un procedimiento para ayudar al operador humano a volar el dron usando el controlador remoto y un medio legible por ordenador que comprende un código de programa informático que, cuando es ejecutado por uno o más procesadores, provoca la realización del procedimiento.
Antecedentes
Un operador humano (basado en tierra) vuela un dron (o un vehículo aéreo no tripulado, UAV) usando un controlador remoto (a veces asistido al menos parcialmente por un piloto automático).
El operador humano tiene que mirar simultáneamente hacia el dron en el aire, operar el controlador remoto portátil y ocasionalmente mirar hacia una pantalla del controlador remoto. Esto conduce a un deficiente conocimiento de la situación, lo que provoca situaciones potencialmente peligrosas.
Un requisito legal es que el operador humano debe mantener un contacto visual (mediante una línea de visión) con el dron en el aire. Esto es todo un desafío ya que es posible que el dron no sea visible debido a una gran distancia, poca luz ambiental o un obstáculo físico, por ejemplo.
Estos problemas pueden mitigarse si otra persona, el llamado observador, mantiene el contacto visual con el dron, incluso usando binoculares, mientras que el operador humano puede concentrarse en operar el controlador remoto (pero aún podría necesitar verificar ocasionalmente la pantalla del controlador remoto). Naturalmente, una configuración de este tipo requiere buenas habilidades de comunicación por parte del operador humano y del observador. Además, el trabajo manual se duplica, lo que genera mayores costos operativos para el dron. El documento de patente US2018196425A1 divulga un dispositivo de visualización montado en la cabeza que incluye una pantalla de imagen, una sección de control configurada para controlar la sección de pantalla de imagen, una sección de detección de posición, una sección de detección de campo visual configurada para detectar un campo visual del usuario y una sección de comunicación inalámbrica configurada para establecer una comunicación inalámbrica con un aparato externo. La sección de control incluye una sección de adquisición de información de estado configurada para adquirir, a través de la sección de comunicación inalámbrica, información de estado que incluye una posición de una aeronave propia, que es un cuerpo móvil configurado como objeto de objetivo de operación del usuario, y una sección de creación de información de soporte configurada para crear, sobre la base de una relación entre la posición y el campo visual del usuario y la posición de la propia aeronave, una imagen de soporte que incluye información de soporte para la operación de la propia aeronave y hacer que la sección de pantalla de imagen muestre la imagen de soporte como imagen virtual. El documento de patente US2019077504A1 divulga un aparato para la planificación de rutas de viaje en realidad aumentada. Un aparato tal como una pantalla montada en la cabeza (HMD) puede tener una cámara para capturar una escena visual para su presentación a través de la HMD. Un usuario del aparato puede especificar una ruta de viaje planificada previamente para un vehículo dentro de la escena visual a través de una experiencia de realidad aumentada (RA) generada por la HMD. La ruta de viaje planificada previamente puede superponerse en la escena visual de la experiencia de RA para que el usuario pueda tener en cuenta las condiciones ambientales en tiempo real determinadas a través de la experiencia de RA. La ruta de viaje planificada previamente puede transferirse al vehículo y usarse como instrucciones de viaje autónomas.
El documento de patente US2019049949A1 divulga un dispositivo de realidad modificada que incluye: un dispositivo montado en la cabeza que incluye una o más pantallas, en el que la una o más pantallas están configuradas para recibir datos de imagen que representan al menos un elemento de imagen y para mostrar una imagen de realidad modificada que incluye al menos el elemento de imagen; uno o más sensores configurados para proporcionar datos de seguimiento de la cabeza asociados con una ubicación y una orientación del dispositivo montado en la cabeza; y una disposición de procesamiento configurada para recibir datos de vuelo asociados con un vuelo de un vehículo aéreo no tripulado, generar los datos de imagen que representan al menos el elemento de imagen basándose en los datos de seguimiento de la cabeza y los datos de vuelo, y proporcionar los datos de imagen a la una o más pantallas.
Breve descripción
De acuerdo con un aspecto, se proporciona la materia objeto de reivindicaciones independientes. Las reivindicaciones dependientes definen algunas realizaciones.
Uno o más ejemplos de implementaciones se exponen con mayor detalle en los dibujos adjuntos y en la descripción de las realizaciones.
Lista de dibujos
A continuación, se describirán algunas realizaciones con referencia a los dibujos adjuntos, en los que:
La Figura 1A y la Figura 1B ilustran realizaciones de un aparato para ayudar a un operador humano a volar un dron usando un controlador remoto;
La Figura 2 y la Figura 3 ilustran realizaciones de vistas ofrecidas por una pantalla de realidad aumentada del aparato;
La Figura 4, la Figura 5, la Figura 6, la Figura 7, la Figura 8 y la Figura 9 ilustran realizaciones de una orientación del dron;
La Figura 10, la Figura 11 y la Figura 12 ilustran realizaciones de visualización de un obstáculo en relación con el dron;
La Figura 13 ilustra realizaciones de visualización de un punto de ruta en relación con el dron;
La Figura 14 y la Figura 15 ilustran realizaciones de visualización de datos capturados por el dron;
La Figura 16 y la Figura 17 ilustran realizaciones de visualización de mapas relacionados con el vuelo del dron;
La Figura 18 y la Figura 19 ilustran realizaciones de visualización de estructuras de menú del aparato; La Figura 20, la Figura 21 y la Figura 22 ilustran realizaciones de visualización de datos externos relacionados con un entorno físico del dron;
La Figura 23, la Figura 24, la Figura 25, la Figura 26 y la Figura 27 ilustran realizaciones de visualización de una línea de visión hacia el dron durante diferentes visibilidades;
La Figura 28 y la Figura 29 ilustran realizaciones de un sistema que comprende dos aparatos; y
La Figura 30 es un diagrama de flujo que ilustra realizaciones de un procedimiento para ayudar al operador humano a volar el dron usando el controlador remoto.
Descripción de realizaciones
Las siguientes realizaciones son sólo ejemplos. Aunque la memoria descriptiva puede hacer referencia a "una" realización en varias ubicaciones, esto no significa necesariamente que cada referencia sea a la(s) misma(s) realización(es), o que la característica solo se aplica a una única realización. También se pueden combinar características individuales de diferentes realizaciones para proporcionar otras realizaciones. Además, se debe entender que las palabras "que comprende" y "que incluye" no limitan las realizaciones descritas para consistir únicamente en aquellas características que se han mencionado y dichas realizaciones pueden contener también características/estructuras que hayan sido mencionadas específicamente.
Los números de referencia, tanto en la descripción de las realizaciones como en las reivindicaciones, sirven para ilustrar las realizaciones con referencia a los dibujos, sin limitarse únicamente a estos ejemplos.
Las realizaciones y características, si las hubiese, divulgadas en la siguiente descripción que no caigan dentro del alcance de las reivindicaciones independientes deben interpretarse como ejemplos útiles para comprender diversas realizaciones de la invención.
Estudiemos la Figura 1A, que ilustra un diagrama de bloques simplificado de un aparato 100 para ayudar a un operador humano (o piloto) 120 a volar un dron 160 usando un controlador remoto 150. El dron 160 también se conoce como UAV (vehículo aéreo no tripulado). Se puede definir un UAS (sistema de aeronave no tripulada) que incluye el dron (o UAV) 160, el controlador remoto (basado en tierra) 150 y un sistema de comunicaciones inalámbricas 152 entre el controlador remoto 150 y el dron 160.
Simultáneamente, se hace referencia a la Figura 30, que es un diagrama de flujo que ilustra realizaciones de un procedimiento para ayudar al operador humano 120 a volar el dron 160 utilizando el controlador remoto 150. El procedimiento comienza en 3000 y termina en 3010. Nótese que el procedimiento puede ejecutarse durante el tiempo necesario (después del arranque del aparato 100 hasta el apagado) volviendo en bucle a una operación 3002.
Las operaciones no están estrictamente en orden cronológico en la Figura 30, y algunas de las operaciones pueden realizarse simultáneamente o en un orden diferente al indicado. También se pueden ejecutar otras funciones entre las operaciones o dentro de las operaciones y se pueden intercambiar otros datos entre las operaciones. Algunas de las operaciones o parte de las operaciones también podrán omitirse o sustituirse por una operación o parte de la operación correspondiente. Debe notarse que no se requiere ningún orden especial de operaciones, excepto cuando sea necesario debido a los requisitos lógicos del orden de procesamiento. El aparato 100 comprende una interfaz de comunicación de datos internos 108 configurada para recibir 3002 datos relacionados con el vuelo desde el controlador remoto 150. Los datos relacionados con el vuelo pueden incluir datos de telemetría del dron 160. Los datos relacionados con el vuelo pueden incluyen, entre otros: lecturas de sensores como giroscopio y magnetómetro, tasa angular, velocidad, datos de fusión como altitud y posición global, información de la aeronave como batería, cardán y estado de vuelo, etc. Nótese que, dependiendo del entorno del dron, algunos datos también pueden ser recibidos por el aparato 100 directamente desde el dron 160.
La interfaz de comunicación de datos internos 108 se puede implementar usando un transceptor de radio inalámbrico configurado para comunicarse con un transceptor inalámbrico del controlador remoto 150. Las tecnologías para la interfaz de comunicación de datos internos 108 incluyen, pero no se limitan a, una o más de las siguientes: una red de área local inalámbrica (WLAN) implementada utilizando un estándar IEEE 802.11ac o un conjunto de protocolos Wi-Fi, una red de radio de corto alcance como Bluetooth o Bluetooth LE (de Baja Energía), una red de radio celular que emplea un módulo de identidad de suscriptor (SIM) o una eSIM (SIM embebida), u otro medio de conectividad inalámbrica estándar o patentado. Nótese que, en algunos casos de uso, la interfaz de comunicación de datos internos 108 puede utilizar adicional o alternativamente una conexión por cable estándar o patentada tal como un bus aplicable, por ejemplo. Una realización utiliza una conexión por cable de conformidad con el estándar USB (Bus en Serie Universal).
El aparato 100 también comprende una pantalla de realidad aumentada (RA) 112 configurada para mostrar 3004 los datos relacionados con el vuelo al operador humano 120. Nótese que los dibujos de la Figura 2 a la Figura 29 muestran realizaciones específicas, pero además de estas, también se pueden mostrar diversas notificaciones y estados relacionados con el vuelo en la pantalla de realidad aumentada 112.
En los dibujos, la pantalla de realidad aumentada 112 se implementa como una pantalla montada en la cabeza unida con una diadema (o estando montada en un casco) y usada como visera delante de los ojos por el operador humano 120. En los dibujos, la pantalla de realidad aumentada 112 se implementa como una pantalla transparente en la que se muestran imágenes holográficas. En una realización alternativa, la pantalla de realidad aumentada 112 puede emplear cámaras para interceptar la vista del mundo real y mostrar una vista aumentada del mundo real como una proyección.
En una realización, el aparato 100 se implementa usando gafas inteligentes de realidad mixta Microsoft® HoloLens® 2 (o una versión posterior) que emplean lentes holográficas transparentes como la pantalla de realidad aumentada 112, ofreciendo un entorno de desarrollo completo. El aparato montado en la cabeza 100 incluye entonces los procesadores necesarios (incluido un sistema en un chip, una unidad de procesamiento holográfico hecha a la medida y un coprocesador) 102, memorias 104 y software 106, una cámara de profundidad, una cámara de vídeo, lentes de proyección, una unidad de medición inercial (que incluye un acelerómetro, un giroscopio y un magnetómetro), una unidad de conectividad inalámbrica 108, 110 y una batería recargable. Nótese que algunas de estas partes no se ilustran en la Figura 1. Dicho entorno ya preparado ofrece un motor de realidad aumentada 144 configurado para proporcionar las operaciones básicas relacionadas con la fusión del mundo real y la realidad aumentada y el seguimiento de los movimientos de la cabeza y los ojos del operador humano 120, por ejemplo.
Sin embargo, también se pueden usar otras implementaciones aplicables de la pantalla de realidad aumentada 112, que incluyen, entre otras: gafas, una pantalla frontal, lentes de contacto con imágenes de realidad aumentada, etc. En algunas realizaciones, la pantalla de realidad aumentada 112 está configurada para proporcionar una experiencia interactiva en tiempo real de un entorno de vuelo del mundo real 210 y el dron 160 mejorado mediante información de percepción generada por ordenador. Los datos relacionados con el vuelo se superponen (o sobreponen) además del entorno natural 210 y el dron 160.
El aparato 100 también comprende una o más memorias 104 que incluyen el código de programa informático 106, y uno o más procesadores 102 configurados para ejecutar el código de programa informático 106 para hacer que el aparato 100 realice el procesamiento de datos requerido. El procesamiento de datos realizado por el aparato 100 puede interpretarse como un procedimiento o un algoritmo 130.
El término “procesador” 102 se refiere a un dispositivo que es capaz de procesar datos. En una realización, el procesador 102 se implementa como un microprocesador que implementa funciones de una unidad central de procesamiento (CPU) en un circuito integrado. La CPU es una máquina lógica que ejecuta el código de programa informático 106. La CPU puede comprender un conjunto de registros, una unidad lógica aritmética (ALU) y una unidad de control (CU). La unidad de control está controlada por una secuencia del código de programa informático 106 transferido a la CPU desde la memoria (de trabajo) 104. La unidad de control puede contener varias microinstrucciones para operaciones básicas. La implementación de las microinstrucciones puede variar dependiendo del diseño de la CPU. Uno o más procesadores 102 pueden implementarse como núcleos de un único procesador y/o como procesadores separados.
El término “memoria” 104 se refiere a un dispositivo que es capaz de almacenar datos en tiempo de ejecución (= memoria de trabajo) o permanentemente (= memoria no volátil). La memoria de trabajo y la memoria no volátil pueden implementarse mediante una memoria de acceso aleatorio (RAM), una RAM dinámica (DRAM), una RAM estática (SRAM), una memoria flash, un disco de estado sólido (SSD), una PROM (memoria de solo lectura programable), un semiconductor adecuado, o cualquier otro medio para implementar una memoria de ordenador eléctrica.
El código de programa informático 106 se implementa mediante software. En una realización, el software puede escribirse mediante un lenguaje de programación adecuado, y el código ejecutable resultante puede almacenarse en la memoria 104 y ejecutarse mediante uno o más procesadores 102.
El código de programa informático 106 implementa el procedimiento/algoritmo 130. El código de programa informático 106 puede codificarse como un programa informático (o software) usando un lenguaje de programación, que puede ser un lenguaje de programación de alto nivel, tal como C, C++ o Rust, por ejemplo. El código de programa informático 106 puede estar en forma de código fuente, forma de código objeto, archivo ejecutable o en alguna forma intermedia, pero para su uso en uno o más procesadores 102 está en una forma ejecutable como una aplicación 140. Hay muchas maneras estructurar el código de programa informático 106: las operaciones pueden dividirse en módulos, subrutinas, procedimientos, clases, objetos,applets,macros, etc., dependiendo de la metodología de diseño del software y del lenguaje de programación utilizado. En los entornos de programación modernos, existen bibliotecas de software, es decir, compilaciones de funciones listas para usar, que pueden ser utilizadas por el código de programa informático 106 para realizar una amplia variedad de operaciones estándar. Además, un sistema operativo (tal como un sistema operativo de propósito general) puede dotar al código de programa informático 106 con servicios del sistema.
Una realización proporciona un medio legible por ordenador 170 que almacena el código de programa informático 106 que, cuando se carga en uno o más procesadores 102 y se ejecuta por uno o más procesadores 102, hace que el uno o más procesadores 102 realicen el procedimiento/algoritmo 130 descrito en la Figura 30. El medio legible por ordenador 170 puede comprender al menos lo siguiente: cualquier entidad o dispositivo capaz de transportar el código de programa informático 106 a uno o más procesadores 102, un medio de grabación, una memoria de ordenador, una memoria de solo lectura, una señal portadora eléctrica, una señal de telecomunicaciones y un medio de distribución de software. En algunas jurisdicciones, dependiendo de la legislación y la práctica de patentes, el medio legible por ordenador 170 puede no ser la señal de telecomunicaciones. En una realización, el medio legible por ordenador 170 puede ser un medio de almacenamiento legible por ordenador. En una realización, el medio legible por ordenador 170 puede ser un medio de almacenamiento legible por ordenador no transitorio.
Como se muestra en la Figura 1A y en la Figura 1B, el medio legible por ordenador 170 puede llevar el código de programa informático 106 como la aplicación ejecutable 140 para el aparato 100, y como una aplicación ejecutable 142 para que el controlador remoto 150 transmita los datos relacionados con el vuelo al aparato 100. En un entorno típico de drones, tal como DJI®, se puede usar un kit de desarrollo de software para que la aplicación 142 interactúe con el controlador remoto 150.
La Figura 1A ilustra el aparato 100 como una unidad integrada que comprende la pantalla de realidad aumentada 112, la una o más memorias 104 que incluyen el código de programa informático 106 y uno o más procesadores 102.
Sin embargo, como se ilustra en la Figura 1B, el aparato 100 también puede implementarse como un aparato distribuido 100 de modo que el operador humano 120 esté provisto de la pantalla de realidad aumentada 112, pero con una parte de procesamiento separada 180, que está acoplada comunicativamente con la pantalla de realidad aumentada 112 y el controlador remoto 150, y que comprende la una o más memorias 104 que incluyen el código de programa informático 106, y uno o más procesadores 102. Esto puede implementarse de manera que la parte de procesamiento 180 sea un aparato de usuario tal como un teléfono inteligente, una tableta electrónica o un ordenador portátil llevado por el operador humano 120, y el acoplamiento de comunicación puede ser cableado o inalámbrico. Otra implementación es tal que la parte de procesamiento 180 es un servidor informático en red, que interopera con la pantalla de realidad aumentada 112 de acuerdo con una arquitectura cliente-servidor, una arquitectura informática en la nube, un sistema de par a par u otra arquitectura informática distribuida aplicable.
La Figura 2 y la Figura 3 ilustran realizaciones de vistas ofrecidas por la pantalla de realidad aumentada 112 del aparato 100. Nótese que todos los dibujos de la Figura 2 a la Figura 29 ilustran cada caso de uso como una combinación de dos ángulos visuales diferentes.
Examinemos la Figura 2 y la Figura 3 con mayor detalle. Como se muestra, un primer ángulo visual ilustra el vuelo: el operador humano 120 opera el controlador remoto 150 y observa (o mira hacia) 204 el dron 160 en el aire 210 a través del aparato 100, o, expresado con mayor precisión, a través de la pantalla de realidad aumentada 112 del aparato 100. Como se muestra, un segundo ángulo visual ilustra los elementos 200, 202 mostrados en la pantalla de realidad aumentada 112.
Esta convención se utiliza en todos los dibujos de la Figura 2 a la Figura 29: una línea de flecha punteada 204 muestra la dirección hacia la que mira el operador humano 120, normalmente hacia el dron 160 en el aire, pero en algunos casos de uso, el operador humano 120 mira hacia otra dirección tal como hacia el suelo, la dirección de la mirada marcada con líneas de flecha punteada a las que se hace referencia mediante los signos de referencia 600, 1404, 1706, 1804, 2602. Sin embargo, en la realización alternativa mencionada anteriormente, usar las cámaras para interceptar la visión del mundo real y mostrar la vista aumentada del mundo real como la proyección, la dirección de la mirada hacia la pantalla de realidad aumentada 112 puede diferir de la dirección de captura de las cámaras. Por ejemplo, para facilitar la posición de vuelo, el operador humano 120 no necesita inclinar la cabeza para mirar al cielo, pero las cámaras están inclinadas hacia arriba.
Nótese que, en todas las realizaciones descritas, el operador humano 120 está parado en el suelo 500, y el dron 160 está volando en el aire 210. Sin embargo, las realizaciones también son aplicables a otros tipos de entornos, tales como volar el dron 160 en una cueva subterránea, dentro de una estructura hecha por el hombre (tal como un edificio o un túnel), o incluso en casos de uso en los que el dron 160 vuela debajo del operador humano 120, es decir, el operador humano 120, mientras mira 204 hacia el dron 160, mira hacia abajo y no hacia arriba. En tal caso de uso, el operador humano 120 puede estar parado en una plataforma alta (tal como un rascacielos o una montaña), y el dron 160 está volando debajo (tal como sobre las calles o en un valle). Las realizaciones también se pueden aplicar para volar el dron 160 sumergido, es decir, el dron 160 es entonces un vehículo submarino no tripulado (UUV), y el operador humano 120 puede operar el dron 160 desde tierra o desde una embarcación, por ejemplo, mientras el dron está bajo el agua en un río, lago, mar, mina o túnel llenos de agua, etc.
En cierto modo, todos los dibujos de la Figura 2 a la Figura 29 son híbridos que ilustran una realidad aumentada sobre el mundo real. El mundo real se ilustra desde una vista externa (como una vista de otra persona que observa el caso de uso desde fuera del mundo real), mientras que la pantalla de realidad aumentada 112 se ilustra desde una vista en primera persona del operador humano 120.
Volvamos ahora a la Figura 2 y a la Figura 3. En una realización, se hace que el aparato 100 superponga 3006, en la pantalla de realidad aumentada 112, un símbolo de objetivo 200 que indica una posición del dron 160 (en el aire 210 para el UAV) mientras el operador humano 120 está mirando 204 hacia el dron 160 (en el aire 210 para el UAV). En una realización, también se hace que el aparato superponga 3008, en la pantalla de realidad aumentada 112, un símbolo de orientación 202 que indica una orientación del dron 160 (en el aire 210 para el UAV) mientras el operador humano 120 está mirando 204 hacia el dron 160 (en el aire 210 para el UAV).
El uso de la pantalla de realidad aumentada 112 permite al operador humano 120 mirar 204 hacia el dron 160 en el cielo 210 durante el vuelo. Esto mejora la conciencia situacional del operador humano 120 con respecto al vuelo, sin necesidad del observador. El operador humano mantiene un contacto visual (mediante una línea de visión) con el dron 160 en el aire 210, pero también se le muestran simultáneamente datos de aviación en posiciones mundiales correctas reales, como se explicará más adelante.
El símbolo de objetivo 200 indica la posición del dron 160 en el aire 210, lo que facilita que el operador humano 120 rastree el dron 160 durante el vuelo. En una realización, el símbolo de objetivo 200 es una retícula como se ilustra. La retícula 200 se usa comúnmente en una mira telescópica de un arma de fuego. La retícula 200 puede incluir una combinación de un círculo 300 y una cruz parcial 302 como se muestra en la Figura 3, pero también se pueden usar otros patrones tales como puntos, postes, chevrones, etc.
El símbolo de orientación 202 indica la orientación del dron 160 en el aire 210, lo que hace que sea más fácil para el operador humano 120 comprender el efecto de las órdenes de dirección dadas con el controlador remoto 150 hacia el dron 160 durante el vuelo. En una realización, el símbolo de orientación 202 es una flecha como se ilustra. Como se muestra en la Figura 3, la flecha 202 puede aumentarse con un arco 304, que ilustra una parte de un círculo de 360 grados alrededor del operador humano 120. La flecha 202 puede señalar un rumbo del dron 160 como se explicará más adelante.
En la pantalla de realidad aumentada 112, el símbolo de objetivo 200 y el símbolo de orientación 202 del mundo digital se mezclan en la percepción del operador humano 120 del mundo real, a través de la integración de sensaciones inmersivas, que se perciben como partes naturales del entorno de vuelo 210.
Estudiemos a continuación la Figura 4, la Figura 5, la Figura 6, la Figura 7, la Figura 8 y la Figura 9, que ilustran realizaciones de una orientación del dron 160.
En una realización, el símbolo de orientación 202 está configurado para señalar una dirección predeterminada fijada en relación con la orientación del dron 160 en el aire 210. Como el operador humano 120 es consciente de la dirección predeterminada, es fácil para que el operador humano 120 comprenda la forma en que las órdenes de dirección dadas con el controlador remoto 150 influyen en el vuelo. Como se muestra en la Figura 3, el controlador remoto 150 puede incluir dos palancas de mando 310, 312, por ejemplo, para dar las órdenes de dirección. Naturalmente, también son compatibles otros tipos de disposiciones de dirección con las realizaciones descritas. Sin embargo, el controlador remoto 150 puede controlar el dron 160 en varios grados de libertad: un giro, que inclina el dron 160 hacia la izquierda o hacia la derecha, un cabeceo, que inclina el dron 160 hacia adelante o hacia atrás, y un bandazo, que hace girar el dron 160 en sentido de las agujas del reloj o contrario a las agujas del reloj. Además, un control de altitud controla el dron 160 para que vuele más alto o más bajo. Nótese que algunos elementos de interfaz de usuario del controlador remoto 150 pueden programarse para interactuar con el aparato 100 de modo que las operaciones de interfaz de usuario del aparato 100, además de realizarse en el entorno de realidad aumentada, también pueden realizarse con elementos (físicos) de interfaz de usuario del controlador remoto 150.
En una realización ilustrada en la Figura 4, la dirección predeterminada se fija con relación a un rumbo 400 del dron 160. En navegación, el rumbo 400 del dron 160 es una dirección de la brújula en la que apunta la punta del dron 160. Nótese que el dron 160, al ser un cuadricóptero (= un helicóptero con cuatro rotores), por ejemplo, puede no tener una punta "natural", en cuyo caso una dirección del dron 160 se define simplemente como la punta.
La Figura 5 ilustra los diversos sistemas de coordenadas 502, 504, 506 que necesitan estar relacionados entre sí para permitir las realizaciones. Un sistema de coordenadas mundial 502 define una visualización de modelo mundial tridimensional, que se asigna a un sistema de coordenadas 504 del aparato 100 y a un sistema de coordenadas 506 del dron 160. El aparato 100 luego muestra la realidad aumentada usando su propio sistema de coordenadas 504 sino que también ilustra la posición del dron 160 y la posición del operador humano 120 en el sistema de coordenadas mundial 502.
En una realización ilustrada en la Figura 5 y la Figura 6, se hace que el aparato 100 realice:
- obtener una posición del dron 160 en el suelo 500 en el sistema de coordenadas mundial 502;
- obtener una posición del dron 160 en el suelo 500 en el sistema de coordenadas de realidad aumentada 504 del aparato 100;
- bloquear la posición del dron 160 en el sistema de coordenadas de realidad aumentada 504 con la posición del dron 160 en el sistema de coordenadas mundial 502;
- obtener el rumbo 400 del dron 160 en el suelo 500; y
- establecer el rumbo 400 como una orientación de un símbolo de rumbo de calibración en el sistema de coordenadas de realidad aumentada 504 del aparato 100.
De esta manera, el sistema de coordenadas de realidad aumentada 504 que rastrea constantemente cualquier movimiento de la cabeza del operador humano 120, ahora está firmemente basado en las coordenadas mundiales 502, y también sigue las direcciones de brújula reales 602. Por lo tanto, se logra el acoplamiento de la latitud y la longitud mundiales (x y z del sistema de coordenadas mundial 502) y la información de rumbo de brújula 602 en la presentación de realidad aumentada.
En una realización adicional específica, se hace que el aparato 100 realice:
- obtener (desde el controlador remoto 150 o desde el dron 160), la posición del dron 160 en el suelo 500 en el sistema de coordenadas mundial 502;
- superponer, en la pantalla de realidad aumentada 112, un símbolo de posición de calibración;
- recibir un primer reconocimiento de usuario después de que el símbolo de posición de calibración se coloque en el dron 160 (tal como en un centro del dron 160 o en otro punto predeterminado en el dron 160); - obtener (a partir del motor de realidad aumentada 144), la posición del dron 160 en el suelo 500 en el sistema de coordenadas de realidad aumentada 504 del aparato 100;
- bloquear la posición del dron 160 en el sistema de coordenadas de realidad aumentada 504 con la posición del dron 160 en el sistema de coordenadas mundial 502;
- obtener (desde el controlador remoto 150 o desde el dron 160), el rumbo 400 del dron 160 en el suelo 500; - superponer, en la pantalla de realidad aumentada 112, un símbolo de orientación de calibración;
- recibir un segundo reconocimiento de usuario después de que el símbolo de orientación de calibración esté alineado con el dron 160 (tal como con una línea de cola-punta del dron 160 o con otra orientación predeterminada del dron 160); y
- establecer el rumbo 400 como la orientación del símbolo de orientación de calibración en el sistema de coordenadas de realidad aumentada 504 del aparato 100.
En primer lugar, se muestra al sistema de realidad aumentada la posición del dron 160 en el sistema de coordenadas mundial 502, y la posición del dron 160 en relación con el sistema de coordenadas de realidad aumentada 504. Al indicar que el centro del dron 160 está situado en este punto exacto dentro del campo de visión de realidad aumentada 112, con indicadores de realidad aumentada, ese punto ahora se conoce tanto en el sistema de coordenadas de mundo real 502 como en las coordenadas de sistema de realidad aumentada 504. Con esta combinación, se crea una posición común fija con la latitud mundial y se obtiene información de longitud. Esta latitud y longitud provienen del dron 160, ya que conoce en este momento sus coordenadas exactas (proporcionadas por GPS u otro sistema de navegación global por satélite, o por otra tecnología de posicionamiento como un posicionamiento basado en radio celular). Un puntero de realidad aumentada u otro tipo de símbolo de posición de calibración puede indicar una posición en la pantalla de realidad aumentada 112 para el operador humano 120. Cuando se muestra la ubicación del dron 160, este puntero, que se mueve a una distancia fija delante del operador humano 120 y apunta hacia abajo, es guiado para estar encima del centro del dron 160. Se mantiene firme para confirmar la posición, lo que luego bloquea los sistemas de coordenadas 502, 504 juntos. Alternativamente, esto también se puede hacer usando una visión artificial, simplemente viendo el dron 160 y descifrando su lugar en el sistema de coordenadas de realidad aumentada 504, luego bloqueando la latitud, longitud e incluso dirigiendo el dron 160 en esa forma. Mostrar la posición del dron 160 se puede hacer de muchas maneras, pero debe hacerse con confianza para bloquear el mundo y los sistemas de coordenadas de realidad aumentada 502, 504 juntos de manera confiable.
En segundo lugar, dado que el dron 160 sabe hacia dónde apunta su punta, es decir, el dron 160 le dice el rumbo de su brújula en grados, esto puede usarse para finalizar el acoplamiento de los sistemas de coordenadas 502, 504. El sistema de realidad aumentada es se utiliza para alinear una línea mostrada u otro tipo de símbolo de orientación de calibración con una línea de cola-punta del dron 160, y cuando esto se logra, ahora se conoce esta orientación de brújula de la línea mostrada en el sistema de coordenadas mundial 502. De este modo, a partir de ello, se puede calcular el rumbo de brújula mundial en cualquier dirección, por ejemplo, hacia el Norte.
Como una etapa opcional, en el momento en que se obtiene la posición mundial (latitud, longitud) del dron 160, también se puede consultar una altitud exacta (y en el sistema de coordenadas mundial 502) desde un sistema de mapas basado en las coordenadas mundiales exactas 502, o desde el propio dron 160, posiblemente a través del controlador remoto 150. Por lo tanto, también podemos calibrar una altitud para este punto en el espacio (con un desplazamiento específico del dron de la superficie superior del dron 160 desde el suelo 500, si se necesita una precisión exacta), y así utilizar los datos de mapa para determinar con precisión la altitud del suelo de cualquier otro punto mundial a partir de ese momento. En resumen, es posible que se necesiten la latitud, la longitud, posiblemente la altitud y el rumbo de brújula para lograr el bloqueo mundial.
Después de este acoplamiento, todo lo demás en el sistema completo se construye en torno al conocimiento de dónde está realmente el dron 160 en las coordenadas mundiales 502 y qué hay exactamente a su alrededor en el mundo. Nótese que las realizaciones descritas relacionadas con el acoplamiento pueden operar como realizaciones independientes, independientemente de todas las demás realizaciones, también aquellas descritas en relación con las reivindicaciones independientes y otras reivindicaciones dependientes.
Los datos relacionados con el vuelo se mapean en las coordenadas mundiales 502 y, por consiguiente, se muestran 3004, 3006, 3008 para que su visualización aproveche el conocimiento de su posición tridimensional expresada en el sistema de coordenadas mundiales 502, que está bloqueado al sistema de coordenadas de realidad aumentada 504.
En una realización, ilustrada en la Figura 7, el conocimiento de la situación puede mejorarse aún más con información numérica. Se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, una altitud de crucero 704 del dron 160 usando un valor numérico y una escala 700 acoplada visualmente con el símbolo de objetivo 200 mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. Como se muestra en la Figura 7, la escala 700 puede incluir líneas horizontales, cada una de las cuales indica una altitud específica. También se hace que el aparato superponga, en la pantalla de realidad aumentada 112, un rumbo 706 del dron 160 en grados 702 acoplado visualmente con el símbolo de orientación 202 mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. puede ser útil para un operador humano experto 120.
En una realización ilustrada en la Figura 8, se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, una directriz de línea de visión indirecta 800 que se extiende horizontalmente hasta la ubicación geográfica del dron 160 en el suelo 500, desde la cual la directriz de línea de visión indirecta 802 continúa extendiéndose verticalmente hasta el símbolo de objetivo 200 en una altitud de crucero del dron 160 en el aire 210 mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. Esto puede mejorar aún más el conocimiento de la situación, ya que el operador humano 120 puede primero observar la directriz horizontal 800 para ver la ubicación geográfica del dron 160 en la superficie terrestre 500, y luego observar la directriz vertical 802 para captar dónde está el dron 160 en el aire 210.
En una realización ilustrada en la Figura 9, se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, un símbolo de pista 900 que indica una pista 902 y una velocidad del dron 160 en el aire 210 mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. En navegación, la pista 902 es una ruta que realmente recorre el dron 160. Una diferencia entre el rumbo 400 y la pista 902 es provocada por un movimiento del aire 210 (tal como por una corriente de aire). Al mostrar la pista 902 y la velocidad, el operador humano 120 prevé un efecto del control actual, que luego puede ajustarse según sea necesario.
A continuación, estudiaremos la Figura 10, la Figura 11 y la Figura 12, que ilustran realizaciones de visualización de un obstáculo en relación con el dron 160.
En una realización ilustrada en la Figura 10, se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, un símbolo indicador de obstrucción 1000 configurado para representar una distancia 1002 del dron 160 a un objeto real 1004 mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. La distancia 1002 puede ser la distancia más corta entre el dron 160 y el objeto real 1004. Como se muestra en la Figura 10, el símbolo indicador de obstrucción 1000 puede marcar la distancia usando una flecha, posiblemente aumentada por un valor numérico que indica la distancia 1002. El objeto real 1004 puede ser un objeto hecho por el hombre tal como un edificio, un puente, etc., o un objeto natural como una colina, un bosque, etc.
La Figura 11 ilustra una realización adicional, en la que el símbolo indicador de obstrucción 1000 comprende un indicador visual 1100 superpuesto al menos parcialmente sobre el objeto real 1004. Como se muestra en la Figura 11, el indicador visual 1100 puede ser un sombreado o un efecto visual similar superpuesto al objeto real 1004. De esta manera, el operador humano 120 reconoce inmediatamente un peligro de colisión cuando el dron 160 se acerca al objeto 1004.
La Figura 12 ilustra una realización adicional, aplicable a la realización de la Figura 10 o la realización de la Figura 11. El símbolo indicador de obstrucción 1200 comprende elementos que representan una distancia horizontal 1202 y vertical 1204 más corta desde el dron 160 al objeto real 1206. De esta manera, se puede reconocer un efecto del movimiento tanto vertical como horizontal del dron 160 para evitar una colisión con el objeto real 1206.
A continuación, estudiaremos la Figura 13, que ilustra realizaciones de visualización de un punto de ruta en relación con el dron 160. Se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, un mapa 1300 que muestra una ubicación geográfica 1302 del operador humano 120, una ubicación geográfica 1304 del dron 160 y un punto de ruta 1306. De esta manera, el operador humano 120 tiene intuitivamente una mejor comprensión del entorno relacionado con el vuelo. Como se muestra en la Figura 13, el mapa 1300 y el dron 160 pueden estar simultáneamente dentro del campo de visión del operador humano 120, y la mirada puede alternar siendo dirigida 204 hacia el dron o siendo dirigida 1310 hacia el mapa 1300. También se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, un símbolo de punto de ruta vertical 1308 que comienza desde una ubicación geográfica del punto de ruta 1306 en el suelo 500 y se extiende hacia una altitud predeterminada del punto de ruta 1306 mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. Una parte estrecha del símbolo de punto de ruta 1308 puede señalar con precisión la ubicación geográfica en el suelo 500, mientras que una parte más amplia del símbolo de punto de ruta 1308 puede indicar la altitud establecida del punto de ruta en el aire 210. De esta manera, el símbolo de punto de ruta 1308 se muestra en la ubicación correcta del mundo real.
A continuación, la Figura 14 y la Figura 15 ilustran realizaciones de visualización de datos capturados por el dron 160. Se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, uno o más elementos visuales 1400 capturados en tiempo real usando uno o más sensores 1402 a bordo del dron 160 en las proximidades del símbolo de objetivo 200 mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210, y posiciona, en la pantalla de realidad aumentada 112, uno o más elementos visuales 1400 de modo que una línea de visión permanezca sin obstrucciones mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. Los elementos visuales 1400 pueden colocarse a cualquier lado del símbolo de objetivo 200 como se muestra, pero también en cualquier lugar alrededor del símbolo de objetivo 200. En cualquier caso, el operador humano 120 puede echar un vistazo rápidamente 1404 a los elementos visuales 1400, pero principalmente mirar 204 hacia el dron 160 y simultáneamente dirigir el dron 170. En la realización ilustrada, un sensor de imagen 1402 captura imágenes o una señal de vídeo como datos, que luego se superpone como el elemento visual 1400 en la pantalla de realidad aumentada 112. De esta manera, el operador humano 120 puede dirigir el dron 120 para que el sensor de imagen 1402 capture la vista deseada. Nótese que el sensor de imagen puede operar como una cámara de luz visible (normal), como una cámara fotográfica o una cámara de vídeo. Además, el sensor de imagen puede operar, por ejemplo, como cámara térmica (o infrarroja), cámara multiespectral, cámara hiperespectral o cámara de descarga en corona. El uno o más sensores 1402 a bordo del dron 160 pueden comprender, entre otras, una o más de las siguientes tecnologías: un sensor lidar (detección y alcance de luz, o imágenes, detección y alcance láser, o escaneo láser 3-D), un sensor de sonar (navegación por sonido y alcance), un sensor de radar (detección y alcance de radio), un sensor químico, un sensor biológico, un sensor de radiación, un sensor de partículas, un sensor magnético, un sensor de intensidad de señal de red, etc. El dron 160 puede llevar cualquier combinación de estos sensores 1402 como carga útil, cuyos datos luego se visualizan como se explica con uno o más elementos visuales 1400 colocados dinámicamente.
La Figura 16 y la Figura 17 ilustran realizaciones de visualización de mapas relacionados con el vuelo del dron
160. El operador humano 120 puede elegir el diseño del mapa 1600, 1700, o el aparato 100 puede decidir automáticamente qué diseño usar dependiendo de la situación de vuelo. Se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, un mapa 1600 en un diseño vertical que muestra una ubicación geográfica 1602 del operador humano 120 y una ubicación geográfica 1604 del dron 160 en las proximidades del símbolo de objetivo 200 en la pantalla de realidad aumentada 112 mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. Alternativamente, se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, un mapa 1700 en un diseño horizontal que muestra una ubicación geográfica 1702 del operador humano 120 y una ubicación geográfica 1704 del dron 160 mientras el operador humano 120 mira 1706 hacia el suelo 500. Al usar el mapa de diseño vertical 1600, se puede retener el conocimiento de la situación en todo momento mientras el operador humano mira 204 hacia el dron 160 y mira el mapa 1600 al costado. Al usar el mapa de diseño horizontal 1700, el operador humano 120 necesita mirar 1706 hacia el suelo 500, pero como se muestra, el mapa 1700 puede mostrarse más grande y más intuitivamente ya que la superficie del mapa 1700 es paralela a la superficie terrestre 500.
La Figura 17 también ilustra que los mapas usados 1700 pueden ser mapas topográficos tridimensionales que ilustran también los datos de altitud representados por los edificios tridimensionales 1708.
La Figura 18 y la Figura 19 ilustran realizaciones de visualización de estructuras de menú del aparato 100. Se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, una estructura de menú 1800 alrededor del operador humano 120 mientras el operador humano 120 mira 1804 hacia el suelo 500. Se hace que el aparato 100 detecte un gesto 1802 del operador humano 120 como un comando relacionado con la estructura de menú 1800, y controle, en la pantalla de realidad aumentada 112, la visualización 1900 de los datos relacionados con el vuelo basándose en el comando. De esta manera, el operador humano 120 puede manipular rápidamente el aparato 100. Como se muestra, en la Figura 18, se muestra la visualización básica del símbolo de objetivo 200 y el símbolo de orientación 202, mientras que en la Figura 19, el operador humano 120 ha elegido de la estructura de menú 1800 mostrar la altitud de crucero del dron 160 usando el valor numérico y la escala 700 acoplada visualmente con el símbolo de objetivo 200 como se explicó anteriormente con referencia a la Figura 7.
La Figura 20, la Figura 21 y la Figura 22 ilustran realizaciones de visualización de datos externos relacionados con un entorno físico del dron 160.
Como se muestra en la Figura 1A y la Figura 1B, el aparato 100 comprende una interfaz de comunicación de datos externos 110 configurada para recibir datos externos 114 relacionados con un entorno físico del dron 160.
Nótese que la interfaz de comunicación de datos externos 110 puede implementarse en una realización usando la interfaz de comunicación de datos internos 108. Se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, una o más visualizaciones 2000 de los datos externos 114. De esta manera, el aparato
100 puede aumentar el conocimiento de la situación del operador humano 120 incorporando fuentes de datos externas a la interfaz de usuario única implementada por la pantalla de realidad aumentada 112. Como se explicó anteriormente, los datos externos 114 se asignan a las coordenadas mundiales 502 y, por consiguiente, se muestran para que su visualización aproveche el conocimiento de su posición tridimensional expresada en el sistema de coordenadas mundiales 502, que está bloqueado en el sistema de coordenadas de realidad aumentada 504. Además de obtener datos externos de diversas fuentes, la interfaz de comunicación de datos externos 110 también se puede usar para comunicar datos relacionados con el vuelo a receptores exteriores
116, incluyendo los datos que se transmiten, pero sin limitarse a: la posición del dron 160, el habla del operador humano 120, una o más transmisiones de vídeo del dron 160, etc.
Como se muestra en la Figura 20, los datos externos 114 pueden comprender datos meteorológicos, y la una o más visualizaciones 2000 representan los datos meteorológicos. En una realización, los datos meteorológicos incluyen información sobre la velocidad y la dirección del viento. La dirección puede indicarse mediante flechas y la velocidad puede indicarse mediante una escala de flechas como se muestra o, alternativamente, mediante un valor numérico. Adicional o alternativamente, los datos meteorológicos pueden incluir uno o más de los siguientes: turbulencias (predichas o conocidas), humedad, visualizaciones de nubes, avisos de lluvia, avisos de granizo, avisos de nieve, avisos de tormenta, avisos sobre relámpagos, condiciones de iluminación (tiempo de día, posición del sol y/o de la luna), niebla, temperatura y presión del aire, visibilidad, punto de rocío (importante para los pilotos de aviación), temperatura "sensible". Y todo esto también puede estar ligado al tiempo, es decir, se pueden visualizar las predicciones meteorológicas, por ejemplo, los frentes de nubes entrantes y los cambios de viento.
Como se muestra en la Figura 21, los datos externos pueden comprender 114 datos de control de tráfico aéreo que incluyen clasificaciones de espacios aéreos, y una o más visualizaciones 2100, 2102 representan la clasificación del espacio aéreo que coincide con la posición del dron 160 en el aire 210. Como se muestra, un espacio aéreo libre 2100 puede marcarse con "I", y un espacio aéreo restringido 2102 puede marcarse con "II" y un rectángulo sombreado como se muestra o con otra forma tridimensional (tal como una malla poligonal) o incluso con una forma bidimensional (como un polígono). En general, las clasificaciones del espacio aéreo pueden incluir, entre otras: zonas de prohibición de vuelo de drones (áreas, volúmenes), reservas y notificaciones de espacios aéreos para operaciones de drones y/u otras operaciones de aviación, zonas de control de aeródromos, zonas de control del espacio aéreo, líneas eléctricas y otros obstáculos, zonas fronterizas del país, todos los anteriores en diferentes altitudes, zonas de advertencia/peligro/restringidas, áreas reservadas para UAV, áreas reservadas para UAS, áreas reservadas para aeromodelismo. Se puede visualizar un mapa de aviación usando una malla poligonal tridimensional con varias paredes, techos, niveles de vuelo, etc., todos los cuales están en sus lugares correctos como se ve en la pantalla de realidad aumentada 112.
Como se muestra en la Figura 22, los datos externos pueden comprender 114 datos de control de tráfico aéreo que incluyen posiciones de la aeronave 2200 en el aire 210, y la una o más visualizaciones 2202, 2204 representan las posiciones de la aeronave 2200 en el aire 210. En una realización, la una o más visualizaciones 2202, 2204 se muestran para la aeronave 2200 que vuela dentro de una distancia predeterminada (tal como dentro de un radio de 3, 5 o 10 kilómetros, por ejemplo) desde la posición del dron 160 en el aire 210. Las visualizaciones pueden implementarse con las flechas 2202, 2204 indicando la ubicación de la aeronave 2200, y adicional o alternativamente se puede mostrar una simulación de la aeronave 2200.
La Figura 23, la Figura 24, la Figura 25, la Figura 26 y la Figura 27 ilustran realizaciones de visualización de una línea de visión hacia el dron 160 durante diferentes visibilidades.
En una realización de la Figura 23, se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, los datos relacionados con el vuelo mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210 con una línea de visión visual hacia el dron 160 durante una buena visibilidad. Ésta es la situación de vuelo ideal.
En una realización de la Figura 24, se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, los datos relacionados con el vuelo mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210 con una línea de visión aumentada hacia el dron 160 durante una visibilidad reducida. La línea de visión aumentada se puede lograr guiando al operador humano 120 para que mire en la dirección correcta con el símbolo de objetivo 200. Opcionalmente, se puede mostrar un dron simulado 160 en la posición correcta. La visibilidad reducida puede deberse a condiciones de poca luz, nubes, niebla, esmog, lluvia, nevadas o algún otro fenómeno físico.
En una realización de la Figura 25, se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, los datos relacionados con el vuelo mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210 con una línea de visión aumentada y simulada hacia el dron 160 durante una visibilidad obstruida. La visibilidad obstruida puede ser causada por un obstáculo 2502, es decir, el dron 160 está detrás del obstáculo 2502. El obstáculo 2502 puede ser el objeto real 1004 de la Figura 10 y la Figura 11, es decir, el obstáculo 2502 puede ser un objeto hecho por el hombre tal como un edificio, un puente, etc., o un objeto natural tal como una colina, un bosque, etc. El aumento se logra guiando al operador humano 120 a que mire en la dirección correcta con el símbolo de objetivo 200 y la simulación mostrando un dron simulado 160 en la posición correcta.
En una realización, se hace que el aparato 100 superponga, en la pantalla de realidad aumentada 112, los datos relacionados con el vuelo mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210 con una línea de visión aumentada hacia el dron 160 durante una visibilidad de larga distancia. Esto no se muestra en ningún dibujo, pero básicamente el dron 160 está entonces en lo alto del cielo, o cerca del horizonte, por ejemplo, y el operador humano 120 es guiado para mirar en la dirección correcta con el símbolo de objetivo 200, por lo que el operador humano 120 puede que sólo vea el dron 160 como un objeto diminuto en la distancia. En una realización ilustrada en la Figura 26 y la Figura 27, se hace que el aparato 100 ajuste 2700, en la pantalla de realidad aumentada 112, la visualización 2600 de los datos relacionados con el vuelo de modo que una línea de visión 2602 permanezca sin obstrucciones mientras el operador humano 120 está mirando 204 hacia el dron 160 en el aire 210. En la Figura 26, el operador humano 120 sigue mirando 204 hacia el dron 160 con una línea de visión libre 2602. Sin embargo, a medida que el dron desciende 2604, el mapa 2600 eventualmente obstruiría la línea de visión 2602. Como se muestra en la Figura 27, el dron 160 vuela ahora relativamente bajo, pero la línea de visión 2602 permanece libre debido al movimiento 2700 del mapa 2600 hacia la izquierda.
Por último, estudiemos la Figura 28 y la Figura 29, que ilustran realizaciones de un sistema que comprende dos aparatos 100, 2800.
Se usa un primer aparato 100 para ayudar a un primer operador humano 120 a volar el dron 160 en el aire usando 210 el controlador remoto 150.
Una primera ubicación geográfica 2814 del primer operador humano 120 en relación con la posición del dron 160 en el aire 210 se usa para ajustar un primer punto de vista para representar los datos relacionados con el vuelo que incluye un primer símbolo de objetivo 200 y un primer símbolo de orientación 202 que se superpondrá en una primera pantalla de realidad aumentada 112 del primer aparato 100.
Como se ilustra en la Figura 28, se usa un segundo aparato 2800 para informar a un segundo operador humano 2802 en relación con el vuelo del dron 160 en el aire 210.
Una segunda ubicación geográfica 2804 del segundo operador humano 2802 en relación con la posición del dron 160 en el aire 210 se usa para ajustar un segundo punto de vista para representar los datos relacionados con el vuelo que incluye un segundo símbolo de objetivo 2806 y un segundo símbolo de orientación 2808 que se superpondrá en una segunda pantalla de realidad aumentada 2810 del segundo aparato 2800.
De esta manera, el segundo operador humano 2802 puede al menos observar 2812 el vuelo del dron 160 en el aire 210. Esto puede ser útil sólo por diversión, con fines educativos, para pasar una prueba para una licencia de vuelo, para vigilancia, para rastrear a una persona desaparecida o incluso para ayudar al primer operador humano 120, por ejemplo. A uno o ambos operadores 120, 2802 también se les puede proporcionar uno o más elementos visuales en función de los datos capturados en tiempo real usando uno o más sensores 1402 a bordo del dron 160 como se explicó anteriormente.
En una realización ilustrada en la Figura 29, el segundo aparato 2800 se usa para ayudar al segundo operador humano 2802 en relación con el control 2902 de uno o más sensores 1402 a bordo del dron 160, mientras que el primer operador humano 120 controla la dirección de vuelo 2908 y la velocidad del dron 160.
Por ejemplo, si el sensor 1402 es un sensor de imagen como se describió anteriormente, la segunda ubicación geográfica 2804 del segundo operador humano 2802 se usa para ajustar el segundo punto de vista para representar los datos relacionados con el vuelo, incluyendo también una o más transmisiones de vídeo capturadas en tiempo real desde la una o más cámaras de vídeo 2900 a bordo del dron 160 para superponerse en la segunda pantalla de realidad aumentada 2810 del segundo aparato 2800. Como se muestra en la Figura 29, una o más transmisiones de vídeo 2904 se superponen en la segunda pantalla de realidad aumentada 2810. Nótese que el caso de uso de la Figura 29 también puede ser tal que a ambos operadores 120, 2802 se les pueda mostrar la misma información en las pantallas de realidad aumentada 112, 2810, y como ambos tienen controladores remotos 150, 2906, la responsabilidad del vuelo puede transferirse sin problemas sobre la marcha entre los operadores 120, 2906. Esto puede resultar especialmente útil durante una sesión de entrenamiento o durante una misión larga. También se prevé que en un espacio aéreo especialmente peligroso o restringido, un piloto autorizado 2802 pueda pilotar el dron 160 de forma segura y, posteriormente, el operador (original) 120 recupere el control del dron 160.
Nótese que los escenarios de la Figura 28 y la Figura 29 no se limitan a que el segundo operador humano 2802 esté físicamente presente cerca del dron 160 y el primer operador humano 120. Como se explicó anteriormente, la interfaz de comunicación de datos externos 110 puede comunicar datos relacionados con el vuelo al receptor exterior 116. El receptor exterior 116 puede ser un servidor informático en red, que interopera con el primer aparato 100 y el segundo aparato 2800 de acuerdo con una arquitectura cliente-servidor, una arquitectura informática en la nube, un sistema de par a par u otra arquitectura informática distribuida aplicable. De esta manera, el segundo operador humano 120 puede estar lejos, incluso en una ciudad, país o continente diferente, y aún ser capaz de observar o incluso ayudar, tal como se ha descrito. Naturalmente, los retrasos en la transmisión de datos deben minimizarse y tenerse en cuenta, especialmente si el segundo operador humano remoto 2802 está controlando 2902 uno o más sensores 1402, por ejemplo.
Aunque la invención ha sido descrita con referencia a una o más realizaciones de conformidad con los dibujos adjuntos, está claro que la invención no se limita a los mismos, sino que puede modificarse de varias maneras dentro del alcance de las reivindicaciones adjuntas. Todas las palabras y expresiones deben interpretarse de manera amplia y su objetivo es ilustrar, no restringir, las realizaciones. Será obvio para un experto en la técnica que, a medida que avanza la tecnología, el concepto inventivo se puede implementar de varias maneras.

Claims (22)

REIVINDICACIONES
1. Un aparato (100) para ayudar a un operador humano (120) a volar un dron (160) usando un controlador remoto (150), que comprende:
una interfaz de comunicación de datos internos (108) configurada para recibir datos relacionados con el vuelo desde el controlador remoto (150);
una pantalla de realidad aumentada (112) configurada para mostrar los datos relacionados con el vuelo al operador humano (120);
una o más memorias (104) que incluyen código de programa informático (106); y
uno o más procesadores (102) configurados para ejecutar el código de programa informático (106) para hacer que el aparato (100) realice al menos lo siguiente:
superponer, en la pantalla de realidad aumentada (112), un símbolo de objetivo (200) que indica una posición del dron (160) mientras el operador humano (120) está mirando (204) hacia el dron (160);
superponer, en la pantalla de realidad aumentada (112), un símbolo de orientación (202) que indica una orientación del dron (160) mientras el operador humano (120) está mirando (204) hacia el dron (160);
superponer, en la pantalla de realidad aumentada (112), un mapa (1300) que muestra una ubicación geográfica (1302) del operador humano (120), una ubicación geográfica (1304) del dron (160) y un punto de ruta (1306); y
superponer, en la pantalla de realidad aumentada (112) un símbolo de punto de ruta vertical (1308) que comienza desde una ubicación geográfica del punto de ruta (1306) en el suelo (500) y se extiende hacia una altitud predeterminada del punto de ruta (1306) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
2. El aparato de la reivindicación 1, en el que el símbolo de orientación (202) está configurado para señalar una dirección predeterminada fijada en relación con la orientación del dron (160) en el aire (210).
3. El aparato de la reivindicación 2, en el que la dirección predeterminada está fijada en relación con un rumbo (400) del dron (160).
4. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
obtener una posición del dron (160) en el suelo (500) en un sistema de coordenadas mundial (502); obtener una posición del dron (160) en el suelo (500) en un sistema de coordenadas de realidad aumentada (504) del aparato (100);
bloquear la posición del dron (160) en el sistema de coordenadas de realidad aumentada (504) con la posición del dron (160) en el sistema de coordenadas mundial (502);
obtener un rumbo (400) del dron (160) en el suelo (500); y
establecer el rumbo (400) como una orientación de un símbolo de rumbo de calibración en el sistema de coordenadas de realidad aumentada (504) del aparato (100).
5. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
superponer, en la pantalla de realidad aumentada (112), una altitud de crucero (704) del dron (160) usando un valor numérico y una escala (700) acoplada visualmente con el símbolo de objetivo (200) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210); y superponer, en la pantalla de realidad aumentada (112), un rumbo (706) del dron (160) en grados (702) acoplado visualmente con el símbolo de orientación (202) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
6. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
superponer, en la pantalla de realidad aumentada (112), una directriz de línea de visión indirecta (800) que se extiende horizontalmente hasta la ubicación geográfica del dron (160) en el suelo (500), desde la cual la directriz de línea de visión indirecta (802) continúa extendiéndose verticalmente hasta el símbolo de objetivo (200) en una altitud de crucero del dron (160) en el aire (210) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
7. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
superponer, en la pantalla de realidad aumentada (112), un símbolo de pista (900) que indica una pista (902) y una velocidad del dron (160) en el aire (210) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
8. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
superponer, en la pantalla de realidad aumentada (112), un símbolo indicador de obstrucción (1000) configurado para representar una distancia (1002) del dron (160) a un objeto real (1004) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
9. El aparato de la reivindicación 8, en el que el símbolo indicador de obstrucción (1000) comprende un indicador visual (1100) superpuesto al menos parcialmente sobre el objeto real (1004).
10. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
superponer, en la pantalla de realidad aumentada (112), uno o más elementos visuales (1400) basados en datos capturados en tiempo real usando uno o más sensores (1402) a bordo del dron (160) en las proximidades del símbolo de objetivo (200) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210); y
posicionar, en la pantalla de realidad aumentada (112), uno o más elementos visuales (1400) de modo que una línea de visión permanezca sin obstrucciones mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
11. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
superponer, en la pantalla de realidad aumentada (112), un mapa (1600) en un diseño vertical que muestra una ubicación geográfica (1602) del operador humano (120) y una ubicación geográfica (1604) del dron (160) en las proximidades del símbolo de objetivo (200) en la pantalla de realidad aumentada (112) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210); o
superponer, en la pantalla de realidad aumentada (112), un mapa (1700) en un diseño horizontal que muestra una ubicación geográfica (1702) del operador humano (112) y una ubicación geográfica (1704) del dron (160) mientras que el operador humano (120) está mirando (1706) hacia el suelo (500).
12. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
superponer, en la pantalla de realidad aumentada (112), una estructura de menú (1800) alrededor del operador humano (120) mientras el operador humano (120) está mirando (1804) hacia el suelo (500); detectar un gesto (1802) del operador humano (120) como un comando relacionado con la estructura de menú (1800); y
controlar, en la pantalla de realidad aumentada (112), la visualización (1900) de los datos relacionados con el vuelo en función del comando.
13. El aparato de cualquier reivindicación precedente, en el que el aparato (100) comprende:
una interfaz de comunicación de datos externos (110) configurada para recibir datos externos (114) relacionados con un entorno físico del dron (160);
en el que se hace que el aparato (100) realice:
superponer, sobre la pantalla de realidad aumentada (112), una o más visualizaciones (2000) de los datos externos (114).
14. El aparato de la reivindicación 13, en el que los datos externos (114) comprenden datos meteorológicos, y la una o más visualizaciones (2000) representan los datos meteorológicos.
15. El aparato de la reivindicación 13 o 14, en el que los datos externos (114) comprenden datos de control de tráfico aéreo que incluyen clasificaciones de espacios aéreos, y la una o más visualizaciones (2100, 2102) representan la clasificación del espacio aéreo que coincide con la posición del dron (160) en el aire (210).
16. El aparato de la reivindicación 13, 14 o 15, en el que los datos externos (114) comprenden datos de control de tráfico aéreo que incluyen posiciones de una aeronave (2200) en el aire (210), y la una o más visualizaciones (2202, 2204) representan las posiciones de la aeronave (2200) en el aire (210).
17. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
superponer, en la pantalla de realidad aumentada (112), los datos relacionados con el vuelo mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210) con una línea de visión visual (2300) hacia el dron (160) durante una buena visibilidad, o durante una visibilidad reducida con una línea de visión aumentada (2400) hacia el dron (160), o durante una visibilidad obstruida con una línea de visión aumentada y simulada hacia el dron (160), o durante una visibilidad de larga distancia con una línea de visión aumentada hacia el dron (160).
18. El aparato de cualquier reivindicación precedente, en el que se hace que el aparato (100) realice:
ajustar (2700), en la pantalla de realidad aumentada (112), la visualización (2600) de los datos relacionados con el vuelo de modo que una línea de visión (2602) permanezca sin obstrucciones mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
19. Un sistema que comprende dos aparatos de cualquier reivindicación precedente, en el que:
un primer aparato (100) es usado para ayudar a un primer operador humano (120) a volar el dron (160) en el aire usando (210) el controlador remoto (150), en el que una primera ubicación geográfica (2814) del primer operador humano (120) en relación con la posición del dron (160) en el aire (210) se utiliza para ajustar un primer punto de vista para representar los datos relacionados con el vuelo incluyendo un primer símbolo de objetivo (200) y un primer símbolo de orientación (202) para superponerse en una primera pantalla de realidad aumentada (112) del primer aparato (100); y un segundo aparato (2800) es usado para informar a un segundo operador humano (2802) en relación con el vuelo del dron (160) en el aire (210), en el que una segunda ubicación geográfica (2804) del segundo operador humano (2802) en relación con la posición del dron (160) en el aire (210) se utiliza para ajustar un segundo punto de vista para representar los datos relacionados con el vuelo incluyendo un segundo símbolo de objetivo (2806) y un segundo símbolo de orientación (2808) para superponerse en una segunda pantalla de realidad aumentada (2810) del segundo aparato (2800). 20. El sistema de la reivindicación 19, en el que el segundo aparato (2800) es usado para ayudar al segundo operador humano (2802) en relación con el control (2902) de uno o más sensores (1402) a bordo del dron (160).
21. Un procedimiento para ayudar a un operador humano a volar un dron usando un controlador remoto, que comprende:
recibir (3002) datos relacionados con el vuelo desde el controlador remoto;
mostrar (3004), en una pantalla de realidad aumentada, los datos relacionados con el vuelo al operador humano;
superponer (3006), en la pantalla de realidad aumentada, un símbolo de objetivo que indica una posición del dron mientras el operador humano está mirando hacia el dron;
superponer (3008), en la pantalla de realidad aumentada, un símbolo de orientación que indica una orientación del dron mientras el operador humano está mirando hacia el dron;
superponer, en la pantalla de realidad aumentada (112), un mapa (1300) que muestra una ubicación geográfica (1302) del operador humano (120), una ubicación geográfica (1304) del dron (160) y un punto de ruta (1306); y
superponer, en la pantalla de realidad aumentada (112) un símbolo de punto de ruta vertical (1308) que comienza desde una ubicación geográfica del punto de ruta (1306) en el suelo (500) y que se extiende hacia una altitud predeterminada del punto de ruta (1306) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
22. Un medio legible por ordenador (170) que comprende un código de programa informático (106) que, cuando se ejecuta mediante uno o más procesadores (102), provoca la realización de un procedimiento para ayudar a un operador humano a volar un dron usando un controlador remoto, que comprende:
recibir (3002) datos relacionados con el vuelo desde el controlador remoto;
mostrar (3004), en una pantalla de realidad aumentada, los datos relacionados con el vuelo al operador humano;
superponer (3006), en la pantalla de realidad aumentada, un símbolo de objetivo que indica una posición del dron mientras el operador humano está mirando hacia el dron;
superponer (3008), en la pantalla de realidad aumentada, un símbolo de orientación que indica una orientación del dron mientras el operador humano está mirando hacia el dron;
superponer, en la pantalla de realidad aumentada (112), un mapa (1300) que muestra una ubicación geográfica (1302) del operador humano (120), una ubicación geográfica (1304) del dron (160) y un punto de ruta (1306); y
superponer, en la pantalla de realidad aumentada (112) un símbolo de punto de ruta vertical (1308) que comienza desde una ubicación geográfica del punto de ruta (1306) en el suelo (500) y que se extiende hacia una altitud predeterminada del punto de ruta (1306) mientras el operador humano (120) está mirando (204) hacia el dron (160) en el aire (210).
ES21158161T 2021-02-19 2021-02-19 Aparato, procedimiento y software para ayudar a un operador a volar un dron usando un controlador remoto y gafas de realidad aumentada Active ES2970543T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP21158161.6A EP4047434B1 (en) 2021-02-19 2021-02-19 Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses

Publications (1)

Publication Number Publication Date
ES2970543T3 true ES2970543T3 (es) 2024-05-29

Family

ID=74672174

Family Applications (1)

Application Number Title Priority Date Filing Date
ES21158161T Active ES2970543T3 (es) 2021-02-19 2021-02-19 Aparato, procedimiento y software para ayudar a un operador a volar un dron usando un controlador remoto y gafas de realidad aumentada

Country Status (8)

Country Link
US (2) US11409280B1 (es)
EP (2) EP4047434B1 (es)
JP (1) JP2024516480A (es)
KR (1) KR20230158498A (es)
CN (1) CN117222955A (es)
ES (1) ES2970543T3 (es)
PL (1) PL4047434T3 (es)
WO (1) WO2022175379A1 (es)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL4047434T3 (pl) * 2021-02-19 2024-04-15 Anarky Labs Oy Urządzenie, sposób i oprogramowanie do wspomagania operatora w pilotowaniu drona z użyciem pilota zdalnego sterowania i okularów rozszerzonej rzeczywistości ar

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10488860B1 (en) * 2006-02-21 2019-11-26 Automodality, Inc. Geocoding data for an automated vehicle
US9134534B2 (en) * 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097890B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
TWI649675B (zh) * 2013-03-28 2019-02-01 新力股份有限公司 Display device
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
JP2015119373A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9595138B2 (en) * 2014-05-29 2017-03-14 Commissariat A L'energie Atomique Et Aux Energies Alternatives Augmented reality display device
CN107168352B (zh) * 2014-07-30 2020-07-14 深圳市大疆创新科技有限公司 目标追踪***及方法
MA41082A1 (fr) * 2015-03-01 2018-06-29 Aris Md Inc Procédure morphologique à réalité augmentée
FR3035523B1 (fr) * 2015-04-23 2017-04-21 Parrot Systeme de pilotage de drone en immersion
JP6572618B2 (ja) * 2015-05-08 2019-09-11 富士通株式会社 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム
FR3046225B1 (fr) * 2015-12-29 2019-06-28 Thales Affichage de donnees meteorologiques dans un aeronef
FR3046226B1 (fr) * 2015-12-29 2020-02-14 Thales Affichage de donnees meteorologiques dans un aeronef
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
CN107223223B (zh) * 2016-04-29 2021-08-13 深圳市大疆创新科技有限公司 一种无人机第一视角飞行的控制方法及***、智能眼镜
US10474144B2 (en) * 2016-08-01 2019-11-12 The United States Of America, As Represented By The Secretary Of The Navy Remote information collection, situational awareness, and adaptive response system for improving advance threat awareness and hazardous risk avoidance
CN113074733A (zh) * 2016-11-14 2021-07-06 深圳市大疆创新科技有限公司 飞行轨迹的生成方法、控制装置及无人飞行器
CN106500716A (zh) * 2016-12-13 2017-03-15 英业达科技有限公司 车辆导航投影***及其方法
CN106643781A (zh) * 2016-12-14 2017-05-10 英业达科技有限公司 车辆导航显示***及其方法
JP2018112809A (ja) * 2017-01-10 2018-07-19 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US20190088025A1 (en) * 2017-09-15 2019-03-21 DroneBase, Inc. System and method for authoring and viewing augmented reality content with a drone
US10678238B2 (en) * 2017-12-20 2020-06-09 Intel IP Corporation Modified-reality device and method for operating a modified-reality device
US11153503B1 (en) * 2018-04-26 2021-10-19 AI Incorporated Method and apparatus for overexposing images captured by drones
JP2019211249A (ja) * 2018-05-31 2019-12-12 パナソニック株式会社 飛行物体検知システムおよび飛行物体検知方法
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
KR20210078164A (ko) * 2019-12-18 2021-06-28 엘지전자 주식회사 드론을 제어하기 위한 사용자 단말, 시스템 및 제어 방법
US11043038B1 (en) * 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
US11804052B2 (en) * 2020-03-26 2023-10-31 Seiko Epson Corporation Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
PL4047434T3 (pl) * 2021-02-19 2024-04-15 Anarky Labs Oy Urządzenie, sposób i oprogramowanie do wspomagania operatora w pilotowaniu drona z użyciem pilota zdalnego sterowania i okularów rozszerzonej rzeczywistości ar

Also Published As

Publication number Publication date
US11409280B1 (en) 2022-08-09
US11669088B2 (en) 2023-06-06
EP4273656A2 (en) 2023-11-08
EP4047434A1 (en) 2022-08-24
EP4047434B1 (en) 2023-11-08
US20220269266A1 (en) 2022-08-25
US20220269267A1 (en) 2022-08-25
EP4047434C0 (en) 2023-11-08
JP2024516480A (ja) 2024-04-16
KR20230158498A (ko) 2023-11-20
EP4273656A3 (en) 2023-12-20
CN117222955A (zh) 2023-12-12
PL4047434T3 (pl) 2024-04-15
WO2022175379A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
ES2726727T3 (es) Aparato y método de aterrizaje de una aeronave de palas giratorias
ES2813923T3 (es) Sistemas y métodos para simulación de cardán
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
JP2728919B2 (ja) ヘルメット搭載型表示装置及びその表示方法
JP3052286B2 (ja) 飛行システムおよび航空機用擬似視界形成装置
ES2923956T3 (es) Control automático de aeronaves accionado por cámara para activación del radar
US20100238161A1 (en) Computer-aided system for 360º heads up display of safety/mission critical data
US20100240988A1 (en) Computer-aided system for 360 degree heads up display of safety/mission critical data
EP2782086A1 (en) Methods and systems for colorizing an enhanced image during alert
Brady et al. The challenge of safe lunar landing
ES2542997T3 (es) Interfaz hombre-máquina para asistir a un piloto en el despegue y en el aterrizaje de un aparato de vuelo en caso de visibilidad reducida
ES2501167T3 (es) Procedimiento y sistema para calcular una ruta de vuelo
US10382746B1 (en) Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object
EP2142875B1 (en) Self-orienting reticle
ES2757678T3 (es) Conformación de imágenes de fase temporal para un punto de vista artificial
ES2892489T3 (es) Interfaz de control gráfica para UxV
ES2970543T3 (es) Aparato, procedimiento y software para ayudar a un operador a volar un dron usando un controlador remoto y gafas de realidad aumentada
RU2681241C1 (ru) Модульная информационная система парашютиста
CN107077144B (zh) 显示可移动装置的状态的方法、***和控制装置
JP2024516481A (ja) リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、方法およびソフトウェア
CN106688018B (zh) 对目标进行成像、监视和/或指示的机载光电设备
CN117203596A (zh) 辅助操作人员使用遥控器驾驶无人机的设备、方法和软件
US20220230550A1 (en) 3d localization and mapping systems and methods
JP2024071414A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム
Varga et al. Computer-aided system for 360° heads up display of safety/mission critical data