ES2757678T3 - Conformación de imágenes de fase temporal para un punto de vista artificial - Google Patents

Conformación de imágenes de fase temporal para un punto de vista artificial Download PDF

Info

Publication number
ES2757678T3
ES2757678T3 ES12167730T ES12167730T ES2757678T3 ES 2757678 T3 ES2757678 T3 ES 2757678T3 ES 12167730 T ES12167730 T ES 12167730T ES 12167730 T ES12167730 T ES 12167730T ES 2757678 T3 ES2757678 T3 ES 2757678T3
Authority
ES
Spain
Prior art keywords
vehicle
images
model
current position
previous images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12167730T
Other languages
English (en)
Inventor
Kevin R Lutke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Application granted granted Critical
Publication of ES2757678T3 publication Critical patent/ES2757678T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Un método para procesar información de video para un vehículo (102), comprendiendo el método: seleccionar un número de imágenes anteriores (152) a partir de las imágenes (132) generadas por el vehículo (102), en el que se ve un objeto (156) en el número de imágenes anteriores (152); y visualizar un modelo (164) del vehículo (102) en el número de imágenes anteriores (152) en una posición actual (160) del vehículo (102) y con un tamaño (174) que se basa en la posición actual (160) del vehículo (102) en relación con el objeto (156) en el número de imágenes anteriores (152), caracterizado por que visualizar el modelo comprende además visualizar el modelo en modo fantasma cuando la posición actual (160) del vehículo (102) está oculta a la vista por el objeto (156), en el que se visualiza una flecha (908) en el número de imágenes anteriores (152) cuando la posición actual (160) del vehículo (102) está oculta a la vista por el objeto (156), en el que la flecha (908) indica una dirección de desplazamiento del vehículo (102) y el tamaño de la flecha (908) indica la velocidad del vehículo (102).

Description

DESCRIPCIÓN
Conformación de imágenes de fase temporal para un punto de vista artificial
Información de antecedentes
1. Campo:
La presente divulgación se refiere, en general, a vehículos y, en particular, a los vehículos de operación. Aún más específicamente, la presente divulgación se refiere a un método y un aparato para proporcionar información de navegación para operar un vehículo no tripulado.
2. Antecedentes:
Los vehículos no tripulados se usan para una serie de funciones diferentes. La detección remota es un uso para vehículos no tripulados. Por ejemplo, los vehículos aéreos no tripulados pueden usarse para realizar estudios geofísicos, vigilancia, generar imágenes del terreno para mapas, generar imágenes de objetos, rastrear el movimiento de objetos, monitorizar incendios, transportar y entregar cargas útiles y otras funciones adecuadas.
Algunos vehículos no tripulados pueden seguir rutas preestablecidas o volar dentro de áreas predefinidas sin la necesidad de la intervención de un operador humano. Otros vehículos aéreos no tripulados se operan por un operador humano localizado en una localización remota para realizar estas diferentes funciones.
En un método para controlar un vehículo aéreo no tripulado, el operador humano ve imágenes enviadas de vuelta por el vehículo aéreo no tripulado para su uso en la operación del vehículo aéreo no tripulado. Estas imágenes, en general, toman la forma de flujos de datos de video que proporcionan al operador un punto de vista desde el vehículo aéreo no tripulado. Además, el operador también puede basarse en un receptor de sistema de posicionamiento global, un rastreador de estrellas, un sistema de navegación inercial (INS) u otros sistemas en el vehículo aéreo no tripulado para proporcionar una localización del vehículo aéreo no tripulado.
Volar un vehículo aéreo no tripulado puede ser un desafío en algunos entornos. Por ejemplo, las inclemencias del tiempo, otros aviones y/o el terreno a altitudes más bajas pueden hacer que volar un vehículo aéreo no tripulado sea más desafiante en comparación con un espacio aéreo abierto que no tiene obstáculos.
Por lo tanto, sería ventajoso tener un método y un aparato que tengan en cuenta al menos algunos de los problemas tratados anteriormente, así como otros posibles problemas.
El documento US 2007/0165033 desvela un método de generación de imágenes que simplifica la operación de un cuerpo en movimiento. Este método incluye las siguientes etapas. (1) una etapa para recibir información de entorno (por ejemplo, imágenes del entorno) usando uno o una pluralidad de sensores de medición de espacio (por ejemplo, una cámara) unida a un cuerpo en movimiento; (2) una etapa de recibir el tiempo cuando se recibe la información de entorno, y el parámetro del sensor de medición de espacio en sí (por ejemplo, posición y actitud de una cámara) en el tiempo; (3) una etapa para guardar la información de historial que representa la información de entorno, el tiempo y los parámetros; (4) una etapa para recibir la designación para el punto de observación virtual; y (5) una etapa para generar una imagen de entorno virtual vista desde el punto de observación virtual basado en la información de historial guardada.
Sumario
En una realización ventajosa, se proporciona un método para procesar información de vídeo para un vehículo. Se selecciona un número de imágenes anteriores de las imágenes generadas por el vehículo. Se ve un objeto en el número de imágenes anteriores. Se visualiza un modelo del vehículo en el número de imágenes anteriores en una posición actual del vehículo y con un tamaño que se basa en la posición actual del vehículo en relación con el objeto en el número de imágenes anteriores, en el que visualizar el modelo comprende además visualizar el modelo en modo fantasma cuando la posición actual del vehículo está oculta a la vista por el objeto, en el que se incluye una flecha (908) en el número de imágenes anteriores (152) cuando la posición actual (106) del vehículo (102) está oculta a la vista por el objeto (156), en el que la flecha (908) indica una dirección de desplazamiento del vehículo (102) y el tamaño de la flecha (908) indica la velocidad del vehículo (102).
En otra realización ventajosa, un aparato comprende un dispositivo de visualización y un sistema informático. El sistema informático está configurado para seleccionar un número de imágenes anteriores de las imágenes generadas por el vehículo. Se ve un objeto en el número de imágenes anteriores. El sistema informático está configurado además para visualizar un modelo del vehículo en el número de imágenes anteriores en una posición actual del vehículo y con un tamaño que se basa en la posición actual del vehículo en relación con el objeto en el número de imágenes anteriores, en el que el sistema informático está configurado para visualizar el modelo en modo fantasma cuando la posición actual del vehículo está oculta a la vista por el objeto, en el que se incluye una flecha (908) en el número de imágenes anteriores (152) cuando la posición actual (106) del vehículo (102) está oculta a la vista por el objeto (156), en el que la flecha (908) indica una dirección de desplazamiento del vehículo (102) y el tamaño de la flecha (908) indica la velocidad del vehículo (102).
También se describe un producto de programa informático que comprende un medio de almacenamiento legible por ordenador, un primer código de programa y un segundo código de programa. El primer código de programa es para seleccionar un número de imágenes anteriores de las imágenes generadas por un vehículo. Se ve un objeto en el número de imágenes anteriores. El segundo código de programa es para visualizar un modelo del vehículo en el número de imágenes anteriores en una posición actual del vehículo y con un tamaño que se basa en la posición actual del vehículo en relación con el objeto en el número de imágenes anteriores. El primer código de programa y el segundo código de programa se almacenan en el medio de almacenamiento legible por ordenador.
Breve descripción de los dibujos
Las funciones novedosas que se creen características de las realizaciones ventajosas se exponen en las reivindicaciones adjuntas. Sin embargo, las realizaciones ventajosas, así como un modo de uso preferido, objetivos adicionales y ventajas de los mismos, se entenderán mejor haciendo referencia a la siguiente descripción detallada de una realización ventajosa de la presente divulgación cuando se lee junto con los dibujos adjuntos, en los que:
La figura 1 es una ilustración de un diagrama de bloques de un entorno de vehículo de acuerdo con una realización ventajosa;
La figura 2 es una ilustración de un vehículo que opera cerca de objetos de acuerdo con una realización ventajosa;
La figura 3 es una ilustración de una visualización desde un punto de vista artificial de acuerdo con una realización ventajosa;
La figura 4 es otra ilustración de una visualización desde un punto de vista artificial de acuerdo con una realización ventajosa;
La figura 5 es una ilustración de otra visualización desde un punto de vista artificial de acuerdo con una realización ventajosa;
La figura 6 es una ilustración de una visualización de acuerdo con una realización ventajosa;
La figura 7 es una ilustración de una visualización de un punto de vista artificial con un modelo no centrado de acuerdo con una realización ventajosa;
La figura 8 es una ilustración de otra visualización de un punto de vista artificial de acuerdo con una realización ventajosa;
La figura 9 es una ilustración de una visualización con un punto de vista artificial con el vehículo aéreo no tripulado oculto a la vista de acuerdo con una realización ventajosa;
La figura 10 es una ilustración de un diagrama de flujo de un proceso para procesar información de video para un vehículo de acuerdo con una realización ventajosa;
La figura 11 es una ilustración de un diagrama de flujo de un proceso para visualizar un modelo de un vehículo en una imagen de acuerdo con una realización ventajosa; y
La figura 12 es una ilustración de un sistema de procesamiento de datos de acuerdo con una realización ventajosa.
Descripción detallada
Las diferentes realizaciones ventajosas reconocen y tienen en cuenta un número de consideraciones diferentes. En estos ejemplos ilustrativos, el uso de "un número" haciendo referencia a artículos significa uno o más artículos. Por ejemplo, "un número de consideraciones" es una o más consideraciones.
Las diferentes realizaciones ventajosas reconocen y tienen en cuenta que volar un vehículo aéreo no tripulado a una altitud inferior puede dar lugar a que el vehículo aéreo no tripulado encuentre obstáculos. Estos obstáculos pueden tomar la forma de objetos y crear desafíos adicionales para operar el vehículo aéreo no tripulado.
Por ejemplo, las diferentes realizaciones ventajosas reconocen y tienen en cuenta que volar un vehículo aéreo no tripulado a través de un bosque, debajo de un puente, o a través de una ciudad es más difícil que volar un vehículo aéreo no tripulado a una altitud a la que estos objetos no están presentes. Los flujos de datos de video y la información de posicionamiento recibida de un vehículo aéreo no tripulado pueden no proporcionar tanta información como se desea para operar el vehículo aéreo no tripulado en entornos desafiantes.
Las diferentes realizaciones ventajosas reconocen y tienen en cuenta que otra situación en la que la operación de un vehículo aéreo no tripulado puede ser más desafiante implica volar un vehículo aéreo no tripulado en el interior de un objeto, tal como un edificio. Puede ser deseable obtener información sobre el interior del edificio antes de enviar a una persona al edificio. Por ejemplo, con los procesos de eliminación de bombas, a menudo es deseable enviar un vehículo aéreo no tripulado al edificio para obtener información sobre un posible dispositivo explosivo que pueda estar localizado en el interior del edificio.
Las diferentes realizaciones ventajosas reconocen y tienen en cuenta que el operador puede tener información suficiente para mover el objeto en el edificio cuando el operador del vehículo aéreo no tripulado tiene una línea de visión al vehículo aéreo no tripulado y al edificio. Por ejemplo, el operador puede tener información suficiente sobre el entorno alrededor del vehículo aéreo no tripulado para volar el vehículo aéreo no tripulado a través de un marco de puerta y hacia el edificio.
Sin embargo, las diferentes realizaciones ventajosas reconocen y tienen en cuenta que un operador no siempre puede tener una línea de visión al vehículo aéreo no tripulado. Cuando esta situación está presente, las diferentes realizaciones ventajosas reconocen y tienen en cuenta que los sistemas de cámara actuales y otros dispositivos pueden no proporcionar al operador del vehículo aéreo no tripulado un nivel deseado de conciencia situacional. En otras palabras, las diferentes realizaciones ventajosas reconocen y tienen en cuenta que el operador del vehículo aéreo no tripulado puede no ser capaz de ver la mayor parte del entorno alrededor del vehículo como se desea con los sistemas de cámaras usados actualmente.
Las diferentes realizaciones ventajosas reconocen y tienen en cuenta que una cámara en un vehículo aéreo no tripulado puede usarse para entrar en un edificio para obtener información sobre el interior del edificio. Sin embargo, la cámara puede no proporcionar suficiente información sobre el marco de puerta. Como otro ejemplo, las diferentes realizaciones ventajosas pueden aplicarse a aviones a altitudes más altas. Por ejemplo, las diferentes realizaciones ventajosas pueden implementarse en un avión a altitudes en las que el avión puede encontrar otros aviones, armas enemigas y/u otros peligros. Además, las diferentes realizaciones ventajosas también pueden implementarse en aviones tripulados como una característica adicional para ayudar a evitar obstáculos.
Por ejemplo, las realizaciones ventajosas reconocen y tienen en cuenta que la información proporcionada por la cámara puede no proporcionar tanta información como se desee para maniobrar alrededor de los objetos que pueden estar presentes. Con una cámara orientada hacia delante, es posible que la cámara no pueda proporcionar información sobre el espacio libre a ambos lados del vehículo aéreo no tripulado cuando el vehículo aéreo no tripulado vuela a través de un marco de puerta.
Como resultado, las diferentes realizaciones ventajosas reconocen y tienen en cuenta que el operador puede ser incapaz de determinar con precisión si el vehículo aéreo no tripulado puede ser capaz de volar a través de un marco de puerta sin tocar realmente el marco de puerta. Por ejemplo, la cámara puede no proporcionar la cantidad deseada de información sobre la colocación relativa de la cámara con respecto al marco de puerta. En otras palabras, la vista proporcionada por la cámara puede no proporcionar suficiente información sobre la colocación de la cámara con respecto a las diferentes partes del marco de puerta.
Las diferentes realizaciones ventajosas reconocen y tienen en cuenta que una manera en la que puede obtenerse información adicional es usar una cámara de 360 grados o una cámara de ojo de pez. Las imágenes de este tipo de cámaras pueden proporcionar una mejor idea del entorno alrededor del vehículo aéreo no tripulado. Las diferentes realizaciones ventajosas reconocen y tienen en cuenta, sin embargo, que incluso con este tipo de vista, el operador aún puede no tener información suficiente para operar el vehículo aéreo no tripulado de la manera deseada. Las imágenes pueden estar distorsionadas de lo que al operador le gustaría ver y pueden ser más difíciles de interpretar. En otras palabras, las imágenes pueden no proporcionar la información deseada con respecto a la colocación de la cámara en relación con diferentes objetos o funciones de los objetos que la rodean.
Por lo tanto, las diferentes realizaciones ventajosas proporcionan un método y un aparato para proporcionar información adicional sobre el entorno alrededor de un vehículo aéreo no tripulado. Las diferentes realizaciones ventajosas proporcionan una conformación de imágenes de fase temporal para un punto de vista artificial para vehículos. En una realización ventajosa, está presente un proceso para procesar información de video de un vehículo. Se selecciona un número de imágenes anteriores que incluyen un objeto de las imágenes generadas por el vehículo. Se visualiza un modelo del vehículo en el número de imágenes anteriores en una posición actual del vehículo. Además, el vehículo se visualiza con un tamaño que se basa en la posición actual del vehículo en relación con un objeto en el número de imágenes anteriores.
Haciendo referencia ahora a la figura 1, se representa una ilustración de un diagrama de bloques de un entorno de vehículo de acuerdo con una realización ventajosa. En el entorno de vehículo 100, el vehículo 102 toma la forma de un vehículo no tripulado 104. El vehículo no tripulado 104 puede ser, por ejemplo, un vehículo terrestre no tripulado 106, un vehículo aéreo no tripulado 108, un vehículo acuático no tripulado 110 y un vehículo espacial no tripulado 112. En estos ejemplos ilustrativos, el vehículo 102 se opera por el operador 114 en un sistema informático 116 en una localización 118. La localización 118 es una localización remota al vehículo 102.
En estos ejemplos ilustrativos, el vehículo 102 se compone de diferentes componentes. Algunos de estos componentes incluyen, por ejemplo, un controlador 120, un sistema de cámara 122, un sistema de localización 124 y un sistema de comunicaciones 126.
El controlador 120 es un dispositivo de hardware, y puede incluir software. El controlador 120 está configurado para controlar la operación del vehículo 102. El controlador 120 puede recibir instrucciones del operador 114 en el sistema informático 116. El operador 114 es un operador humano, como un piloto u otro operador, cuando el vehículo 102 toma la forma de un vehículo aéreo no tripulado 108. Estas instrucciones pueden recibirse a través del sistema de comunicaciones 126 en estos ejemplos representados.
Por ejemplo, el controlador 120 puede controlar el movimiento del vehículo 102, así como otras funciones. El controlador 120, en estos ejemplos, está en comunicación con el sistema de cámara 122, el sistema de localización 124 y el sistema de comunicaciones 126.
El controlador 120 puede implementarse usando un número de diferentes tipos de hardware. Por ejemplo, el controlador 120 puede ser un circuito integrado de aplicación específica, una unidad de procesador, un ordenador y/u otro tipo de hardware adecuado.
El sistema de cámara 122 comprende un número de cámaras 128. En los ejemplos ilustrativos, el número de cámaras 128 puede incluir diferentes tipos de cámaras. Por ejemplo, sin limitación, el número de cámaras 128 incluye al menos una de entre una cámara de luz visible, una cámara de infrarrojos, una cámara estéreo, una cámara de detección y alcance de luz, y algunos otros tipos adecuados de cámaras.
Como se usa en el presente documento, la frase "al menos uno de", cuando se usa con una lista de artículos, significa que pueden usarse diferentes combinaciones de uno o más de los artículos enumerados, y solo uno de cada artículo de la lista puede ser necesario. Por ejemplo, "al menos uno del artículo A, el artículo B y el artículo C" puede incluir, por ejemplo, sin limitación, el artículo A o el artículo A y el artículo B. Este ejemplo también puede incluir el artículo A, el artículo B y el artículo C, o el artículo B y el artículo C. En otros ejemplos, "al menos uno de" puede ser, por ejemplo, sin limitación, dos artículos del artículo A, uno del artículo B y 10 del artículo C; cuatro del artículo B y siete del artículo C; y otras combinaciones adecuadas.
El número de cámaras 128 en el sistema de cámara 122 puede tomar imágenes individuales para fotos, imágenes para vídeo, o una combinación de los dos. El sistema de cámara 122 también puede generar un flujo de datos de video 130 a partir de imágenes 132 generadas por el número de cámaras 128. El flujo de datos de video 130 también puede incluir información sobre las imágenes 132 o información sobre la generación de las imágenes 132.
Por ejemplo, flujo de datos de video 130 también puede incluir marcas de tiempo, posiciones, ajustes de cámara, y otra información. Esta información puede estar incluida en las imágenes o pueden ser piezas de información separadas. Este tipo de información puede denominarse metadatos.
E sistema de localización 124 genera información de posición 134. En estos ejemplos ilustrativos, sistema de localización 124 puede implementarse usando un número de diferentes tipos de dispositivos. Por ejemplo, el sistema de localización 124 puede comprender al menos uno de entre un receptor de sistema de posicionamiento global, un acelerómetro, una unidad de medición inercial y/o algún otro tipo de dispositivo adecuado.
La información de posición 134 incluye, por ejemplo, sin limitación, la posición 136, la velocidad 138, el tiempo 140, y otra información adecuada sobre la posición del vehículo 102. Además, la posición 136 puede incluir unas coordenadas 142 y la orientación 144.
Las coordenadas 142 describen la localización del vehículo 102. Las coordenadas 142 puede estar en cualquier sistema de coordenadas adecuado. Por ejemplo, las coordenadas 142 pueden ser latitud, longitud y altitud. Por supuesto, pueden usarse otros sistemas de coordenadas, tal como un sistema de coordenadas polares, así como unos sistemas de coordenadas arbitrarios, en función de la implementación específica.
La orientación 144 describe la orientación del vehículo 102. La orientación 144 puede incluir, por ejemplo, una posición angular, actitud, u otra información sobre la posición del vehículo 102. Por ejemplo, la orientación 144 puede usarse para identificar donde la parte delantera del vehículo 102 es puntiaguda.
El sistema de comunicaciones 126 está configurado para proporcionar al vehículo 102 comunicaciones con otros dispositivos de hardware que pueden estar localizados de manera remota al vehículo 102. Esta comunicación se produce a través del enlace de comunicaciones inalámbricas 146 en estos ejemplos ilustrativos.
Por ejemplo, el sistema de cámara 122 puede enviar imágenes 132 en un flujo de datos de vídeo 130 al sistema informático 116 a través del enlace de comunicaciones inalámbricas 146. De manera similar, el sistema de localización 124 puede enviar información de posición 134 al sistema informático 116 a través del enlace de comunicaciones inalámbricas 146.
Como se representa, el módulo de punto de vista 148 se localiza en el sistema informático 116 en la localización 118. El módulo de punto de vista 148 puede estar compuesto de hardware, software, o una combinación de los dos.
El módulo de punto de vista 148 usa el flujo de datos de video 130 y la información de posición 134 para generar el punto de vista artificial 150 para el operador 114. Con el punto de vista artificial 150, el operador 114 puede ser capaz de controlar más fácilmente la operación del vehículo 102 cuando el vehículo 102 se mueve alrededor o dentro del objeto 156.
El módulo de punto de vista 148 selecciona un número de imágenes anteriores 152 a partir de las imágenes 132 en el flujo de datos de video 130. El número de imágenes anteriores 152 incluye un área de interés 154 alrededor de vehículo 102. En este ejemplo ilustrativo, el objeto 156 se presenta usando un número de imágenes anteriores 152. En otras palabras, el objeto 156 puede verse en un número de imágenes anteriores 152 en estos ejemplos ilustrativos.
En los ejemplos ilustrativos, se genera un número de imágenes anteriores 152 en el número de las posiciones 158 para vehículo 102. El número de posiciones 158 es una o más posiciones del vehículo 102 en uno o más momentos antes de la posición actual 160 en la ruta 159 del vehículo 102.
El módulo de punto de vista 148 está configurado para visualizar el punto de vista artificial 150 en la pantalla 161 en el dispositivo de visualización 162 en estos ejemplos ilustrativos. El punto de vista artificial 150 es un punto de vista que el operador 114 no ve en las imágenes 132 generadas por el sistema de cámara 122 en la posición actual 160 del vehículo 102. En cambio, el punto de vista artificial 150 se proporciona desde una posición anterior distinta de la posición actual 160. Esta posición puede ser, por ejemplo, una o más del número de posiciones 158.
El módulo de punto de vista 148 agrega un modelo 164 de vehículo 102 al número de imágenes anteriores 152 para formar un número de imágenes modificadas. El módulo de punto de vista 148 visualiza el número de imágenes modificadas en la pantalla 161. La visualización del modelo 164 en el número de imágenes anteriores 152 está en un número de localizaciones 166 en un número de imágenes anteriores 152. El número de localizaciones 166 es una o más localizaciones en un número de imágenes anteriores 152 que corresponden a la posición actual 160 del vehículo 102 desde el número de puntos de vista en el número de localizaciones 166.
En otras palabras, el modelo 164 se visualiza en un número de imágenes anteriores 152 en el número de localizaciones 166 en las imágenes que operador 114 vería si el operador 114 o una cámara se localizara en el punto de vista artificial 150 en el momento actual con el vehículo 102 estando en la posición actual 160.
Un punto de vista es un punto de vista a partir de la perspectiva de un espectador, tal como un operador 114. Normalmente, el punto de vista es desde el vehículo 102 y, en particular, desde una cámara en el número de cámaras 128 en el vehículo 102. Las imágenes generadas en un punto de vista por una cámara son lo que la cámara ve en ese punto de vista.
En los diferentes ejemplos ilustrativos, el punto de vista artificial 150 se genera para proporcionar al operador 114 un punto de vista desde una posición en la que una cámara no está presente. El punto de vista artificial 150 puede crearse en el número de posiciones 158 en la ruta 159 por la que ha transcurrido el vehículo 102. Por lo tanto, el operador 114 puede ver una vista de la posición actual 160 del vehículo 102 desde una posición en la que el vehículo 102 ya no está presente usando el módulo de punto de vista 148. Esta vista puede ayudar al operador 114 a controlar el movimiento del vehículo 102.
En estos ejemplos ilustrativos, el número de imágenes anteriores 152 puede seleccionarse como las imágenes tomadas en el número de posiciones 158. El punto de vista artificial 150 puede generarse usando cualquiera de un número de posiciones 158 a lo largo de ruta 159 para el que el número de imágenes anteriores 152 están presentes en estos ejemplos representados. En otras palabras, el punto de vista artificial 150 se basa en el punto o posición en el que estaba la cámara cuando se generó la imagen. Por supuesto, el punto de vista artificial 150 también puede ser uno basado en el desplazamiento del punto de vista relativo al punto de vista de la cámara.
En algunos ejemplos ilustrativos, el número de imágenes anteriores 152 puede seleccionarse como las imágenes tomadas en un número de momentos 157. El número de momentos 157 puede ser el momento antes de un momento actual para el vehículo 102. Por ejemplo, una imagen anterior puede seleccionarse como una imagen tomada aproximadamente cinco segundos antes del momento actual del vehículo 102.
En estos ejemplos ilustrativos, el número de posiciones 158 y/o el número de momentos 157 puede cambiarse durante la operación del vehículo 102 a medida que el vehículo 102 se desplaza a lo largo de ruta 159. En otras palabras, el número de posiciones 158 y/o el número de momentos 157 para los que se seleccionan el número de imágenes anteriores 152, puede cambiarse por el operador 114 para cambiar el punto de vista artificial 150.
Además, el modelo 164 se visualiza con el tamaño 174. El tamaño 174 se basa en la posición actual 160 del vehículo 102 en relación con el objeto 156 como se ve en el número de imágenes anteriores 152. En otras palabras, el tamaño 174 del modelo 164 en el número de imágenes anteriores 152 tiene una proporción relativa al objeto 156 en el número de imágenes anteriores 152 que coincide sustancialmente con la proporción física real del vehículo 102 en relación con el objeto 156. Por ejemplo, si el vehículo 102 tiene un pie de separación del objeto 156, se selecciona el tamaño 174 de tal manera que el vehículo 102 se visualiza en el número de imágenes anteriores 152 con la escala o proporcionalidad apropiada para esa separación en el número de imágenes anteriores 152. Además, el modelo 164 se visualiza con una orientación 176 que se selecciona para que coincida con la orientación 144 del vehículo 102 en la posición actual 160.
En estos ejemplos ilustrativos, si el número de imágenes anteriores 152 es una sola imagen, el modelo 164 puede visualizase de tal manera que el modelo 164 se mueve basándose en el movimiento del vehículo 102. En otras palabras, como la posición actual 160 cambia para vehículo 102, la localización del modelo 164 en la imagen también se mueve en la pantalla 161 en el dispositivo de visualización 162 para proporcionar una representación correcta del vehículo 102.
Además, el tamaño 174 y la orientación 176 del modelo 164 se cambian si es necesario. El cambio se realiza para proporcionar una representación lo más precisa posible del vehículo 102 en la posición actual 160 desde el punto de vista artificial 150 hasta el operador 114. El número de imágenes anteriores 152 puede tener un número lo suficientemente grande como para proporcionar un video o un punto de vista deseado para visualizar el modelo 164 en el número de imágenes anteriores 152.
En estos ejemplos ilustrativos, el módulo de punto de vista 148 puede desplazar el punto de vista artificial 150 en un número de maneras diferentes. El desplazamiento del punto de vista artificial 150 puede realizarse a través de la entrada de usuario del operador 114 en un sistema informático 116. El módulo de punto de vista 148 puede proporcionar diferentes puntos de vista que se usan para generar el punto de vista artificial 150. Estos diferentes puntos de vista pueden basarse en el número de imágenes anteriores 152 que se generan a lo largo del número de posiciones 158 en la ruta 159 del vehículo 102.
Además, el módulo de punto de vista 148 puede proporcionar un desplazamiento de punto de vista artificial 150 desde una posición seleccionada en el número de posiciones 158 en la ruta 159 a otras posiciones y/o al punto de vista actual 178 en la posición actual 160 en la ruta 172. El punto de vista actual 178 se ve a través de las imágenes 132 en el flujo de datos de video 130 para la posición actual 160.
Además, el número de imágenes anteriores 152 puede usarse para generar una vista tridimensional cuando el sistema de cámara 122 tiene más de una cámara, y las cámaras están dispuestas y/o configuradas para proporcionar vistas estéreo y/o tridimensionales. De esta manera, puede proporcionarse una percepción de profundidad mejorada al operador 114 sobre el entorno de vehículo 100. En particular, el operador 114 puede ser más capaz de percibir la posición del vehículo 102 en relación con el objeto 156 para maniobrar el vehículo 102 alrededor, a través o dentro del objeto 156.
De esta manera, puede obtenerse un aumento de información sobre el entorno alrededor del vehículo 102 para el operador 114 de un vehículo no tripulado 104. El operador 114 puede enviar órdenes al vehículo 102 para mover el vehículo 102 hacia el objeto 156 de una manera que puede evitar el contacto no deseado con el objeto 156. En algunos casos, puede desearse el contacto con el objeto 156, y el operador 114 puede mover el vehículo 102 para proporcionar el contacto con el objeto 156.
Por ejemplo, si el objeto 156 es un marco de puerta, proporcionando una pantalla 161 del modelo 164 para el vehículo 102 en la posición actual 160 en el número de imágenes anteriores 152, el operador 114 puede tener más información para operar el vehículo 102. Por ejemplo, el operador 114 puede ver si el vehículo 102 puede entrar en contacto con el marco de puerta y puede guiar al vehículo 102 para que pase a través del marco de puerta sin tocar el marco de puerta. Tocar el marco de puerta puede provocar daños a partes del vehículo 102 y/o puede dejar el vehículo 102 inoperativo.
La ilustración del entorno de vehículo 100 en la figura 1 no está destinada a implicar limitaciones físicas o arquitectónicas a la manera en que una realización ventajosa puede implementarse. Pueden usarse otros componentes además de y/o en lugar de los ilustrados. Algunos componentes pueden ser innecesarios. Además, los bloques se presentan para ilustrar algunos componentes funcionales. Uno o más de estos bloques pueden combinarse y/o dividirse en bloques diferentes cuando se implementan en una realización ventajosa.
Por ejemplo, en algunos ejemplos ilustrativos, el vehículo 102 puede ser un vehículo tripulado en el que el operador 114 y un sistema informático 116 están localizados en el vehículo 102. Con este tipo de aplicación, el operador 114 puede no tener una vista exterior del vehículo 102 que permita una cantidad deseada de información sobre el entorno de vehículo 102.
En aún otros ejemplos ilustrativos, otros dispositivos de visualización, además del dispositivo de visualización 162, pueden estar presentes para proporcionar información al operador 114. Unos dispositivos de visualización adicionales pueden proporcionar visualizaciones desde diferentes puntos de vista. De esta manera, el operador 114 puede ser capaz de ver un punto de vista artificial desde diferentes localizaciones en un número de posiciones 158 en la ruta 159 al mismo tiempo si lo desea.
Haciendo referencia ahora a la figura 2 , se representa una ilustración de un vehículo que opera cerca de objetos de acuerdo con una realización ventajosa. En este ejemplo ilustrativo, el vehículo aéreo no tripulado 202 es un ejemplo de una implementación para el vehículo aéreo no tripulado 108 en la figura 1. En particular, el vehículo aéreo no tripulado 202 toma la forma de un helicóptero 204.
El vehículo aéreo no tripulado 202 se opera de manera remota por un operador, tal como un operador 114 usando el sistema de ordenador 116 en la figura 1. En este ejemplo ilustrativo, el helicóptero 204 desplaza a lo largo de la ruta 206 y está actualmente en la posición actual 207. La ruta 206 es un ejemplo de una ruta 159 en la figura 1.
Tal como se representa, el helicóptero 204 vuela cerca de la pared 208. La pared 208 tiene un marco de puerta 210 con una puerta 212. Estos objetos son ejemplos del objeto 156 en la figura 1.
En este ejemplo ilustrativo, el operador desea mover el helicóptero 204 alrededor de la puerta 212 a través del marco de puerta 210 en la pared 208. Para ayudar a un operador a mover el helicóptero 204 a través del marco de puerta 210, puede usarse una imagen generada cuando el helicóptero 204 estaba en la posición 214 para proporcionar un punto de vista artificial al operador.
En este ejemplo ilustrativo, el punto de vista 216 está presente para una imagen tomada en la posición 214. El punto de vista 216 puede usarse para generar el punto de vista artificial 150 en la figura 1 para que un operador controle el helicóptero 204. La posición 218 es otra posición en la que puede usarse una imagen para generar un punto de vista artificial. El punto de vista artificial se genera usando el punto de vista 220 de la cámara en la posición 218.
En la posición 222, el punto de vista 224 está presente para las imágenes tomadas en la posición 222. Esta posición es otra posición en la que un punto de vista artificial puede generarse para el helicóptero 204.
En estos ejemplos ilustrativos, la posición 214, la posición 218, y la posición 222 en la ruta 206 son ejemplos de un número de posiciones 158 para la ruta 159 de la figura 1.
En estos ejemplos ilustrativos, las imágenes generadas en la posición 214, la posición 218 y la posición 222 son un número de imágenes anteriores tomadas en un punto anterior en el tiempo a la posición actual 207 en la ruta 206 para el helicóptero 204. La identificación de la posición 214, la posición 218 y la posición 222 puede identificarse usando un sistema de localización, tal como el sistema de localización 124 en la figura 1.
Haciendo referencia ahora a la figura 3 , se representa una ilustración de una visualización desde un punto de vista artificial de acuerdo con una realización ventajosa. En este ejemplo ilustrativo, la pantalla 300 es un ejemplo de la pantalla 161 que puede visualizarse en el dispositivo de visualización 162 en el sistema informático 116 en la figura 1. La pantalla 300 es un ejemplo de una manera en la que puede generarse el punto de vista artificial 150 para el operador 114 en la figura 1.
La pantalla 300 se genera a partir de una imagen tomada en la posición 214 en la figura 2. La pantalla 300 tiene un punto de vista similar al punto de vista 216 para la cámara en la posición 214 en la figura 2. Este punto de vista para la pantalla 300 es un ejemplo ilustrativo del punto de vista artificial 150 en la figura 1.
En este ejemplo ilustrativo, la pantalla 300 incluye la imagen 302. La imagen 302 se genera en un punto anterior en el tiempo cuando el helicóptero 204 está en la posición 214 en la figura 2. La imagen 302 tiene un punto de vista 216 de la cámara cuando el helicóptero 204 está en posición 214 en la figura 2. En otras palabras, la pantalla 300 proporciona una vista desde el punto de vista 216 en la figura 2. La caja 305 se ve en el marco de puerta 210 en esta vista.
En este ejemplo ilustrativo, se genera un punto de vista artificial con el modelo 304 que se agrega a o se incluye en la imagen 302. El modelo 304 es un modelo del helicóptero 204 en la figura 2.
El modelo 304 se visualiza en la localización 306 a la imagen 302. La localización 306 se selecciona para corresponder a la posición actual 207 del helicóptero 204 en la figura 2.
Además, el modelo 304 se visualiza con un tamaño que se escala con el tamaño de la pared 208, el marco de puerta 210, y la puerta 212 en la imagen 302. Esta escala se basa en la dimensión real de la pared 208, el marco de puerta 210, la puerta 212, y el helicóptero 204 en la figura 2. Además, el modelo 304 se visualiza con una orientación que refleja la orientación actual del helicóptero 204 en la figura 2. Este tamaño y orientación contrastan con la posición que tenía el helicóptero 204 cuando la cámara generó la imagen 302. En estos ejemplos, la posición incluye la localización en el espacio tridimensional y una orientación del helicóptero 204 en la figura 2.
Por otra parte, la pantalla 300 puede incluir información adicional para la operación del vehículo. Por ejemplo, puede incluirse información de vehículo 308. La información de vehículo 308, en este ejemplo ilustrativo, incluye velocidad y rumbo. Como otro ejemplo, el mapa 310 también puede visualizarse en la imagen 302. El mapa 310 puede ser un mapa del edificio en el que están presentes la pared 208, el marco de puerta 210 y la puerta 212. Como otro ejemplo, la ruta 312 puede visualizarse para el helicóptero 204 en la imagen 302. La ruta 312 puede incluir la ruta ya recorrida por el helicóptero 204, así como una ruta proyectada para el helicóptero 204 en la figura 2.
Haciendo referencia ahora a la figura 4 , se representa otro ejemplo de una visualización desde un punto de vista artificial de acuerdo con una realización ventajosa. La pantalla 400 es un ejemplo de la pantalla 161 que puede visualizarse en el dispositivo de visualización 162 en el sistema informático 116 en la figura 1.
En este ejemplo ilustrativo, la pantalla 400 incluye una imagen 402. La imagen 402 se genera cuando el helicóptero 204 está en la posición 218 en la figura 2. La imagen 402 tiene punto de vista 220 de la cámara en el helicóptero 204 cuando la cámara está en la posición 218 en la figura 2. En este ejemplo ilustrativo, la imagen 402 proporciona una vista desde un punto de vista artificial generado al agregar el modelo 304 a la imagen 402.
En este ejemplo, el modelo 304 tiene un tamaño diferente del modelo 304 como se visualiza en la imagen 302 en la pantalla 300 en la figura 3. Como se representa, el modelo 304 tiene un tamaño que es sustancialmente exacto con respecto a la escala para la pared 208, el marco de puerta 210, y la puerta 212 como se visualiza en la imagen 402 en relación con las dimensiones y tamaños reales para estos objetos.
Haciendo referencia ahora a la figura 5 , se representa una ilustración de todavía otra visualización desde un punto de vista artificial de acuerdo con una realización ventajosa. La pantalla 500 es un ejemplo de la pantalla 161 que puede visualizarse en el dispositivo de visualización 162 en el sistema informático 116 en la figura 1.
En este ejemplo ilustrativo, la pantalla 500 se genera usando la imagen 502. La imagen 502 se genera en la posición 222 en la figura 2. La imagen 502 proporciona una vista desde el punto de vista 224 de la cámara cuando el helicóptero 204 estaba en la posición 222 en la figura 2 El modelo 304 se visualiza en la localización 504 en la imagen 502.
Haciendo referencia ahora a la figura 6 , se representa una ilustración de una visualización de acuerdo con una realización ventajosa. En este ejemplo ilustrativo, la pantalla 600 es otro ejemplo de la pantalla 161 en la figura 1. La pantalla 600 incluye la imagen 602.
La imagen 602 es en la posición actual 207 para el helicóptero 204 en la figura 2. En la posición actual 207, el operador es incapaz de obtener mucha más información sobre el marco de puerta 210 para desplazarse a través del marco de puerta 210 en la figura 2. Por ejemplo, el operador es capaz para ver la caja 305 a través del marco de puerta 210 pero no puede ver los bordes del marco de puerta 210 en la figura 2. En los ejemplos ilustrativos, la pantalla 600 puede usarse junto con las otras pantallas ilustradas para proporcionar información al operador 114 para controlar el helicóptero 204 en la figura 2.
En un ejemplo ilustrativo, el módulo de punto de vista 148 en la figura 1 puede proporcionar unas pantallas con diferentes puntos de vista que pueden hacer la transición en una secuencia de pantallas, tales como las de la pantalla 300 en la figura 3 , la pantalla 400 en la figura 4, la pantalla 500 en la figura 5, y la pantalla 600 en la figura 6. De esta manera, puede visualizarse una progresión de diferentes puntos de vista artificiales. Por supuesto, pueden usarse más imágenes para proporcionar una transición más suave entre diferentes puntos de vista artificiales hasta el punto de vista actual del helicóptero 204.
En algunos casos, el punto de vista artificial puede desplazarse con respecto a si el modelo se centra en la imagen. Por ejemplo, si la cámara tiene un campo de visión que no incluye el centro de donde se localiza actualmente el helicóptero, el modelo puede visualizarse de tal manera que el modelo no esté en el centro de la imagen. El campo de visión es la vista de lo que la cámara puede ver.
Haciendo referencia ahora a la figura 7 , se representa una ilustración de una visualización de un punto de vista artificial con un modelo no centrado de acuerdo con una realización ventajosa. En este ejemplo ilustrativo, la pantalla 700 se genera usando la imagen 702.
Como puede verse, la imagen 702 se toma cuando la cámara se apuntó de tal manera que el marco de puerta 210 no estaba en el centro de la imagen 702. Como resultado, el modelo 304 no se visualiza en el centro 704 de la imagen 702. Aunque la imagen 702 puede no proporcionar una vista tan deseable cuando se genera un punto de vista artificial, la pantalla 700 todavía proporciona información de conciencia situacional para el operador.
En otras palabras, el operador todavía es capaz de ver el modelo 304 como se visualiza en la localización 706 en la imagen 702 con un tamaño que se escala con el tamaño real del helicóptero 204 en la figura 2 en relación con el marco de puerta real. Además, la orientación del modelo 304 también coincide con la orientación actual del helicóptero 204. De esta manera, un operador aún puede tener información suficiente sobre el entorno alrededor del helicóptero 204 para mover el helicóptero 204 a través del marco de puerta 210 sin tocar el marco de puerta 210.
En algunos ejemplos ilustrativos, la cámara puede apuntarse en el objeto que es de interés para el operador para mover el vehículo. Por ejemplo, en algunos casos, la cámara puede ajustarse para apuntar siempre a un objeto en particular, como un marco de puerta.
Con este tipo de aplicación, el objeto está siempre en el centro del fotograma. Sin embargo, es posible que el modelo no siempre se visualice en el centro del fotograma basándose en la posición actual del vehículo en relación con el punto de vista desde el que se ha tomado la imagen.
Haciendo referencia ahora a la figura 8 , se representa una ilustración de otra visualización de un punto de vista artificial de acuerdo con una realización ventajosa. En este ejemplo ilustrativo, la pantalla 800 incluye una imagen 802. La imagen 802 se genera por una cámara apuntada al marco de puerta 210 durante la ruta del helicóptero 204 en la figura 2 al marco de puerta 210. En otras palabras, la cámara permanece apuntada al marco de puerta 210 incluso si la parte delantera del helicóptero 204 en la figura 2 no está apuntando al marco de puerta 210.
En este ejemplo ilustrativo, el marco de puerta 210 está centrado en la imagen 802. El modelo 304 del helicóptero 204 en la figura 2 no está centrado. En cambio, el modelo 304 se visualiza en la localización 804 con un tamaño que se escala en relación con el tamaño de los objetos visualizados en la imagen. Aunque el modelo 304 no se visualiza en el centro de la imagen 802, la pantalla 800 aún proporciona información sobre el entorno alrededor del helicóptero 204 que puede usarse por un operador para maniobrar el helicóptero 204 en la figura 2.
Haciendo referencia ahora a la figura 9 , se representa una ilustración de una visualización con un punto de vista artificial con el vehículo aéreo no tripulado oculto a la vista de acuerdo con una realización ventajosa. En este ejemplo ilustrativo, la pantalla 900 se genera usando la imagen 902. En este ejemplo, el modelo 304 se incluye en la imagen 902 en la localización 904.
En este ejemplo específico, el modelo 304 está detrás de un objeto, la pared 208, y no es realmente visible en la imagen 902 en la localización actual.
En este ejemplo ilustrativo, el modelo 304 se visualiza como que está detrás de la pared 208. Aunque el modelo 304 no puede verse realmente en la imagen 902, el modelo 304 se visualiza en la imagen 902 de una manera que indica que el modelo 304 está detrás de la pared 208. Por ejemplo, el modelo 304 puede visualizarse en modo fantasma, con un indicador intermitente, o de alguna otra manera que permita al espectador saber que el modelo 304 está realmente detrás de la pared 208.
El helicóptero 204 en la figura 2 se ha movido a través del marco de puerta 210 y está localizado detrás de la pared 208 en la imagen 902. La imagen 902 se toma desde un punto de vista anterior antes de que el helicóptero 204 en la figura 2 se mueva a través del marco de puerta 210.
En este ejemplo ilustrativo, el modelo 304 se visualiza en una localización 904 que corresponde a una posición actual del helicóptero 204 en la figura 2. Además, la ruta 906 puede incluirse en la imagen 902. Además, una flecha 908 puede indicar una dirección de desplazamiento de helicóptero 204 en la figura 2. Además, la velocidad del helicóptero 204 en la figura 2 puede indicarse por el tamaño de la flecha 908. Por ejemplo, la flecha 908 puede ser más larga o más grande en otras dimensiones si el helicóptero 204 se mueve más rápido que en el ejemplo actual.
Las ilustraciones de las visualizaciones de las figuras 3-9 no pretenden limitar la manera en que pueden generarse otras visualizaciones. Además, los diferentes componentes visualizados en las figuras 2-9 pueden combinarse con los componentes en la figura 1, usados con componentes en la figura 1, o una combinación de los dos. Además, algunos de los componentes en las figuras 2-9 pueden ser ejemplos ilustrativos de cómo los componentes visualizados en forma de bloque en la figura 1 pueden implementarse como estructuras físicas.
En otros ejemplos ilustrativos, otros tipos de información pueden incluirse, además de y/o en lugar de los representados en estas visualizaciones. En algunos ejemplos ilustrativos, puede incluirse una ruta proyectada del helicóptero 204 en la figura 2 en la visualización del modelo 304. En otros ejemplos ilustrativos, puede visualizarse una ruta en una imagen para visualizar dónde ha estado el vehículo y su ruta de desplazamiento. Como otro ejemplo ilustrativo más, si se selecciona un objetivo de interés, la distancia al objetivo de interés puede visualizarse en las imágenes.
En aún otros ejemplos ilustrativos, el modelo puede ser una forma geométrica que tiene dimensiones que se escalan para el vehículo en lugar de un modelo más preciso que se visualiza para el modelo 304.
Haciendo referencia ahora a la figura 10, se representa una ilustración de un diagrama de flujo de un proceso para procesar información de video para un vehículo de acuerdo con una realización ventajosa. El proceso ilustrado en la figura 10 puede implementarse en el módulo de punto de vista 148 en la figura 1. El vehículo puede tomar la forma de, por ejemplo, sin limitación, un vehículo terrestre, un barco, un submarino, un avión, un helicóptero, un vehículo aéreo no tripulado, una nave espacial o algún otro tipo de vehículo adecuado.
En este ejemplo ilustrativo, el proceso comienza recibiendo imágenes en un flujo de datos de video (1000). El proceso selecciona un número de imágenes anteriores que incluyen un objeto (operación 1002). El proceso visualiza un modelo de un vehículo en el número de imágenes anteriores en una posición actual del vehículo (operación 1004), con el proceso volviendo a la operación 1000. El modelo se visualiza en el número de imágenes anteriores con un tamaño que se basa en la posición actual del vehículo en relación con el objeto en el número de imágenes anteriores. En otras palabras, la posición y el tamaño del vehículo se basan en la posición actual del vehículo en relación con un objeto.
Con esta visualización, un operador de un vehículo puede tener más información para operar el vehículo. Por ejemplo, el operador puede ver la cantidad de separación o espacio entre el vehículo y un objeto que puede estar cerca del vehículo. De esta manera, el operador puede mover el vehículo alrededor del objeto, a través del objeto o dentro del objeto, según desee.
Haciendo referencia ahora a la figura 11, se representa una ilustración de un diagrama de flujo de un proceso para visualizar un modelo de un vehículo en una imagen de acuerdo con una realización ventajosa. El proceso ilustrado en la figura 11 incluye unas operaciones que pueden realizarse como parte de la operación 1004 en la figura 10.
El proceso comienza identificando una distancia entre una posición actual del vehículo y una posición de la cámara en la que se tomó la imagen (operación 1100). La posición de la cámara puede describirse en coordenadas tridimensionales y también puede incluir una orientación de la cámara.
A continuación, el proceso identifica los parámetros para la cámara (operación 1102). Estos parámetros pueden incluir, por ejemplo, una distancia focal, un tamaño de imagen y otros parámetros adecuados. La distancia focal y el tamaño de la imagen pueden ser parámetros fijos para la cámara. Como un ejemplo ilustrativo, la distancia focal puede fijarse en aproximadamente 20 milímetros.
El proceso a continuación identifica el campo de visión para la cámara usando los parámetros identificados para la cámara (operación 1104). Por ejemplo, el campo de visión puede calcularse usando la siguiente ecuación:
fov = 2*(arctan <(S/2)/f))
donde fov es el campo de visión, S es el tamaño de la imagen, f es la distancia focal y arctan es el inverso de la función tangente.
A continuación, el proceso identifica un diámetro para un modelo del vehículo (operación 1106). Este diámetro puede ser para la esfera de tamaño mínimo en la que puede inscribirse o colocarse el vehículo. El modelo es un modelo tridimensional del vehículo. Por ejemplo, el modelo del vehículo puede estar en una esfera en la que el diámetro del modelo es una dimensión máxima para el modelo del vehículo en cualquier eje. El modelo del vehículo tiene sustancialmente las mismas dimensiones que el vehículo real.
Por lo tanto, el proceso identifica un ángulo para el modelo del vehículo necesario para superponer el modelo del vehículo en la imagen (operación 1108). En la operación 1108, este ángulo puede identificarse usando la siguiente ecuación:
0 = arctan (D/L)
donde 0a es el ángulo para el modelo del vehículo, D es el diámetro identificado para el modelo del vehículo y L es la distancia entre la posición actual del vehículo y la posición de la cámara en la que se tomó la imagen.
A continuación, el proceso identifica una ampliación para el modelo del vehículo usando el campo de visión y el ángulo (operación 1110). En la operación 1110, la ampliación puede identificarse usando la siguiente ecuación:
M = 0 / (fov)
donde M es la ampliación para el modelo del vehículo.
A continuación, el proceso superpone el modelo del vehículo en la esfera sobre la imagen usando la ampliación y una orientación actual para el vehículo en la posición actual del vehículo (operación 1112). La operación 1112 se realiza con respecto a un eje vertical y un eje horizontal para la imagen. Además, en la operación 1112, el modelo del vehículo se superpone sobre la imagen de tal manera que el modelo del vehículo en la esfera llena una proporción correcta dentro de la imagen basándose en la ampliación.
A continuación, el proceso visualiza la imagen con el modelo del vehículo superpuesto sobre la imagen (operación 1114), y el proceso finaliza posteriormente. Este proceso puede aplicarse a cualquier número de imágenes anteriores de interés.
El proceso ilustrado en la figura 11 puede implementarse en el módulo de punto de vista 148 en la figura 1. En estos ejemplos ilustrativos, el proceso puede implementarse en software, hardware o una combinación de los dos. Cuando se usa software, las operaciones realizadas por los procesos pueden implementarse en el código de programa configurado para ejecutarse en una unidad de procesador. Cuando se emplea hardware, el hardware puede incluir circuitos que operan para realizar las operaciones en los procesos ilustrados.
En los ejemplos ilustrativos, el hardware puede tomar la forma de un sistema de circuito, un circuito integrado, un circuito integrado de aplicación específica (ASIC), un dispositivo lógico programable o algún otro tipo de hardware adecuado configurado para realizar un número de operaciones Con un dispositivo lógico programable, el dispositivo está configurado para realizar el número de operaciones. El dispositivo puede reconfigurarse en un momento posterior o puede configurarse permanentemente para realizar el número de operaciones. Los ejemplos de dispositivos lógicos programables incluyen, por ejemplo, una matriz lógica programable, una lógica de matriz programable, una matriz lógica programable en campo, una matriz de puerta programable en campo y otros dispositivos de hardware adecuados. Además, los procesos pueden implementarse en componentes orgánicos integrados con componentes inorgánicos y/o pueden estar compuestos completamente de componentes orgánicos, excluyendo a un ser humano.
Volviendo ahora a la figura 12, se representa una ilustración de un sistema de procesamiento de datos de acuerdo con una realización ventajosa. El sistema de procesamiento de datos 1200 puede usarse para implementar el sistema informático 116 en la figura 1. En este ejemplo ilustrativo, el sistema de procesamiento de datos 1200 incluye un tejido de comunicaciones 1202, que proporciona comunicaciones entre la unidad de procesador 1204, la memoria 1206, el almacenamiento persistente 1208, la unidad de comunicaciones 1210, la unidad de entrada/salida (E/S) 1212 y la pantalla 1214. El sistema de procesamiento de datos 1200 es un ejemplo de un sistema de procesamiento de datos que puede usarse para implementar el sistema informático 116.
La unidad de procesador 1204 sirve para ejecutar las instrucciones para el software que puede cargarse en la memoria 1206. La unidad de procesador 1204 puede ser un número de procesadores, un núcleo multiprocesador, o algún otro tipo de procesador, en función de la implementación específica. Un número, como se usa en el presente documento haciendo referencia a un artículo, significa uno o más artículos. Además, la unidad de procesador 1204 puede implementarse usando un número de sistemas de procesador heterogéneos en los que un procesador principal está presente con procesadores secundarios en un solo chip. Como otro ejemplo ilustrativo, la unidad de procesador 1204 puede ser un sistema multiprocesador simétrico que contiene múltiples procesadores del mismo tipo.
La memoria 1206 y el almacenamiento persistente 1208 son ejemplos de dispositivos de almacenamiento 1216. Un dispositivo de almacenamiento es cualquier pieza de hardware que es capaz de almacenar información, tal como, por ejemplo, sin limitación, datos, código de programa en forma funcional y/u otra información adecuada, ya sea sobre una base temporal y/o sobre una base permanente. Los dispositivos de almacenamiento 1216 también pueden denominarse dispositivos de almacenamiento legibles por ordenador en estos ejemplos. La memoria 1206, en estos ejemplos, puede ser, por ejemplo, una memoria de acceso aleatorio o cualquier otro dispositivo de almacenamiento volátil o no volátil adecuado. El almacenamiento persistente 1208 puede tomar varias formas, en función de la implementación específica.
Por ejemplo, el almacenamiento persistente 1208 puede contener uno o más componentes o dispositivos. Por ejemplo, el almacenamiento persistente 1208 puede ser un disco duro, una memoria flash, un disco óptico regrabable, una cinta magnética regrabable o alguna combinación de los anteriores. Los medios usados por el almacenamiento persistente 1208 también pueden ser extraíbles. Por ejemplo, puede usarse un disco duro extraíble para el almacenamiento persistente 1208.
La unidad de comunicaciones 1210, en estos ejemplos, proporciona comunicaciones con otros sistemas o dispositivos de procesamiento de datos. En estos ejemplos, la unidad de comunicaciones 1210 es una tarjeta de interfaz de red. La unidad de comunicaciones 1210 puede proporcionar comunicaciones a través del uso de cualquiera o ambos enlaces de comunicaciones físicos e inalámbricos.
La unidad de entrada/salida 1212 permite la entrada y salida de datos con otros dispositivos que pueden estar conectados al sistema de procesamiento de datos 1200. Por ejemplo, la unidad de entrada/salida 1212 puede proporcionar una conexión para la entrada de usuario a través de un teclado, un ratón, y/o algún otro dispositivo de entrada adecuado. Además, la unidad de entrada/salida 1212 puede enviar la salida a una impresora. La pantalla 1214 proporciona un mecanismo para visualizar información a un usuario.
Las instrucciones para el sistema operativo, las aplicaciones y/o los programas pueden localizarse en los dispositivos de almacenamiento 1216, que están en comunicación con la unidad de procesador 1204 a través del tejido de comunicaciones 1202. En estos ejemplos ilustrativos, las instrucciones están en una forma funcional en el almacenamiento persistente 1208. Estas instrucciones pueden cargarse en la memoria 1206 para su ejecución por la unidad de procesador 1204. Los procesos de las diferentes realizaciones pueden realizarse por la unidad de procesador 1204 usando instrucciones implementadas por ordenador, que pueden localizarse en una memoria, tal como la memoria 1206.
Estas instrucciones se denominan código de programa, código de programa utilizable por ordenador o código de programa legible por ordenador que puede leerse y ejecutarse por un procesador en la unidad de procesador 1204. El código de programa en las diferentes realizaciones puede realizarse en diferentes medios de almacenamiento legibles por ordenador o físico, tal como la memoria 1206 o el almacenamiento persistente 1208.
El código de programa 1218 se localiza en una forma funcional en un medio legible por ordenador 1220 que puede extraerse selectivamente y puede cargarse o transferirse al sistema de procesamiento de datos 1200 para su ejecución por la unidad de procesador 1204. El código de programa 1218 y el medio legible por ordenador 1220 forman un producto de programa informático 1222 en estos ejemplos. En un ejemplo, el medio legible por ordenador 1220 puede ser un medio de almacenamiento legible por ordenador 1224 o un medio de señal legible por ordenador 1226. El medio de almacenamiento legible por ordenador 1224 pueden incluir, por ejemplo, un disco óptico o magnético que se inserta o coloca en una unidad u otro dispositivo que forma parte del almacenamiento persistente 1208 para transferir sobre un dispositivo de almacenamiento, tal como un disco duro, que forma parte del almacenamiento persistente 1208.
El medio de almacenamiento legible por ordenador 1224 también puede tomar la forma de un almacenamiento persistente, tal como un disco duro, una unidad de memoria USB o una memoria flash, que está conectada al sistema de procesamiento de datos 1200. En algunos casos, el medio de almacenamiento legible por ordenador 1224 puede no ser extraíble del sistema de procesamiento de datos 1200. En estos ejemplos, el medio de almacenamiento legible por ordenador 1224 es un dispositivo de almacenamiento físico o tangible usado para almacenar el código de programa 1218 en lugar de un medio que propaga o transmite el código de programa 1218. El medio de almacenamiento legible por ordenador 1224 también se conoce como un dispositivo de almacenamiento tangible legible por ordenador o un dispositivo de almacenamiento físico legible por ordenador. En otras palabras, el medio de almacenamiento legible por ordenador 1224 es un medio que puede tocarse por una persona.
Como alternativa, el código de programa 1218 puede transferirse al sistema de procesamiento de datos 1200 usando un medio de señal legible por ordenador 1226. El medio de señal legible por ordenador 1226 puede ser, por ejemplo, una señal de datos propagada que contiene el código de programa 1218. Por ejemplo, el medio de señal legible por ordenador 1226 puede ser una señal electromagnética, una señal óptica y/o cualquier otro tipo de señal adecuada. Estas señales pueden transmitirse a través de enlaces de comunicaciones, tales como enlaces de comunicaciones inalámbricas, cable de fibra óptica, cable coaxial, un cable y/o cualquier otro tipo de enlace de comunicaciones adecuado. En otras palabras, el enlace de comunicaciones y/o la conexión pueden ser físicos o inalámbricos en los ejemplos ilustrativos.
En algunas realizaciones ventajosas, el código de programa 1218 puede descargarse a través de una red al almacenamiento persistente 1208 desde otro dispositivo o sistema de procesamiento de datos a través de un medio de señal legible por ordenador 1226 para su uso dentro del sistema de procesamiento de datos 1200. Por ejemplo, el código de programa almacenado en un el medio de almacenamiento legible por ordenador en un sistema de procesamiento de datos del servidor puede descargarse a través de una red desde el servidor al sistema de procesamiento de datos 1200. El sistema de procesamiento de datos que proporciona el código de programa 1218 puede ser un ordenador servidor, un ordenador cliente o algún otro dispositivo capaz de almacenar y transmitir el código de programa 1218.
Los diferentes componentes ilustrados para el sistema de procesamiento de datos 1200 no están destinados a proporcionar limitaciones arquitectónicas a la manera en que pueden implementarse las diferentes realizaciones. Las diferentes realizaciones ventajosas pueden implementarse en un sistema de procesamiento de datos que incluye componentes además de o en lugar de los ilustrados para el sistema de procesamiento de datos 1200. Otros componentes visualizados en la figura 12 pueden variarse de los ejemplos ilustrativos visualizados. Las diferentes realizaciones pueden implementarse usando cualquier dispositivo o sistema de hardware capaz de ejecutar un código de programa. Como un ejemplo, el sistema de procesamiento de datos puede incluir componentes orgánicos integrados con componentes inorgánicos y/o puede estar compuesto completamente de componentes orgánicos, excluyendo un ser humano. Por ejemplo, un dispositivo de almacenamiento puede estar compuesto por un semiconductor orgánico.
En otro ejemplo ilustrativo, la unidad de procesador 1204 puede tomar la forma de una unidad de hardware que tiene circuitos que se fabrican o configuran para un uso específico. Este tipo de hardware puede realizar operaciones sin necesidad de cargar el código de programa en una memoria desde un dispositivo de almacenamiento a configurar para realizar las operaciones.
Por ejemplo, cuando la unidad de procesador 1204 toma la forma de una unidad de hardware, la unidad de procesador 1204 puede ser un sistema de circuito, un circuito integrado de aplicación específica (ASIC), un dispositivo lógico programable o algún otro tipo de hardware adecuado configurado para realizar un número de operaciones. Con un dispositivo lógico programable, el dispositivo está configurado para realizar el número de operaciones. El dispositivo puede reconfigurarse en otro momento posterior o puede configurarse permanentemente para realizar el número de operaciones. Los ejemplos de dispositivos lógicos programables incluyen, por ejemplo, una matriz lógica programable, una lógica de matriz programable, una matriz lógica programable en campo, una matriz de compuerta programable en campo y otros dispositivos de hardware adecuados. Con este tipo de implementación, el código de programa 1218 puede omitirse, debido a que los procesos para las diferentes realizaciones se implementan en una unidad de hardware.
En aun otro ejemplo ilustrativo, la unidad de procesador 1204 puede implementarse usando una combinación de procesadores encontrados en ordenadores y unidades de hardware. La unidad de procesador 1204 puede tener un número de unidades de hardware y un número de procesadores que están configurados para ejecutar el código de programa 1218. Con este ejemplo representado, algunos de los procesos pueden implementarse en el número de unidades de hardware, mientras que otros procesos pueden implementarse en el número de procesadores.
En otro ejemplo, puede usarse un sistema de bus para implementar el tejido de comunicaciones 1202 y puede estar compuesto por uno o más buses, tales como un bus de sistema o un bus de entrada/salida. Por supuesto, el sistema de bus puede implementarse usando cualquier tipo de arquitectura adecuada que proporcione una transferencia de datos entre diferentes componentes o dispositivos conectados al sistema de bus. Además, una unidad de comunicaciones puede incluir un número de dispositivos que transmiten datos, reciben datos o transmiten y reciben datos. Una unidad de comunicaciones puede ser, por ejemplo, un módem o un adaptador de red, dos adaptadores de red o alguna combinación de los mismos. Además, una memoria puede ser, por ejemplo, la memoria 1206, o una caché, tal como se encuentra en una interfaz y un concentrador de controlador de memoria que puede estar presente en el tejido de comunicaciones 1202.
En referencia a las figuras y al texto anterior, se desvela un aparato que incluye un dispositivo de visualización 162, un sistema informático 116 configurado para seleccionar un número de imágenes anteriores 152 a partir de imágenes 132 generadas por un vehículo 102, en el que se ve un objeto en el número de imágenes anteriores 152 y visualizar un modelo 164 del vehículo 102 en el número de imágenes anteriores 152 en una posición actual 160 del vehículo 102 y con un tamaño 174 que se basa en la posición actual 160 del vehículo 102 en relación con el objeto 156 en el número de imágenes anteriores 152.
En una variante, el sistema informático 116 puede configurarse para generar el número de imágenes anteriores 152 a medida que el vehículo 102 se mueve a través de un número de localizaciones 166 a lo largo de una ruta 159 hacia el objeto 156. En una alternativa, el sistema informático 116 está configurado además para seleccionar el número de imágenes anteriores 152 a partir de las imágenes 132 generadas por el vehículo 102, en el que el objeto 156 se ve en el número de imágenes anteriores 152 y visualiza el modelo 164 del vehículo 102 en el número de imágenes anteriores 152 en la posición actual 160 del vehículo 102 y con el tamaño que se basa en la posición actual del vehículo 102 en relación con el objeto 156 en el número de imágenes anteriores 152 para al menos una de un número de localizaciones 166 formar un número de visualizaciones con un número de puntos de vista artificiales. En una variante, el sistema informático 116 puede configurarse adicionalmente para cambiar un punto de vista visualizado en secuencia entre una localización 118 en el número de localizaciones 166 a la posición actual 160.
En aún otra variante, en la que al estar configurada para agregar el modelo 164 del vehículo 102 al número de imágenes anteriores 152 en el número de localizaciones 166 identificadas para formar el número de imágenes modificadas, el sistema informático 116 se configura para identificar el número de localizaciones 166 en el número de imágenes anteriores 152 para el vehículo 102 basándose en la posición actual 160 del vehículo 102 y seleccionar el tamaño 174 para el modelo 164 para proporcionar una distancia relativa entre el modelo 164 y el objeto 156 en el número de imágenes anteriores 152.
En una realización, se desvela un producto de programa informático 1222 que incluye un medio de almacenamiento legible por ordenador, un primer código de programa para seleccionar un número de imágenes anteriores 152 a partir de las imágenes 132 generadas por un vehículo 102, en el que se ve un objeto 156 en el número de imágenes anteriores 152. En una variante, el segundo código de programa visualiza un modelo 164 del vehículo 102 en el número de imágenes anteriores 152 en una posición actual 160 del vehículo 102 y con un tamaño 174 que se basa en la posición actual 160 del vehículo 102 en relación con el objeto 156 en el número de imágenes anteriores 152, en el que el primer código de programa y el segundo código de programa se almacenan en el medio de almacenamiento legible por ordenador.
En aun otra variante, el segundo código de programa incluye un código de programa para identificar la posición actual 160 del vehículo 102, un código de programa para identificar un número de localizaciones 166 en el número de imágenes anteriores 152 para el vehículo 102 basándose en la posición actual 160 del vehículo 102, un código de programa para agregar el modelo 164 del vehículo 102 al número de imágenes anteriores 152 en el número de localizaciones 166 identificadas con el tamaño 174 basándose en la posición actual 160 del vehículo 102 en relación con el objeto 156 para formar un número de imágenes modificadas y un código de programa para visualizar el número de imágenes modificadas.
Por lo tanto, las diferentes realizaciones ventajosas proporcionan un método y un aparato para procesar la información de video para un vehículo. Al procesar la información del video, se seleccionan un número de imágenes anteriores que incluyen un área de interés alrededor del vehículo. Se visualiza un modelo del vehículo en el número de imágenes anteriores en la posición actual del vehículo. Además, el modelo tiene un tamaño que se basa en la posición actual del vehículo en relación con un objeto en el número de imágenes anteriores.
De esta manera, las diferentes realizaciones ventajosas pueden proporcionar a un operador más información para operar un vehículo que la que está disponible actualmente. Con un punto de vista artificial, el operador puede ver el vehículo en su posición actual en relación con un objeto que no puede verse desde el punto de vista actual de la cámara en el vehículo en la posición actual del vehículo. Como resultado, un operador puede maniobrar más fácilmente un vehículo alrededor, a través, debajo o dentro de un objeto.
Muchas modificaciones y variaciones serán evidentes para los expertos en la materia. Por ejemplo, aunque los ejemplos ilustrativos se han descrito con respecto a un helicóptero, las realizaciones ventajosas pueden aplicarse a otros tipos de vehículos. Por ejemplo, las diferentes realizaciones ventajosas pueden aplicarse a vehículos terrestres no tripulados, vehículos terrestres tripulados, tanques, automóviles, submarinos, barcos de superficie, naves espaciales y otros vehículos adecuados.

Claims (15)

REIVINDICACIONES
1. Un método para procesar información de video para un vehículo (102), comprendiendo el método:
seleccionar un número de imágenes anteriores (152) a partir de las imágenes (132) generadas por el vehículo (102), en el que se ve un objeto (156) en el número de imágenes anteriores (152); y
visualizar un modelo (164) del vehículo (102) en el número de imágenes anteriores (152) en una posición actual (160) del vehículo (102) y con un tamaño (174) que se basa en la posición actual (160) del vehículo (102) en relación con el objeto (156) en el número de imágenes anteriores (152), caracterizado por que visualizar el modelo comprende además visualizar el modelo en modo fantasma cuando la posición actual (160) del vehículo (102) está oculta a la vista por el objeto (156), en el que se visualiza una flecha (908) en el número de imágenes anteriores (152) cuando la posición actual (160) del vehículo (102) está oculta a la vista por el objeto (156), en el que la flecha (908) indica una dirección de desplazamiento del vehículo (102) y el tamaño de la flecha (908) indica la velocidad del vehículo (102).
2. El método de la reivindicación 1, en el que la visualización comprende:
identificar la posición actual (160) del vehículo (102);
identificar un número de localizaciones (166) en el número de imágenes anteriores (152) para el vehículo (102) basándose en la posición actual (160) del vehículo (102);
agregar el modelo (164) del vehículo (102) al número de imágenes anteriores (152) en el número de localizaciones (166) identificadas con el tamaño (174) que se basa en la posición actual (160) del vehículo (102) en relación con el objeto (156) para formar un número de imágenes modificadas; y
visualizar el número de imágenes modificadas.
3. El método de la reivindicación 2, en el que agregar el modelo (164) del vehículo (102) al número de imágenes anteriores (152) en el número de localizaciones (166) identificadas para formar el número de imágenes modificadas comprende:
agregar el modelo (164) del vehículo (102) al número de imágenes anteriores (152) en el número de localizaciones (166) identificadas con el modelo (164) que tienen una orientación (144) basada en la posición actual (160) del vehículo (102) para formar el número de imágenes modificadas.
4. El método de la reivindicación 2, en el que agregar el modelo (164) del vehículo (102) al número de imágenes anteriores (152) en el número de localizaciones (166) identificadas para formar el número de imágenes modificadas comprende:
seleccionar el tamaño (174) para el modelo (164) de tal manera que el tamaño (174) para el modelo (164) tenga una proporción relativa al objeto (156) en el número de imágenes anteriores (152) que coincida sustancialmente con una proporción física real del vehículo (102) relativa al objeto (156).
5. El método de cualquiera de las reivindicaciones anteriores que comprende además:
generar el número de imágenes anteriores (152) a medida que el vehículo (102) se mueve a través de un número de localizaciones (166) a lo largo de una ruta (159) hacia el objeto (156).
6. El método de la reivindicación 1 que comprende además:
realizar la selección del número de imágenes anteriores (152) a partir de las imágenes (132) generadas por el vehículo (102), en el que el objeto (156) se ve en el número de imágenes anteriores (152) y visualizar el modelo (164) del vehículo (102) en el número de imágenes anteriores (152) en la posición actual (160) del vehículo (102) y con el tamaño (174) que se basa en la posición actual (160) del vehículo en relación con el objeto (156) en el número de imágenes anteriores (152) para al menos una de un número de localizaciones (166) para formar un número de visualizaciones con un número de puntos de vista artificiales.
7. El método de cualquiera de las reivindicaciones anteriores que comprende además:
cambiar un punto de vista visualizado en secuencia entre una localización en el número de localizaciones (166) a la posición actual (160).
8. El método de la reivindicación 1, en el que el vehículo (102) está detrás del objeto (156) y no es visible en una imagen en una localización actual (118) y en el que visualizar el modelo (164) del vehículo (102) en el número de imágenes anteriores (152) en la posición actual (160) del vehículo (102) y con el tamaño que se basa en la posición actual (160) del vehículo (102) en relación con el objeto (156) en el número de imágenes anteriores (152) comprende:
visualizar el modelo (164) del vehículo (102) en el número de imágenes anteriores (152) en la posición actual (160) del vehículo (102) y con el tamaño (174) que se basa en la posición actual (160) del vehículo (102) en relación con el objeto (156) en el número de imágenes anteriores (152) en las que se visualiza el modelo (164) de una manera que indica que el modelo (164) está detrás del objeto (156).
9. El método de cualquiera de las reivindicaciones anteriores, en el que la posición actual (160) comprende unas coordenadas (142) que describen una localización (118) del vehículo (102) en un espacio tridimensional y una orientación (144) del vehículo (102).
10. El método de cualquiera de las reivindicaciones anteriores, en el que la posición actual (160) comprende además una velocidad (138) del vehículo (102).
11. El método de cualquiera de las reivindicaciones anteriores, en el que el vehículo (102) se selecciona de uno de entre un vehículo terrestre (106), un barco, un submarino, un avión, un helicóptero, un vehículo aéreo no tripulado (108), y una nave espacial.
12. Un aparato que comprende:
un dispositivo de visualización (162); y
un sistema informático (116) configurado para seleccionar un número de imágenes anteriores (152) a partir de las imágenes (132) generadas por un vehículo (102), en el que se ve un objeto (156) en el número de imágenes anteriores (152) y se visualiza un modelo (164) del vehículo (102) en el número de imágenes anteriores (152) en una posición actual (160) del vehículo (102) y con un tamaño (174) que se basa en la posición actual (160) del vehículo (102) en relación con el objeto (156) en el número de imágenes anteriores (152), caracterizado por que el sistema informático (116) está configurado para visualizar el modelo en modo fantasma cuando la posición actual (160) del vehículo (102) está oculta a la vista por el objeto (156), en el que el sistema informático está configurado además para visualizar una flecha (908) en el número de imágenes anteriores (152) cuando la posición actual (160) del vehículo (102) está oculta a la vista por el objeto (156), en el que la flecha (908) indica una dirección de desplazamiento del vehículo (102) y el tamaño de la flecha (908) indica la velocidad del vehículo (102).
13. El aparato de la reivindicación 12, en el que al estar configurado para visualizar el modelo (164) del vehículo (102) en el número de imágenes anteriores (152) en la posición actual (160) del vehículo (102) y con el tamaño (174) que se basa en la posición actual (160) del vehículo (102) en relación con el objeto (156) en el número de imágenes anteriores (152), el sistema informático (116) se configura para identificar la posición actual (160) del vehículo (102); identificar un número de localizaciones (166) en el número de imágenes anteriores (152) para el vehículo (102) basándose en la posición actual (160) del vehículo (102); agregar el modelo (164) del vehículo (102) al número de imágenes anteriores (152) en el número de localizaciones (166) identificadas con el tamaño que se basa en la posición actual (160) del vehículo (102) en relación con el objeto (156) para formar un número de imágenes modificadas; y visualizar el número de imágenes modificadas.
14. El aparato de la reivindicación 13, en el que al estar configurado para agregar el modelo (164) del vehículo (102) al número de imágenes anteriores (152) en el número de localizaciones (166) identificadas para formar el número de imágenes modificadas, el sistema informático (116) se configura para agregar el modelo (164) del vehículo (102) al número de imágenes anteriores (152) en el número de localizaciones (166) identificadas con el modelo (164) que tiene una orientación (144) basada en la posición actual (160) del vehículo (102) para formar el número de imágenes modificadas.
15. El aparato de cualquiera de las reivindicaciones 13-14, en el que al estar configurado para agregar el modelo (164) del vehículo (102) al número de imágenes anteriores (152) en el número de localizaciones (166) identificadas para formar el número de imágenes modificadas, el sistema informático (116) se configura para identificar el número de localizaciones (166) en el número de imágenes anteriores (152) para el vehículo (102) basándose en la posición actual (160) del vehículo (102) y seleccionar el tamaño (174) para el modelo (164) para proporcionar una distancia relativa entre el modelo (164) y el objeto (156) en el número de imágenes anteriores (152).
ES12167730T 2011-05-11 2012-05-11 Conformación de imágenes de fase temporal para un punto de vista artificial Active ES2757678T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/105,306 US9534902B2 (en) 2011-05-11 2011-05-11 Time phased imagery for an artificial point of view

Publications (1)

Publication Number Publication Date
ES2757678T3 true ES2757678T3 (es) 2020-04-29

Family

ID=46582523

Family Applications (1)

Application Number Title Priority Date Filing Date
ES12167730T Active ES2757678T3 (es) 2011-05-11 2012-05-11 Conformación de imágenes de fase temporal para un punto de vista artificial

Country Status (3)

Country Link
US (1) US9534902B2 (es)
EP (1) EP2523062B1 (es)
ES (1) ES2757678T3 (es)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201248347A (en) * 2011-05-18 2012-12-01 Hon Hai Prec Ind Co Ltd System and method for controlling unmanned aerial vehicle
US11281207B2 (en) * 2013-03-19 2022-03-22 Robotic Research Opco, Llc Delayed telop aid
WO2015163106A1 (ja) 2014-04-25 2015-10-29 ソニー株式会社 制御装置、撮像装置、制御方法、撮像方法及びコンピュータプログラム
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
KR102037324B1 (ko) * 2017-11-30 2019-10-28 엘지전자 주식회사 자율주행 차량 및 그 제어 방법
US10846534B1 (en) * 2020-03-17 2020-11-24 Capital Once Services, LLC Systems and methods for augmented reality navigation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4348468B2 (ja) 2004-01-21 2009-10-21 株式会社キャンパスクリエイト 画像生成方法
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP5003946B2 (ja) * 2007-05-30 2012-08-22 アイシン精機株式会社 駐車支援装置
US8019447B2 (en) 2007-09-14 2011-09-13 The Boeing Company Method and system to control operation of a device using an integrated simulation with a time shift option
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
US20090167786A1 (en) 2007-12-24 2009-07-02 Ronald Stanions Methods and apparatus for associating image data
IL188655A (en) * 2008-01-08 2011-09-27 Rafael Advanced Defense Sys System and method for navigating a remote control vehicle past obstacles
FR2927262B1 (fr) 2008-02-13 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante
KR20110044217A (ko) * 2008-07-31 2011-04-28 텔레 아틀라스 비. 브이. ３차원으로 내비게이션 데이터를 디스플레이하는 방법
US8263919B2 (en) * 2008-08-27 2012-09-11 Raytheon Company Unmanned surveillance vehicle

Also Published As

Publication number Publication date
US20120287275A1 (en) 2012-11-15
EP2523062A2 (en) 2012-11-14
EP2523062A3 (en) 2014-04-02
US9534902B2 (en) 2017-01-03
EP2523062B1 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
ES2757678T3 (es) Conformación de imágenes de fase temporal para un punto de vista artificial
EP3338136B1 (en) Augmented reality in vehicle platforms
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
EP3971674B1 (en) Systems and methods for uav flight control
ES2693785T3 (es) Procedimiento y disposición para desarrollar un modelo tridimensional de un entorno
WO2018086122A1 (zh) 多路传感数据融合的方法和***
ES2962278T3 (es) Sistema de dron submarino líder
TWI686686B (zh) 飛行器的控制方法和裝置
Brady et al. The challenge of safe lunar landing
US10382746B1 (en) Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object
JPWO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
EP2142875B1 (en) Self-orienting reticle
JP2014211431A (ja) ナビゲーション装置、及び、表示制御方法
ES2892489T3 (es) Interfaz de control gráfica para UxV
US11262749B2 (en) Vehicle control system
US11669088B2 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
Klavins et al. Unmanned aerial vehicle movement trajectory detection in open environment
CN106688018B (zh) 对目标进行成像、监视和/或指示的机载光电设备
JP6684012B1 (ja) 情報処理装置および情報処理方法
EP3767436A1 (en) Systems and methods of augmented reality visualization based on sensor data
EP4295205A1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
CN117203596A (zh) 辅助操作人员使用遥控器驾驶无人机的设备、方法和软件
CZ36515U1 (cs) Sestava pro vytváření navigačních map a jejich zobrazování a doplňování dodatečnými informacemi v rozšířené realitě
Чужа automatic survey-comparative navigational
JP2007088660A (ja) 画像表示装置および画像表示方法