ES2957292T3 - Aparato y método para definir e interactuar con regiones de un área operativa - Google Patents
Aparato y método para definir e interactuar con regiones de un área operativa Download PDFInfo
- Publication number
- ES2957292T3 ES2957292T3 ES18773243T ES18773243T ES2957292T3 ES 2957292 T3 ES2957292 T3 ES 2957292T3 ES 18773243 T ES18773243 T ES 18773243T ES 18773243 T ES18773243 T ES 18773243T ES 2957292 T3 ES2957292 T3 ES 2957292T3
- Authority
- ES
- Spain
- Prior art keywords
- display
- user input
- data
- world environment
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013500 data storage Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/22—Aiming or laying means for vehicle-borne armament, e.g. on aircraft
- F41G3/225—Helmet sighting systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Un aparato de visualización y un método para mostrar un área operativa a un operativo de una plataforma anfitriona, estando definida dicha área operativa dentro de un entorno externo del mundo real con respecto a dicha plataforma anfitriona, comprendiendo el aparato un dispositivo de visualización (12) configurado para proporcionar a dicha plataforma anfitriona operativa, en uso, una vista tridimensional de dicho entorno externo del mundo real; un dispositivo generador de visualización para crear imágenes en el dispositivo de visualización, una entrada de usuario (33) configurada para recibir datos de entrada de usuario (35) representativos de un objetivo o región específica con respecto a la cual se va a realizar una operación, y definiendo así una inicial volumen geométrico para el área operativa, incluyendo dichos datos de entrada del usuario datos representativos de la ubicación dentro de dicho entorno externo del mundo real de dicho objetivo o región especificada y datos representativos de dicha operación a realizar con respecto al mismo; y un procesador (32) configurado para: utilizar dichos datos de entrada del usuario para generar u obtener datos de imágenes tridimensionales representativos de un volumen geométrico ajustado en base, al menos, a dicho volumen geométrico inicial y a dicha operación a realizar, y mostrar uno o más imágenes que representan dicho volumen geométrico ajustado y creadas usando dichos datos de imágenes tridimensionales, en dicho dispositivo generador de visualización, estando configurado el aparato para proyectar o combinar dicha una o más imágenes mostradas en dicho dispositivo generador de visualización en dicha vista de dicho real externo -entorno mundial en la ubicación relativa dentro del mismo del objetivo o región especificada. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Aparato y método para definir e interactuar con regiones de un área operativa
Esta invención se refiere en general a un aparato y método para mostrar a un usuario una vista de un área operativa y para permitir que el usuario interactúe con una pantalla del área operativa y, más particularmente, pero no necesariamente exclusivamente, a un aparato y método para mostrar un área operativa externa con respecto a una plataforma de anfitrión, tal como el espacio aéreo externo de una aeronave, a un operativo, p. ej., el piloto, de la plataforma, y para permitir que el operativo defina e interactúe con las regiones seleccionadas del área operativa a través de una pantalla de la misma. Es conocido, particularmente en el campo de las aeronaves de combate militares y similares, proporcionar una pantalla montada en el casco (HMD), en donde se proporciona un casco que tiene un visor transparente y un dispositivo de generación de visualización (p. ej., una pantalla o proyector). Estas están dispuestas y configuradas para proyectar o superponer imágenes de otra manera sobre el visor y, de esta manera, en la vista del usuario del mundo real (a través de luz transmitida/reflejada) para crear un entorno de realidad aumentada. Por lo tanto, el portador puede ver su entorno del mundo real a través del visor mientras también visualiza imágenes y/o datos adicionales, recibidos de otras fuentes, mostrados en el dispositivo de generación de visualización y se proyectan sobre la vista del portador del entorno del mundo real. Como tal, se proporciona un procesador que recibe datos en tiempo real de múltiples fuentes, tales como dispositivos de captura de imágenes externos, sensores de velocidad, sensores de armas o sistemas de seguimiento de objetivo, y genera datos de imagen bidimensionales representativos de esos datos. Los datos de imagen se proyectan en la vista del portador del entorno del mundo real externo (visto a través del visor) en forma de imágenes bidimensionales representativas, que se superponen de manera efectiva en el campo de visión del mundo real del portador a través del visor. Esto es conocido como un sistema de visualización de realidad aumentada.
También es conocido proporcionar un ensamblaje de visualización que tiene una pantalla opaca (que puede incorporarse en una pantalla montada en la cabeza, pero, alternativamente, puede proporcionarse en forma de una pantalla frontal abajo o frontal arriba, por ejemplo), en donde se representa un entorno en el mundo real para generar datos de imagen representativos de los mismos y esos datos de imagen se usan para mostrar en la pantalla, un entorno de realidad virtual. En este caso, los datos adicionales, recibidos de otras fuentes, pueden mezclarse en el entorno de realidad virtual en forma de imágenes bidimensionales representativas.
Una plataforma operativa, p. ej., un piloto de una aeronave, utiliza el sistema de visualización de realidad aumentada y/o de realidad virtual para monitorizar el área operativa con respecto a la plataforma de anfitrión. En ambos casos, cualquier región de interés para la plataforma operativa (p. ej., la ubicación de una zona de amenaza alrededor de un recurso enemigo) únicamente puede representarse dentro de la pantalla como una vista en planta bidimensional, en el mejor de los casos, basándose en la ubicación de un objetivo y su área de influencia en el nivel del suelo. Si ha de realizarse una tarea u operación con respecto a una región particular u objetivo dentro del área operativa, la plataforma operativa debe formar su conciencia situacional de la región tridimensional en la misma, con respecto a la que se define la tarea u operación, a partir de un modelo mental basándose en la información recibida durante la sesión informativa previa al vuelo, complementada por información disponible de las vistas en planta bidimensionales mencionadas anteriormente, mostradas físicamente en la cabina, de las comunicaciones verbales y de datos recibidas en tiempo real, y de su vista del mundo exterior mirando desde la cabina. Además, deben evaluar la tarea u operación a realizarse en relación con estos datos complejos, recibidos de múltiples fuentes, para predecir la probabilidad de éxito de la operación bajo las condiciones actuales. Este proceso es inevitablemente propenso a imprecisiones y puede conducir a errores estratégicos críticos. El documento GB2532465 a se refiere a una estación de control interactiva y, más particularmente, a una estación de control de realidad mixta configurable para su uso en, por ejemplo, un vehículo aéreo no tripulado o estación terrestre de aeronave.
El documento US 2011/106447 A1 se refiere a un sistema para mejorar la conciencia situacional del terreno de un terreno alrededor de una aeronave y, más particularmente, se refiere a un sistema para representar terreno.
El documento US 2017/169610 A1 describe un dispositivo de visualización montado en la cabeza y métodos para mostrar un portal holográfico de terceros.
El documento US2014240313 A1 describe sistemas y métodos para mostrar diversos datos sobre un espacio estereográfico tridimensional, y en particular sistemas y métodos para mostrar un espacio estereográfico tridimensional aumentado de tal modo que el movimiento de la cabeza y/o los ojos del usuario consigue diferentes vistas del espacio estereográfico tridimensional aumentado correspondiente a la dirección de la mirada del usuario.
La presente invención se define por las reivindicaciones independientes adjuntas. Mediante las reivindicaciones dependientes se definen realizaciones adicionales.
Los aspectos de la presente invención buscan tratar al menos algunos de estos problemas y, según un primer aspecto de la presente invención, se proporciona un aparato de visualización para mostrar un área operativa para la operación de una plataforma de anfitrión, estando definida dicha área operativa dentro de un entorno del mundo real externo con respecto a dicha plataforma de anfitrión, comprendiendo el aparato un dispositivo de visualización configurado para proporcionar a dicha operación, en uso, una vista tridimensional de dicho entorno del mundo real externo, un dispositivo de generación de visualización para crear imágenes en el dispositivo de visualización, una entrada de usuario configurada para recibir datos de entrada de usuario representativos de un objetivo o región especificados con respecto a los que ha de realizarse una operación y, de esta manera, definir un volumen geométrico inicial para el área operativa, incluyendo dichos datos de entrada de usuario datos representativos de la ubicación dentro de dicho entorno del mundo real externo de dicho u objetivo o región especificados y datos representativos de dicha operación que ha de realizarse con respecto de los mismos; y un procesador configurado para: usar dichos datos de entrada de usuario para generar u obtener datos de imagen tridimensional representativos de un volumen geométrico ajustado basándose, al menos, en dicho volumen geométrico inicial y en dicha operación que ha de realizarse, y mostrar en dicho dispositivo de generación de visualización una o más imágenes que representan dicho volumen geométrico ajustado y creado usando dichos datos de imagen tridimensionales, estando configurado además el aparato para proyectar o mezclar dicha una o más imágenes dentro de dicha vista de dicho entorno del mundo real externo en la ubicación relativa en el mismo del objetivo o región especificados.
El procesador puede configurarse para usar dichos datos de entrada de usuario para generar u obtener datos de imagen tridimensional representativos del volumen geométrico ajustado basándose además en datos representativos de restricciones dentro del entorno del mundo real.
En una realización ilustrativa, el procesador está configurado para hacer que un modelo tridimensional que representa dicho volumen geométrico inicial o ajustado se visualice en dicho dispositivo de visualización y el aparato está configurado para proyectar o mezclar dicho modelo tridimensional dentro de dicha vista de dicho entorno del mundo real externo en la ubicación relativa en el mismo de dicho objetivo o región especificados.
Por lo tanto, generando un volumen geométrico representativo de una región tridimensional afectada por una operación y colocando a continuación una representación visual (p. ej., un modelo tridimensional) de ese volumen geométrico dentro de la vista operativa del entorno del mundo real externo, en la ubicación relativa (y orientada correctamente con respecto a) el objetivo o región especificados (es decir, en “ espacio real” ), la operación puede visualizar de manera inmediata con precisión o “ver” , en el espacio real, la región afectada por la operación dentro del entorno del mundo real externo, de modo que se obvia la necesidad de formar y retener su conciencia situacional en forma del modelo mental mencionado anteriormente. En otras palabras, el aparato de visualización definido anteriormente mejora la presentación de los datos complejos requeridos para mantener una conciencia situacional precisa.
El procesador puede comprender una entrada para recibir datos objetivo en tiempo real representativos de uno o más objetivos, y su ubicación o ubicaciones respectivas, dentro de dicha área operativa. Dichos datos objetivo pueden obtenerse usando la tecnología de detección y/o seguimiento de objetivos a bordo de la plataforma de anfitrión y/o en una o más otras plataformas dentro del entorno del mundo real externo. Las tecnologías de detección y seguimiento objetivo son conocidas, particularmente en el campo de las operaciones militares, y la presente invención no pretende necesariamente estar limitada a este respecto.
El procesador puede incluir, o estar acoplado de forma comunicable a, un módulo de almacenamiento de datos, teniendo dicho módulo de almacenamiento de datos almacenado en el mismo datos representativos de una pluralidad de operaciones o modos y datos representativos de una pluralidad de volúmenes geométricos respectivos asociados con el mismo. La entrada de usuario puede configurarse para permitir la operación para seleccionar una operación o modo a partir de dicha pluralidad de operaciones o modos, y el procesador puede configurarse, en respuesta a la selección de una operación o modo, para obtener los datos de imagen tridimensional representativos del volumen geométrico asociado con la operación o modo seleccionados.
El aparato puede comprender además uno o más dispositivos de entrada configurados para permitir que un operativo interactúe con la una o más imágenes en el dispositivo de visualización para moverlas a una ubicación deseada dentro de su vista del entorno del mundo real externo y/o ajustar manualmente la forma, el tamaño y/u orientación de la una o más imágenes con respecto al mismo. El dispositivo o dispositivo de entrada pueden comprender uno o más de una pluralidad de controles, tales como un cursor convencional con palanca de mando, ratón o dispositivo de control manual similar, controles táctiles a través de un dispositivo de pantalla táctil, gestos con el brazo, la mano o los dedos, movimiento de la cabeza, tecnología de seguimiento ocular, etc. Un intervalo de medios de control multimodales para manipular datos de imagen en una pantalla táctil será conocido por un experto en la técnica, y la presente invención no pretende necesariamente estar limitada a este respecto.
En algunas realizaciones ilustrativas de la presente invención, el procesador puede estar configurado para generar y mostrar dicha una o más imágenes con respecto a dos o más operaciones respectivas simultáneamente.
En una realización ilustrativa, el dispositivo de visualización puede ser un visor transparente o translúcido, de modo que el entorno del mundo real externo puede verse a través del visor, en uso, y el dispositivo de generación de visualización puede estar dispuesto y configurado de tal modo que las imágenes mostradas en el mismo se proyecten en (es decir, superpuestas a) la vista del entorno del mundo real externo. En este caso, por ejemplo, el aparato puede comprender unos auriculares para colocar sobre los ojos de un usuario, en uso, e incluir un visor y un dispositivo de generación de visualización (como se ha descrito anteriormente), o el dispositivo de generación de visualización puede ser transparente o translúcido y estar incorporado en el parabrisas de un vehículo. En una realización ilustrativa alternativa de la invención, el dispositivo de generación de visualización puede ser sustancialmente opaco y el procesador puede incluir una entrada para recibir datos de imágenes representativos de un entorno del mundo real externo, y estar configurado para usar dichos datos de imágenes para generar y mostrar en dicho dispositivo de generación de visualización, un entorno virtual tridimensional. Por lo tanto, el procesador puede configurarse de forma ventajosa para mezclar los datos de imagen representativos del volumen o volúmenes geométricos en dicho entorno virtual en el dispositivo de generación de visualización. En este caso, el aparato de visualización puede comprender una pantalla montada en la cabeza, una pantalla frontal arriba, una pantalla frontal abajo, una pantalla dentro de un simulador, etc.
El aparato de visualización según la invención encuentra una utilidad particular (pero no necesariamente exclusiva) para dar soporte al operador de un vehículo a evaluar o predecir la probabilidad de éxito de una operación especificada en una ubicación especificada dentro del entorno del mundo real externo. Por lo tanto, el procesador puede configurarse para usar tales datos de entrada de usuario y datos de otras fuentes para determinar una probabilidad de éxito de una operación especificada y generar una salida representativa de la misma. La salida puede comprender una de múltiples salidas predefinidas, p. ej., imposible, parcialmente posible con limitaciones y completamente posible. El resultado puede incluir datos representativos de las condiciones, parámetros y características que rigen el resultado previsto. La salida también puede incluir datos representativos de instrucciones/información adicionales para el operativo con respecto a dicha operación especificada. El procesador puede configurarse para generar y mostrar en dicho dispositivo de generación de visualización datos representativos del estado en tiempo real de una operación especificada. Esto se puede conseguir, por ejemplo, mediante el uso de diferentes colores en las imágenes mostradas para representar el estado respectivo de la operación asociada. El procesador puede configurarse para recibir u obtener datos de elevación del terreno representativos de dicho entorno del mundo real externo, usar dichos datos de elevación del terreno para calcular regiones de intervisibilidad entre la plataforma de anfitrión/otras plataformas dentro del área operativa y un objetivo o región especificados definidos por los datos de entrada de usuario, y determinar dicha probabilidad de éxito de la operación especificada basándose en las regiones calculadas de intervisibilidad.
Se apreciará que, dado que el procesador utiliza datos en tiempo real para determinar la probabilidad de éxito mencionada anteriormente de una operación especificada, esto puede actualizarse en tiempo real para tener en cuenta los cambios en las circunstancias mientras la operación está 'activa', y la salida se actualiza en consecuencia. Por lo tanto, el operador de la plataforma no sólo puede visualizar la región tridimensional del entorno externo afectada por una operación especificada y recibir una indicación inicial de su probabilidad de éxito, así como información adicional que puede influir/ayudar al éxito de la operación, esto se puede actualizar a través de todo el tiempo que la operación se considera 'activa', permitiendo por lo tanto al operador planificar y tomar rápidamente cualquier acción apropiada.
En una realización ilustrativa, la vista tridimensional del entorno del mundo real externo proporcionada al operador en el dispositivo de visualización puede ser una vista a escala de tal modo que parezca más pequeña que el entorno del mundo real (equivalente).
En una realización ilustrativa, el aparato puede comprender además una interfaz de red para interactuar con plataformas colaboradoras, en donde el procesador es configurable para dividir el volumen geométrico ajustado entre la plataforma y las plataformas colaboradoras para realizar la operación.
En una realización ilustrativa, el dispositivo de visualización y el dispositivo de generación de visualización pueden configurarse para proporcionar una representación estereoscópica de los datos de entrada de usuario.
En una realización ilustrativa, la plataforma de anfitrión puede ser una aeronave y una operación (o 'tarea') puede comprender una contramedida con respecto a un recurso enemigo o exploración de radar con respecto a una región especificada del área operativa para identificar o rastrear recursos enemigos. Sin embargo, según algunas realizaciones, la invención puede ser aplicable de manera más general a otros tipos de vehículos en una amplia diversidad de aplicaciones.
En una realización ilustrativa, la imagen o imágenes que representan un volumen geométrico (p. ej., espacio aéreo tridimensional) afectado por una operación especificada pueden ser un modelo de estructura mallada, de modo que se maximiza la visibilidad de la vista del entorno del mundo real externo dentro del que se sitúa. Sin embargo, la presente invención no pretende necesariamente estar estrictamente limitada a este respecto. Por ejemplo, se podría conseguir una visibilidad suficiente de la vista del entorno del mundo real externo usando modelos sólidos, pero translúcidos, de las regiones afectadas por las respectivas operaciones. De hecho, se podría utilizar cualquier medio para representar visualmente un volumen tridimensional en el espacio real.
Según otro aspecto de la presente invención, se proporciona un método para mostrar un área operativa para la operación de una plataforma de anfitrión, estando definida dicha área operativa dentro de un entorno del mundo real externo con respecto a dicha plataforma de anfitrión, comprendiendo el método proporcionar dispositivo de visualización configurado para proporcionar a dicha operación, en uso, una vista tridimensional de dicho entorno del mundo real externo, proporcionar un dispositivo de generación de visualización para crear imágenes en el dispositivo de visualización, recibir datos de entrada de usuario representativos de un objetivo o región especificados con respecto a los que ha de realizarse una operación y, de esta manera, definir un volumen geométrico inicial para el área operativa, incluyendo dichos datos de entrada de usuario datos representativos de la ubicación dentro de dicho entorno del mundo real externo de dicho u objetivo o región especificados y datos representativos de dicha operación que ha de realizarse con respecto de los mismos; usar dichos datos de entrada de usuario para generar u obtener datos de imagen tridimensional representativos de un volumen geométrico ajustado basándose, al menos, en dicho volumen geométrico inicial y en dicha operación a realizar; y mostrar una o más imágenes que representan dicho volumen geométrico ajustado y creadas usando dichos datos de imagen tridimensional, en dicho dispositivo de generación de visualización, y configurar el aparato para proyectar o mezclar dichas una o más imágenes dentro de dicha vista de dicho entorno del mundo real externo en la ubicación relativa en el mismo del objetivo o región especificados.
Estos y otros aspectos de la invención serán evidentes a partir de la siguiente descripción específica, en donde se describen realizaciones de la invención, a modo de ejemplos únicamente, y con referencia a los dibujos adjuntos, en donde:
La Figura 1 es una pantalla montada en un casco del aparato según una realización ilustrativa de la presente invención; La Figura 2 es un diagrama en bloque esquemático que ilustra elementos de un entorno operativo alrededor de una plataforma de anfitrión;
La Figura 3 es un diagrama en bloque esquemático de un aparato de visualización según una realización ilustrativa de la presente invención, que ilustra los elementos principales de un procesador del mismo;
Las Figuras 4a, 4b y 4c muestran una representación tridimensional de un área operativa, que puede presentarse a un operador para facilitar la selección de áreas y la asignación de tareas; y
La Figura 5 es un diagrama de flujo que expone un proceso para configurar un volumen geométrico para la realización de tareas.
Haciendo referencia a la Figura 1 de los dibujos, un aparato de visualización según una realización ilustrativa de la presente invención comprende una pantalla montada en el casco (HMD) 1 de dos partes integrada que comprende un casco 10 protector configurado, en uso, para cubrir la coronilla, la espalda y lados de la cabeza del usuario, y un visor de visibilidad (traslúcido o transparente) 12. Se proporciona una pantalla (p. ej., una matriz de píxeles emisores de luz tales como píxeles OLED) en el casco 10 y el visor 12 actúa como un espejo que, junto con otros componentes ópticos, permite al portador ver, dentro del entorno del mundo visible real a través del visor, las imágenes mostradas en la pantalla. El visor 12 se extiende entre las porciones laterales del casco 10 protector y está configurado, en uso, para cubrir los ojos del portador de modo que pueda ver a través del visor y también ver cualquier simbología o imagen mostrada en la pantalla mediante luz transmitida/reflejada. En una realización ilustrativa, la pantalla proporciona una visualización binocular de 40 grados completamente superpuesta. Este tipo de ensamblaje de visualización montado en un casco es conocido en el campo de las aeronaves militares.
El aparato de visualización de la invención incluye un procesador (no mostrado en la Figura 1), que puede incorporarse al ensamblaje 1 de visualización montado en el casco pero, más preferiblemente, está ubicado en cualquier otro sitio de la aeronave, con una interfaz inalámbrica provista en el propio casco y acoplada a la pantalla para definir un enlace de datos entre el procesador y la pantalla, evitando por lo tanto el peso adicional en el casco que representaría el procesador de cualquier otra manera.
Los sensores de armas en la aeronave de anfitrión rastrean la información de las aeronaves y misiles enemigos (p. ej., misiles tierra-aire [SAM]) y los datos de estos sensores, así como los datos de otras plataformas en el espacio de batalla y/o el cuartel general (HQ) pueden alimentarse al procesador. Además, la pantalla montada en el casco puede incluir un sistema de rastreo de la cabeza, en donde los objetivos, p. ej., transmisores tales como LED (no mostrados en la Figura 1), en el casco 10, están acoplados de manera comunicable a sensores fijos en la aeronave. Los sensores rastrean los transmisores en el casco y generan señales representativas de modo que el procesador siempre 'sabe' hacia dónde está mirando el piloto. Tales tecnologías de rastreo de objetivos y de rastreo de la cabeza son conocidas en la técnica y no se describirán con más detalle en la presente memoria.
Un experto en la técnica entenderá que, en uso, el portador de la pantalla montada en el casco podrá ver a través del visor 12 para obtener una vista del entorno operativo externo (e interno) en cualquier dirección en donde el usuario decida mirar. El procesador, conociendo el campo de visión del visor (basándose en la posición/altitud de la plataforma de anfitrión y la posición/orientación relativa o absoluta de la cabeza del usuario) y la dirección en donde mira el usuario, puede determinar el área operativa precisa visible para el portador en cualquier momento.
Haciendo referencia de manera adicional a la Figura 2 de los dibujos, se proporciona un diagrama en bloque conceptual de un entorno operativo (interno y externo) alrededor de una aeronave 14 (la aeronave o plataforma de “ anfitrión” ). Otras plataformas que operan en el mismo espacio de batalla se indican con el número de referencia 16. Las otras plataformas 16 incluyen medios de transmisión (no mostrados) de radiofrecuencia (RF) y la aeronave 14 de anfitrión incluye una interfaz 18 de red configurada para recibir datos de las otras plataformas 16 a través de un enlace 20 de datos de RF asociado. Como se indicó anteriormente, los sensores 22 de armas están incorporados en la aeronave 14 de anfitrión, junto con una base de datos 24 de inteligencia, para detectar y rastrear información de misiles enemigos. Una base de datos 26 de terreno, proporcionada en la aeronave 14 de anfitrión, almacena datos de terreno representativos del entorno externo y está configurada para proporcionar datos de elevación del terreno específicos al procesador (no mostrado en la Figura 2) incluido dentro del sistema 28 de visualización montado en el casco basándose en el área operativa externa visible para el portador (determinada usando el sistema de rastreo de la cabeza mencionado anteriormente (no mostrado), conocimiento del campo de visión del visor, datos de posición y altitud con respecto a la aeronave de anfitrión 14, etc.).
Por tanto, puede observarse que, dependiendo del área operativa externa precisa visible para el portador del ensamblaje de pantalla montada en el casco ilustrada esquemáticamente en la Figura 1 de los dibujos, el procesador asociado con el aparato de visualización puede recibir, en tiempo real, datos de elevación del terreno y datos representativos de la ubicación y característica o características de uno o más recursos enemigos, p. ej., misiles tierra-aire en el área (de cualquiera o todas las bases de datos 24 de inteligencia, otras plataformas 16 o HQ). Para completar, el sistema o sistemas informáticos que controlan los sistemas electrónicos de la aeronave se representan generalmente como un módulo 30 informático de aviónica. Haciendo referencia ahora a la Figura 3 de los dibujos, un procesador 32 de un aparato de visualización según una realización ilustrativa de la presente invención comprende una interfaz 33 de usuario para recibir datos 35 de entrada de usuario representativos de una tarea a realizar y la ubicación u objetivo dentro de su área operativa respecto de la que ha de realizarse una tarea/operación. La tarea/operación puede definirse dentro de un volumen de espacio aéreo o un área en la superficie de la tierra (o del mar, en otras realizaciones ilustrativas, o incluso bajo la superficie del mar) usando recursos en la plataforma de anfitrión o aquellos en vehículos tripulados o no tripulados cooperantes que pueden ser vehículos aerotransportados, terrestres o marítimos (de superficie o subsuperficiales). En el campo de las aeronaves militares, por ejemplo, la operación a realizar puede ser una búsqueda utilizando una diversidad de sensores para detectar, rastrear/identificar un intervalo de tipos de objetos, o podría requerir la adopción de medidas contra los objetos identificados (objetivo), por ejemplo, para interferir sus sensores o destruirlos.
El procesador comprende además una interfaz 34 de entrada configurada para recibir datos en tiempo real de diversas fuentes. En el diagrama en bloque ilustrado se representan esquemáticamente las siguientes entradas:
36: datos de entrada del sistema de rastreo de la cabeza para proporcionar datos sobre hacia dónde mira el piloto y también para proporcionar una indicación de que ha movido su cabeza (lo que puede desencadenar un cálculo actualizado); estos datos también se habrán proporcionado a la base de datos del terreno mencionada anteriormente, que está configurada para extraer datos de elevación del terreno relacionados con el campo de visión actual del piloto. Además, por supuesto, se requerirán datos representativos de la posición y altitud de la plataforma de anfitrión para determinar exactamente hacia qué parte del mundo exterior está mirando el piloto.
38: datos de entrada de la base de datos del terreno que comprende los datos de elevación del terreno correspondientes al campo de visión actual del piloto.
40: datos de entrada de los sistemas de rastreo y detección de objetivos a bordo, que comprenden datos representativos de las amenazas y sus ubicaciones a nivel del suelo; estos datos también pueden incluir características clave relacionadas con la amenaza específica, aunque esta información puede, de manera adicional o alternativamente, provenir de cualquier otro sitio (p. ej., HQ, la sesión informativa previa a la misión, otras plataformas).
42: la entrada o entradas desde otras plataformas y/o el cuartel general (HQ), a través de la interfaz 18 de red mencionada anteriormente. Estas entradas pueden comprender datos representativos de las amenazas y sus ubicaciones a nivel del suelo (y, opcionalmente, características clave relacionadas con las mismas).
44: se reciben entradas de otras fuentes y sistemas, que comprenden datos que pueden usarse para determinar una probabilidad de éxito de una tarea u operación definida por el piloto. Este cálculo también requiere conocimiento de la posición y altitud de la plataforma de anfitrión.
El procesador 32 comprende además algunos medios para seleccionar un “ modo” de operación, dependiendo de la naturaleza de la tarea/operación definida por el usuario. Es el “ modo” seleccionado el que determina la forma del volumen geométrico que se generará y mostrará. La selección de modo puede realizarse por el usuario (a través de los datos 35 de entrada de usuario), o puede realizarse automáticamente por el procesador 32 según la tarea/operación definida por el usuario. Por lo tanto, el procesador 32 comprende (o está acoplado de manera comunicable a) una base de datos 46 y está configurado para procesar los datos de entrada de la entrada 33 de usuario y seleccionar u obtener de la base de datos 46, un volumen geométrico para representar la tarea/operación definida (según el modo de operación). El usuario puede interactuar con el volumen geométrico mostrado en la pantalla (p. ej., para moverlo o cambiar su orientación) usando un intervalo de controles multimodales, que podrían incluir (pero no están necesariamente limitados a:
- Un cursor convencional con palanca de mandos, ratón o controles similares;
- Controles táctiles a través de un dispositivo de pantalla táctil convencional o mediante la aplicación de dispositivos para detectar la posición de la mano y los dedos del piloto, donde las pantallas virtuales o los paneles de control se representan al alcance del brazo del piloto;
- Gestos con los brazos, las manos y/o los dedos usando dispositivos para detectar la posición de las manos y los dedos del piloto (posiblemente soportados por dispositivos de retroalimentación háptica);
- Rastreo de la posición y orientación de la cabeza para interactuar con objetos en una pantalla de realidad aumentada o virtual;
- Rastreo de la posición de la mirada usando sensores montados en la cabina o en el casco del piloto.
La forma apropiada de interacción puede depender de la tarea a realizar, el entorno operativo y/o las preferencias personales del piloto.
El procesador 32 está configurado además para procesar (en el módulo 37 de cálculo) los datos de entrada recibidos en la interfaz 34 de entrada y calcular de esta manera, basándose en la ubicación de la tarea/operación especificada, sus características (es decir, tipo de operación a realizar, características de los recursos disponibles para realizar la operación) y datos en tiempo real representativos de las condiciones en la ubicación especificada, incluyendo datos de elevación del terreno, para calcular regiones de intervisibilidad y otros factores que afectan el volumen del espacio aéreo definido con respecto a la operación especificada. Por ejemplo, con respecto a una tarea de búsqueda de la superficie para una embarcación marítima, el espacio de búsqueda estará restringido por la costa; en esta u otras aplicaciones, una tarea de búsqueda puede estar restringida por fronteras políticas, volúmenes de espacio aéreo controlados o límites operativos. A partir del volumen geométrico inicial definido por la naturaleza de la tarea/operación especificada y los datos de elevación del terreno (y otros) asociados con la ubicación específica en donde se define la tarea/operación, el procesador calcula un volumen geométrico ajustado representativo del espacio aéreo disponible para realizar la tarea/operación especificada en una ubicación especificada (o con respecto a un objetivo especificado).
Los datos representativos del volumen geométrico mencionado anteriormente se pasan a continuación a un módulo 48 de generación de datos de imagen, que genera datos de imagen configurados para hacer que el volumen geométrico se emita (a través de la interfaz 50) y se muestre, por ejemplo, como un modelo de estructura de mallado, en el pantalla 12 de la pantalla montada en el casco de tal modo que esté escalada y superpuesta a la vista del mundo exterior del portador en la ubicación precisa en la misma del SAM especificado y dimensionada y orientada para coincidir con la situación del mundo real. Por lo tanto, el piloto puede “ver” inmediatamente una representación tridimensional del área operativa representada por la tarea/operación especificada en tiempo y espacio real.
Con referencia a las Figuras 4a, 4b, 4c y 5, al piloto se le puede presentar un entorno 3D 100. Este entorno 100 particular está enteramente compuesto de simbología e imágenes, es decir, está enteramente generado por ordenador (aunque basado en datos del mundo real), a continuación, se muestra en la pantalla y a continuación se proyecta sobre un visor o parabrisas para aparecer en el campo de visión del piloto. Al estar completamente generado por ordenador, el entorno 100 presentado se puede escalar y reubicar dentro del campo de visión del piloto por comodidad de uso. Una disposición alternativa puede proporcionar un entorno 3D para superposición a la vista del mundo real a través del visor o el parabrisas. En el entorno 100, se muestra la pista 102 de la propia aeronave del piloto, una primera y una segunda pista 104 de aeronave colaborativas, y algo de información básica del terreno que ilustra una primera región 106 del mapa terrestre distinguida de una segunda región 108 del mapa terrestre por un borde 107. En este ejemplo particular, la región 106 es el mar, la región 108 es tierra y el borde 107 es una línea costera.
Por lo tanto, se muestra un área de operación según la etapa S1 del proceso de la Figura 5.
Con el entorno mostrado, el piloto selecciona a través de un dispositivo de entrada (por ejemplo, una pantalla táctil virtual y/o entrada HOTAS) una operación particular a realizar. Específicamente en este ejemplo, el piloto especifica una tarea de 'área de búsqueda de barcos' que ha de llevarse a cabo por la aeronave 104 colaborativa.
Por lo tanto, se especifica una operación a realizar según la etapa S2 de la Figura 5.
Habiendo seleccionado realizar la tarea de búsqueda, el procesador 32, mediante referencia a la base de datos 46, determina un volumen geométrico inicial adecuado. En este ejemplo, se trata de un volumen geométrico cuboide. En consecuencia, cuando el piloto introduce una ubicación y región, se muestra 112 una forma 112 de cuboide correspondiente. El piloto puede especificar la ubicación y la región de varias maneras diferentes, por ejemplo, como se muestra en este punto, moviendo una mano 110 que señala a través del entorno para cumplir con un régimen de reconocimiento de gestos predeterminado.
Por tanto, el piloto puede especificar una región objetivo según la etapa S3 y mostrar un volumen geométrico inicial según la etapa S4.
Habiendo establecido y mostrado el volumen 112 geométrico inicial (o, alternativamente, tan pronto como se establece el volumen geométrico inicial) el procesador 32 compara esto con otros factores tales como los datos 38 de terreno y los datos de tarea. Como resultado de esta comparación, en este ejemplo, el procesador 32 determina que áreas del volumen 112 geométrico inicial que corresponden a la región terrestre no son de interés para la búsqueda. Habiendo determinado esto, se genera y muestra un volumen 114 geométrico actualizado, en este ejemplo, una versión truncada del volumen 112 inicial).
(Cuando la tarea puede realizarse por un grupo de plataformas, tal como colaboradores 104, el procesador puede compartimentar aún más el volumen geométrico actualizado/ajustado en áreas correspondientes a cargas de trabajo específicas de la plataforma - por ejemplo, un volumen para búsqueda por parte de un primer colaborador, y un volumen para búsqueda por parte de un colaborador adicional).
Por lo tanto, el volumen y la tarea inicialmente especificados se comparan con las condiciones en la región según la etapa S5 de la Figura 5, y el volumen geométrico ajustado se muestra según la etapa S6 de la Figura 5.
A continuación, el usuario puede emitir un comando por medio de un dispositivo de entrada para ejecutar la búsqueda, según la etapa S7.
Mostrando al usuario no únicamente el volumen inicial, sino también el volumen ajustado, se proporciona una experiencia de usuario en donde el piloto puede ver las etapas tomadas por el procesador 32 y, de esta manera, tanto apreciar el resultado final (p. ej., tener más confianza en él) como inferir ciertas propiedades del entorno/objetivo sin datos de sobreexposición que pueden ser menos relevantes.
En realizaciones alternativas, el volumen geométrico inicial puede definirse, pero no mostrarse, siendo el primer volumen presentado al piloto el volumen ajustado. Una disposición de este tipo puede tender a minimizar la simbología presentada al piloto. Haciendo referencia de vuelta a la Figura 3, el procesador 32 comprende además un módulo 49 de predicción para recibir datos representativos de la tarea/operación a realizar, los recursos disponibles/especificados para realizarla, la ubicación en donde ha de realizarse y (donde sea aplicable) el objetivo respecto del cual ha de realizarse, y calcula una probabilidad de éxito dados los parámetros y condiciones actuales. Por supuesto, ha de entenderse que el módulo 49 de predicción no necesariamente puede incorporarse dentro del aparato de la presente invención. En su lugar, el módulo de predicción podría incorporarse en el ordenador de a bordo o en cualquier otro sitio, y el procesador 32 podría estar acoplado de manera comunicable en la salida del mismo.
Los datos representativos de la probabilidad de éxito, por lo tanto, calculados, se muestran en la pantalla como uno de una pluralidad de mensajes, p. ej., 'imposible', parcialmente posible con limitaciones identificadas y 'completamente posible'. También se puede proporcionar información de soporte, tal como los recursos específicos a asignarse a la tarea o por qué algunos de los objetivos de la tarea no se pueden conseguir, posiblemente con recomendaciones para asignar más o diferentes recursos para realizar la tarea.
Cuando el piloto inicia la tarea, se puede generar (y mostrar) retroalimentación visual para mostrar que es una tarea activa (etapa S8 de la Figura 5). A medida que la tarea avanza, se puede proporcionar retroalimentación visual para indicar esto, por ejemplo, representando las áreas o volúmenes buscados usando diferentes colores de las regiones actualmente no buscadas. En el caso de una tarea de exploración, a medida que se detectan o identifican objetos durante la exploración, su presencia o estado se puede identificar y mostrar en forma de íconos, por ejemplo, con los que el piloto puede interactuar en la pantalla usando cualquier dispositivo de entrada adecuado, tal como uno o más de aquellos definidos anteriormente. Por lo tanto, en general, una realización ilustrativa de la invención proporciona un aparato y un método para representar, en una pantalla, un volumen (o superficie) dentro del que ha de realizarse una tarea u operación. Una vez que se ha definido la operación, se selecciona un modelo geométrico (según la naturaleza de la operación) y se coloca en una ubicación/orientación deseada dentro de una representación del mundo real del entorno externo de un operativo. Esto permite al operativo visualizar o “ver” de un vistazo los parámetros dimensionales de la región afectada por la operación y proporciona conciencia situacional inmediata.
Se usa el uso inteligente de datos contextuales apropiados relacionados con la operación específica para soportar la definición del modelo geométrico mostrado. Por lo tanto, si hay factores ambientales u otros que afectan la capacidad de la operación para realizarse dentro del espacio aéreo definido por el modelo geométrico original, el modelo geométrico mostrado se puede ajustar en consecuencia, mejorando de esta manera aún más la conciencia situacional del operativo. Una vez definida el área o volumen dentro del cual se requiere la operación, el operativo puede emitir la operación a un sistema informático de a bordo junto con cualquier información adicional relativa a la operación, como el tiempo en donde debe completarse, la prioridad que se le debe asignar y otros parámetros de desempeño relacionados. El sistema informático evalúa los requisitos de la operación e interactúa con otros recursos cooperantes a través de enlaces de datos de RF. Todos los recursos cooperantes podrían identificar cómo contribuirían a la operación especificada.
A continuación, el operativo de la plataforma puede recibir retroalimentación (p. ej., en la pantalla) desde el ordenador para identificar si la operación es/fue: imposible, parcialmente posible con limitaciones identificadas o completamente posible, por ejemplo. También se puede proporcionar información de soporte, tal como los recursos específicos a asignarse a la operación o por qué algunos de los objetivos de la operación no se pueden conseguir, posiblemente con recomendaciones para asignar más o diferentes recursos para realizar la operación.
Cuando el operativo inicia la operación, se puede proporcionar retroalimentación visual en cualquier pantalla apropiada para mostrar que se trata de una operación activa y, a medida que la operación avanza, retroalimentación visual adicional puede indicar esto, por ejemplo, representando áreas o volúmenes buscados usando diferentes colores de regiones actualmente no buscadas. A medida que se detectan o identifican objetos de interés según se requiere por la operación seleccionada, su presencia o estado puede proporcionarse en cualquier pantalla seleccionada apropiada y el operativo puede interactuar con iconos o imágenes representativas de los mismos usando cualquier medio de entrada apropiado para la superficie de visualización particular, virtual o real.
Si bien la invención se ha descrito anteriormente, en relación con un ensamblaje de pantalla montada en la cabeza, particularmente para su uso en aplicaciones de aeronaves de combate militares, será evidente para un experto en la técnica, a partir de la descripción anterior, que las modificaciones y variaciones podrían hacerse a las realizaciones descritas, sin apartarse del alcance de la invención tal como se define por las reivindicaciones anexas.
A los efectos de la siguiente lista no exhaustiva de realizaciones alternativas, debe entenderse que la expresión “ realidad aumentada” pretende referirse a un sistema en donde los datos de imagen se muestran en una pantalla transparente de tal modo que se superponen a la visión del mundo real que tiene un usuario de su entorno, mientras que la expresión “ realidad virtual” pretende referirse a un sistema donde se representa un entorno virtual en una pantalla opaca (por ejemplo, una imagen representada del entorno externo o interno en donde está ubicado un operativo y/o el vehículo) y se mezclan datos de imágenes (información) adicionales en el entorno virtual. Como se indicó anteriormente, algunas realizaciones ilustrativas de la invención pueden ser aplicables de manera más general a operadores de otros tipos de vehículos y en una amplia diversidad de aplicaciones.
En particular, el aparato de visualización podría comprender cualquiera de las siguientes disposiciones para combinar una visión del mundo real (ya sea proporcionada directamente o mediante una transmisión de vídeo en vivo) con imágenes generadas por ordenador (CGI):
- Una pantalla similar a una televisión física convencional que presenta un número de vistas diferentes de la superficie o área afectada por una operación especificada;
- Una representación virtual de una pantalla “ plana” representada en un sistema de visualización montado en la cabeza estereoscópica en color (es decir, la representación parece plana, pero se presenta para que aparezca en cualquier ubicación deseada dentro y alrededor de la cabina, por ejemplo);
- Una representación virtual mejorada estereoscópica en 3D completa de la misma información (es decir, una en donde la imagen parecería ser un modelo a escala tridimensional del mundo representado dentro o alrededor de la cabina, por ejemplo);
- Una representación virtual mejorada estereoscópica en 3D completa de la misma información alineada con el área o volumen del mundo real según se ve por el piloto (y como se ha descrito anteriormente).
En todos los casos, los aspectos de la presente invención proporcionan un aparato y un método que usan datos de la plataforma de anfitrión combinados con datos de otras plataformas dentro del área operativa para proporcionar información intuitiva y sistemas de visualización a una plataforma operativa para soportar e informar la planificación de tareas y proporcionar retroalimentación cooperativa.
Cuando se generan representaciones estereoscópicas, se toman disposiciones asociadas con respecto a la pantalla. Por ejemplo, la pantalla puede comprender una primera y una segunda subpantalla, cada una de las cuales crea una imagen que actúa con la otra para crear el efecto estereoscópico.
Las realizaciones descritas anteriormente describen el uso de una pantalla como dispositivo de generación de visualización, configurada para transmitir luz al dispositivo de visualización (p. ej., el visor) y crear de esta manera imágenes visibles para humanos. Sin embargo, como alternativa a una pantalla, se pueden proporcionar otros dispositivos para transmitir luz al dispositivo de visualización y crear imágenes. En particular, podrían utilizarse tecnologías de proyectores y/o tecnologías de guías de ondas ópticas.
Claims (14)
1. Un aparato de visualización para mostrar un área operativa a un operativo de una plataforma (14) de anfitrión, estando definida dicha área operativa dentro de un entorno del mundo real externo con respecto a dicha plataforma de anfitrión, comprendiendo el aparato:
un dispositivo (12) de visualización configurado para proporcionar a dicho operativo, en uso, una vista tridimensional de dicho entorno del mundo real externo;
un dispositivo de generación de visualización para crear imágenes en el dispositivo de visualización; una entrada (33) de usuario configurada para recibir datos (35) de entrada de usuario representativos de un objetivo o región especificados con respecto a los que ha de realizarse una operación y definiendo de esta manera un volumen (112) geométrico inicial para el área operativa, incluyendo dichos datos de entrada de usuario datos representativos de la ubicación dentro de dicho entorno del mundo real externo de dicho objetivo o región especificados y datos representativos de dicha operación a realizar con respecto a los mismos; y
un procesador (32) configurado para: usar dichos datos de entrada de usuario para generar u obtener datos de imagen tridimensional representativos de un volumen geométrico ajustado basándose, al menos, en dicho volumen geométrico inicial y en dicha operación a realizar, y mostrar una o más imágenes que representan dicho volumen (114) geométrico ajustado y creadas usando dichos datos de imagen tridimensional, en dicho dispositivo de generación de visualización, estando configurado el aparato para proyectar o mezclar dicha una o más imágenes dentro de dicha vista de dicho entorno del mundo real externo en la ubicación relativa en el mismo del objetivo o región especificados,
estando el aparatocaracterizado por que:
el procesador está configurado además para usar dichos datos de entrada de usuario y datos de otras fuentes para determinar una probabilidad de éxito de la operación especificada a realizar y generar una salida representativa de la misma. a dicha vista de dicho entorno del mundo real externo en la ubicación relativa en el mismo del objetivo o región especificados estando el métodocaracterizado por queel método comprende, además:
determinar una probabilidad de éxito de la operación especificada a realizar a través del procesador usando dichos datos de entrada de usuario y datos de otras fuentes;
y generar una salida representativa de la misma.
2. Un aparato de visualización según la reivindicación 1, en donde el procesador está configurado para usar dichos datos de entrada de usuario para generar u obtener datos de imagen tridimensional representativos del volumen geométrico ajustado basándose además en datos representativos de restricciones dentro del entorno del mundo real.
3. Un aparato de visualización según la reivindicación 1 o 2, en donde el procesador está configurado para hacer que un modelo tridimensional que representa dicho volumen geométrico inicial o ajustado se visualice en dicho dispositivo de visualización y el aparato está configurado para proyectar o mezclar dicho modelo tridimensional dentro de dicha vista de dicho entorno del mundo real externo en la ubicación relativa en el mismo de dicho objetivo o región especificados.
4. Un aparato de visualización según cualquiera de las reivindicaciones anteriores, en donde el procesador comprende una entrada para recibir datos objetivo en tiempo real representativos de uno o más objetivos, y su ubicación o ubicaciones respectivas, dentro de dicha área operativa.
5. Un aparato de visualización según cualquiera de las reivindicaciones anteriores, en donde el procesador incluye, o está acoplado de forma comunicable a, un módulo de almacenamiento de datos, teniendo dicho módulo de almacenamiento de datos almacenado en el mismo datos representativos de una pluralidad de operaciones o modos y datos representativos de una pluralidad de volúmenes geométricos respectivos asociados con el mismo.
6. Un aparato de visualización según la reivindicación 5, en donde la entrada de usuario está configurada para permitir la operación para seleccionar una operación o modo a partir de dicha pluralidad de operaciones o modos, y el procesador está configurado, en respuesta a la selección de una operación o modo, para obtener los datos de imagen tridimensional representativos del volumen geométrico asociado con la operación o modo seleccionados.
7. Un aparato de visualización según cualquiera de las reivindicaciones anteriores, que comprende uno o más dispositivos de entrada configurados para permitir que un operativo interactúe con la una o más imágenes en el dispositivo de visualización para moverlas a una ubicación deseada dentro de su vista del entorno del mundo real externo y/o ajustar manualmente la forma, el tamaño y/u orientación de la una o más imágenes con respecto al mismo.
8. Un aparato de visualización según cualquier reivindicación anterior, en donde la salida comprende una de múltiples salidas predefinidas.
9. Un aparato de visualización según la reivindicación 8, en donde la salida incluye datos representativos de condiciones, parámetros y características que rigen el resultado previsto; y/o datos representativos de instrucciones/información adicionales para el operativo con respecto a dicha operación especificada.
10. Un aparato de visualización según cualquiera de las reivindicaciones anteriores, en donde el procesador está configurado para generar y mostrar en dicho dispositivo de generación de visualización datos representativos del estado en tiempo real de una operación especificada.
11. Un aparato de visualización según cualquier reivindicación anterior, en donde el procesador está configurado para recibir u obtener datos de elevación del terreno representativos de dicho entorno del mundo real externo, usar dichos datos de elevación del terreno para calcular regiones de intervisibilidad entre la plataforma de anfitrión/otras plataformas dentro del área operativa y un objetivo o región especificados definidos por los datos de entrada de usuario, y determinar dicha probabilidad de éxito de la operación especificada basándose en las regiones calculadas de intervisibilidad.
12. Un aparato de visualización según cualquiera de las reivindicaciones anteriores, en donde la vista tridimensional del entorno del mundo real externo proporcionada al operativo en el dispositivo de visualización es una vista a escala de tal modo que parezca más pequeña que el entorno del mundo real.
13. Un aparato de visualización según cualquiera de las reivindicaciones anteriores, en donde el dispositivo de visualización y el dispositivo de generación de visualización están configurados para proporcionar una representación estereoscópica de los datos de entrada de usuario.
14. Un método para mostrar un área operativa a un operativo de una plataforma de anfitrión, estando definida dicha área operativa dentro de un entorno del mundo real externo con respecto a dicha plataforma de anfitrión, comprendiendo el método proporcionar un dispositivo de visualización configurado para proporcionar a dicho operativo, en uso, una vista tridimensional de dicho entorno del mundo real externo,
proporcionar un dispositivo de generación de visualización para crear imágenes en el dispositivo de visualización, recibir datos de entrada de usuario representativos de un objetivo o región especificados con respecto al que ha de realizarse una operación, y definir de esta manera un volumen geométrico inicial para el área operativa, incluyendo dichos datos de entrada de usuario datos representativos de la ubicación dentro de dicho entorno del mundo real externo de dicho objetivo o región especificados y datos representativos de dicha operación a realizar con respecto a los mismos;
usar dichos datos de entrada de usuario para generar u obtener datos de imagen tridimensional representativos de un volumen geométrico ajustado basándose, al menos, en dicho volumen geométrico inicial y en dicha operación a realizar;
mostrar una o más imágenes que representan dicho volumen geométrico ajustado y creado utilizando dichos datos de imagen tridimensional, en dicho dispositivo de generación de visualización,
y mezclar o proyectar dicha una o más imágenes visualizadas en dicho dispositivo de visualización en dicha vista de dicho entorno del mundo real externo en la ubicación relativa en el mismo del objetivo o región especificados;
estando el métodocaracterizado por queel método comprende, además:
determinar una probabilidad de éxito de la operación especificada a realizar a través del procesador usando dichos datos de entrada de usuario y datos de otras fuentes; y generar una salida representativa de la misma.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17190445.1A EP3454176A1 (en) | 2017-09-11 | 2017-09-11 | Apparatus and method for defining and interacting with regions of an operational area |
| GBGB1714573.1A GB201714573D0 (en) | 2017-09-11 | 2017-09-11 | Apparatus and method for defining and interacting with regions of an operational area. |
| PCT/GB2018/000123 WO2019048813A1 (en) | 2017-09-11 | 2018-09-12 | APPARATUS AND METHOD FOR DEFINING AND INTERACTING WITH THE REGIONS OF AN OPERATING AREA |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2957292T3 true ES2957292T3 (es) | 2024-01-16 |
Family
ID=63643007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES18773243T Active ES2957292T3 (es) | 2017-09-11 | 2018-09-12 | Aparato y método para definir e interactuar con regiones de un área operativa |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11200735B2 (es) |
| EP (1) | EP3685247B1 (es) |
| ES (1) | ES2957292T3 (es) |
| WO (1) | WO2019048813A1 (es) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3695193A1 (en) | 2017-09-11 | 2020-08-19 | BAE Systems PLC | Apparatus and method for displaying an operational area |
| EP3839411B1 (fr) * | 2019-12-17 | 2023-08-23 | John Cockerill Defense SA | Système intelligent pour le contrôle de fonctions dans une tourelle de véhicule de combat |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5838262A (en) | 1996-12-19 | 1998-11-17 | Sikorsky Aircraft Corporation | Aircraft virtual image display system and method for providing a real-time perspective threat coverage display |
| US20030210228A1 (en) | 2000-02-25 | 2003-11-13 | Ebersole John Franklin | Augmented reality situational awareness system and method |
| US7212148B1 (en) | 2005-04-05 | 2007-05-01 | Itt Manufacturing Enterprises, Inc. | Apparatus for jamming infrared attack unit using a modulated radio frequency carrier |
| US20140240313A1 (en) * | 2009-03-19 | 2014-08-28 | Real Time Companies | Computer-aided system for 360° heads up display of safety/mission critical data |
| US20150054826A1 (en) | 2009-03-19 | 2015-02-26 | Real Time Companies | Augmented reality system for identifying force capability and occluded terrain |
| US20130176192A1 (en) | 2011-09-30 | 2013-07-11 | Kenneth Varga | Extra-sensory perception sharing force capability and unknown terrain identification system |
| US20110106447A1 (en) * | 2009-11-03 | 2011-05-05 | Honeywell International Inc. | System for providing a pilot of an aircraft with a visual depiction of a terrain |
| US9298985B2 (en) | 2011-05-16 | 2016-03-29 | Wesley W. O. Krueger | Physiological biosensor system and method for controlling a vehicle or powered equipment |
| FR2995092B1 (fr) | 2012-08-31 | 2015-11-13 | Thales Sa | Systeme d'assistance a la tenue du vol stationnaire d'un helicoptere |
| US9064420B2 (en) | 2013-03-14 | 2015-06-23 | Honda Motor Co., Ltd. | Augmented reality heads up display (HUD) for yield to pedestrian safety cues |
| GB2524955A (en) * | 2014-04-01 | 2015-10-14 | Scopis Gmbh | Method for cell envelope segmentation and visualisation |
| US9996976B2 (en) | 2014-05-05 | 2018-06-12 | Avigilon Fortress Corporation | System and method for real-time overlay of map features onto a video feed |
| GB2532465B (en) * | 2014-11-19 | 2021-08-11 | Bae Systems Plc | Interactive control station |
| US10382746B1 (en) * | 2015-09-22 | 2019-08-13 | Rockwell Collins, Inc. | Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object |
| US10304247B2 (en) * | 2015-12-09 | 2019-05-28 | Microsoft Technology Licensing, Llc | Third party holographic portal |
| KR101757884B1 (ko) | 2016-12-09 | 2017-07-13 | 엘아이지넥스원 주식회사 | 전장 상황 인식 기반 상황 정보 제공 장치 및 그 방법 |
| EP3695193A1 (en) | 2017-09-11 | 2020-08-19 | BAE Systems PLC | Apparatus and method for displaying an operational area |
-
2018
- 2018-09-12 EP EP18773243.3A patent/EP3685247B1/en active Active
- 2018-09-12 ES ES18773243T patent/ES2957292T3/es active Active
- 2018-09-12 US US16/643,770 patent/US11200735B2/en active Active
- 2018-09-12 WO PCT/GB2018/000123 patent/WO2019048813A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP3685247B1 (en) | 2023-08-23 |
| WO2019048813A1 (en) | 2019-03-14 |
| US20200219314A1 (en) | 2020-07-09 |
| US11200735B2 (en) | 2021-12-14 |
| EP3685247A1 (en) | 2020-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10678238B2 (en) | Modified-reality device and method for operating a modified-reality device | |
| Furness III | The super cockpit and its human factors challenges | |
| CN110389651B (zh) | 头部可佩戴装置、***和方法 | |
| Livingston et al. | Military applications of augmented reality | |
| US10510137B1 (en) | Head mounted display (HMD) apparatus with a synthetic targeting system and method of use | |
| CN106275467A (zh) | 用于整合平视显示器和下视显示器的***和方法 | |
| US11933982B2 (en) | Managing displayed information according to user gaze directions | |
| US10382746B1 (en) | Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object | |
| US11869388B2 (en) | Augmented reality for vehicle operations | |
| ES2957292T3 (es) | Aparato y método para definir e interactuar con regiones de un área operativa | |
| US11262749B2 (en) | Vehicle control system | |
| US10996467B2 (en) | Head-mounted display and control apparatus and method | |
| US11783547B2 (en) | Apparatus and method for displaying an operational area | |
| EP3454175A1 (en) | Head-mounted display and control apparatus and method | |
| EP3454015A1 (en) | Apparatus and method for displaying an operational area | |
| WO2022094279A1 (en) | Augmented reality for vehicle operations | |
| EP3454176A1 (en) | Apparatus and method for defining and interacting with regions of an operational area | |
| GB2568361A (en) | Apparatus and method for defining and interacting with regions of an operational area | |
| GB2568362A (en) | Apparatus and method for displaying an operational area | |
| US20240053609A1 (en) | Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience | |
| US20230215287A1 (en) | Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience | |
| US20240192503A1 (en) | System and method for holographic laser backlight | |
| US10699371B2 (en) | Systems and methods for reducing parallax in aircraft displays | |
| Gillow et al. | Helmet-mounted display symbology research in the United Kingdom | |
| Shabaneh | Probability Grid Mapping System for Aerial Search (PGM) |