ES2746448T3 - Realidad mediada - Google Patents

Abstract

Un método (100) que comprende: mostrar (102) a un usuario (18) una escena virtual actual (22) de un espacio virtual (20) desde un punto de vista actual (24) en una posición actual (23), comprendiendo la escena virtual un objeto virtual artificial (120) introducido por el usuario; mapear (110, 112) un gesto tridimensional (80) del usuario respecto a un gesto tridimensional correspondiente en el espacio virtual que interactúa con el objeto virtual artificial introducido por el usuario; y caracterizado por, en respuesta a la determinación (104) de que el gesto tridimensional correspondiente en el espacio virtual interactúa con el objeto virtual artificial introducido por el usuario, mostrar al usuario (106) una nueva escena virtual del espacio virtual desde un nuevo punto de vista (24) en una nueva posición (23) diferente a la posición actual.

Description

DESCRIPCIÓN

Realidad mediada

Campo tecnológico

Las realizaciones de la presente invención se refieren a la realidad mediada, por ejemplo, a la realidad aumentada o a la realidad virtual.

Antecedentes

La realidad mediada en este documento se refiere a un usuario que experimenta un entorno total o parcialmente artificial.

La realidad aumentada es una forma de realidad mediada en la que un usuario experimenta un entorno parcialmente artificial, parcialmente real. La realidad virtual es una forma de realidad mediada en la que un usuario experimenta un entorno totalmente artificial.

El documento US2004/080716 A1 divulga una interfaz 3D humano-ordenador que comprende un conjunto de sensores y actuadores, por ejemplo, dentro de un guante y controles generados por ordenador. Los controles se proyectan en tres dimensiones espaciales mediante un dispositivo de visualización tridimensional y se manipulan por medio de un operador que interactúa con ellos a través de unos movimientos del cuerpo del operador, detectándose estos movimientos mediante la utilización del sistema de sensores, donde las características de un volumen objetivo visualizado cambian según el movimiento realizado.

El documento de Patrick H. Kelly et al. "An architecture for multiple perspective interactive video", Proceedings of the third ACM international conference on multimedia, Multimedia '95, 1 de enero de 1995 (1995-01-01), páginas 201-212, Nueva York (Estados Unidos), XP055230157, presenta un sistema de vídeo interactivo que gestiona transmisiones simultáneas de vídeo desde múltiples cámaras proporcionando diferentes perspectivas de eventos, tales como eventos deportivos o espectáculos de danza. Por ejemplo, un espectador que esté mirando un partido de fútbol americano o de fútbol podrá seleccionar entre múltiples vistas de una jugada en particular o asegurarse de que un jugador favorito esté siempre visible.

El documento de Jain R. et al. "Multiple perspective interactive video", Proceedings of the international conference on multimedia computing and systems in Washington, 15-18 de mayo de 1995, Los Alamitos, IEEE Comp. Soc, Press, EE. UU., 15 de mayo de 1995 (1995-05-15), páginas 202-211, XP010154598, presenta otro enfoque sobre el vídeo Interactivo de Perspectiva y Multimedia (MPI), en el que un espectador puede seleccionar la perspectiva que desea y qué ver.

Breve sumario

De acuerdo con varias, pero no necesariamente todas, las realizaciones de la invención, se proporciona un método que comprende: mostrar a un usuario una escena virtual actual de un espacio virtual desde un punto de vista actual en una posición actual, comprendiendo la escena virtual un objeto virtual artificial introducido por el usuario; mapear un gesto tridimensional del usuario respecto a un gesto tridimensional correspondiente en el espacio virtual que interactúa con el objeto virtual artificial introducido por el usuario; y en respuesta a la determinación de que el gesto tridimensional correspondiente en el espacio virtual interactúa con el objeto virtual artificial introducido por el usuario, mostrar al usuario una nueva escena virtual del espacio virtual a partir de un nuevo punto de vista en una nueva posición diferente a la posición actual.

De acuerdo con varias, pero no necesariamente todas, las realizaciones de la invención, se proporciona un aparato que comprende: unos medios para mostrar a un usuario una escena virtual actual de un espacio virtual desde un punto de vista actual en una posición actual, comprendiendo la escena virtual un objeto virtual artificial introducido por el usuario; unos medios para mapear un gesto tridimensional del usuario respecto a un gesto tridimensional correspondiente en el espacio virtual que interactúa con el objeto virtual artificial introducido por el usuario; y en respuesta a la determinación de que el gesto tridimensional correspondiente en el espacio virtual interactúa con el objeto virtual artificial introducido por el usuario, unos medios para mostrar al usuario una nueva escena virtual del espacio virtual a partir de un nuevo punto de vista en una nueva posición diferente a la posición actual.

Otras realizaciones preferidas de la invención se definen en las reivindicaciones dependientes adjuntas.

Breve descripción

Para una mejor comprensión de varios ejemplos que son útiles para comprender la breve descripción, a continuación, se hará referencia, únicamente a modo de ejemplo, a los dibujos adjuntos en los que:

las figuras 1A-1C y 2A-2C ilustran ejemplos de realidad mediada, en los que las figuras 1A, 1B, 1C ilustran el mismo espacio virtual y diferentes puntos de vista y las figuras 2A, 2B, 2C ilustran una escena virtual desde la perspectiva de los respectivos puntos de vista;

la figura 3A ilustra un ejemplo de un espacio real y la figura 3B ilustra un ejemplo de una escena real que se corresponde parcialmente con la escena virtual de la figura 1B;

la figura 4 ilustra un ejemplo de un aparato que es operable para habilitar la realidad mediada y/o la realidad aumentada y/o la realidad virtual;

la figura 5A ilustra un ejemplo de un método para habilitar la realidad mediada y/o la realidad aumentada y/o la realidad virtual;

la figura 5B ilustra un ejemplo de un método para actualizar un modelo del espacio virtual para realidad aumentada; las figuras 6A y 6B ilustran ejemplos de aparatos que permiten mostrar al menos partes de la escena virtual a un usuario;

la figura 7A ilustra un ejemplo de un gesto en un espacio real y la figura 7B ilustra una representación correspondiente del gesto representado en la escena virtual;

la figura 8 ilustra un ejemplo de un método que permite que un gesto tridimensional del usuario determine una posición de un punto de vista dentro del espacio virtual y controlar así la escena virtual;

la figura 9A ilustra un ejemplo de una disposición de cámaras en un espacio real y la figura 9B ilustra una escena real capturada por una de las cámaras;

la figura 10 ilustra un ejemplo de un subconjunto (una secuencia) de diferentes posiciones en el espacio real; la figura 11 ilustra un ejemplo de un espacio virtual que corresponde al espacio real ilustrado en la figura 10; la figura 12A ilustra un ejemplo de una escena virtual que no comprende un objeto virtual introducido por el usuario; la figura 12B ilustra un ejemplo de un gesto de inicio;

la figura 12C ilustra un ejemplo de una escena virtual que comprende un objeto virtual artificial introducido por el usuario;

la figura 12D ilustra un ejemplo de un gesto de comando tridimensional del usuario para cambiar una posición de un punto de vista que define la escena virtual;

la figura 12E ilustra un ejemplo de una escena virtual, determinada por la nueva posición del punto de vista, que comprende un objeto virtual artificial introducido por el usuario; y

la figura 13 ilustra un ejemplo de un sistema de tratamiento.

Descripción detallada

En la siguiente descripción, se describirán aparatos y métodos que permiten que un usuario 18 cambie una posición 23 de un punto de vista 24 dentro de un espacio virtual 20 y cambiar así una escena virtual 22 mostrada al usuario. El usuario realiza un gesto tridimensional que, cuando está mapeado respecto al espacio virtual 20, interactúa con un objeto virtual artificial 120 introducido por el usuario que se muestra en la escena virtual 22 provocando el cambio de posición 23.

DEFINICIONES

La expresión "espacio virtual" se refiere a un entorno total o parcialmente artificial, que puede ser tridimensional. La expresión "escena virtual" se refiere a una representación del espacio virtual visto desde un punto de vista particular dentro del espacio virtual.

La expresión "espacio real" se refiere a un entorno real, que puede ser tridimensional.

La expresión "escena real" se refiere a una representación del espacio real visto desde un punto de vista particular dentro del espacio real.

La expresión "realidad mediada" en este documento se refiere a un usuario que experimenta visualmente un entorno total o parcialmente artificial (un espacio virtual) como una escena virtual mostrada, al menos parcialmente, por un ordenador a un usuario. La escena virtual está determinada por un punto de vista dentro del espacio virtual y por un campo de visión. Mostrar la escena virtual significa proporcionarla de forma que el usuario la pueda ver.

La expresión "realidad aumentada" en este documento se refiere a una forma de realidad mediada en la que un usuario experimenta visualmente un entorno parcialmente artificial (un espacio virtual) como una escena virtual que comprende una escena real de un entorno físico del mundo real (espacio real) complementado por uno o más elementos visuales que un aparato muestra a un usuario;

la expresión "realidad virtual" en este documento se refiere a una forma de realidad mediada en la que un usuario experimenta visualmente un entorno totalmente artificial (un espacio virtual) como una escena virtual que un aparato muestra a un usuario;

la expresión "mediada por la perspectiva" aplicada a la realidad mediada, realidad aumentada o realidad virtual significa que las acciones del usuario determinan el punto de vista dentro del espacio virtual, cambiando la escena virtual;

la expresión "mediada por una perspectiva en primera persona" aplicada a la realidad mediada, realidad aumentada o realidad virtual significa mediada según una perspectiva con la restricción adicional de que el punto de vista real del usuario determina el punto de vista dentro del espacio virtual;

la expresión "mediada por una perspectiva de una tercera persona" aplicada a la realidad mediada, realidad aumentada o realidad virtual significa mediada según una perspectiva con la restricción adicional de que un punto de vista diferente al punto de vista real del usuario determina el punto de vista dentro del espacio virtual;

la expresión "mediación interactiva del usuario" aplicada a la realidad mediada, realidad aumentada o realidad virtual significa que las acciones del usuario determinan al menos parcialmente lo que sucede dentro del espacio virtual;

el término "mostrar" significa proporcionar de una forma que el usuario perciba visualmente.

La expresión "objeto virtual" es un objeto en una escena virtual

La expresión "objeto virtual artificial" es un objeto virtual introducido por un ordenador

La expresión "objeto virtual artificial introducido por un usuario" es un objeto virtual artificial utilizado para que lo introduzca un usuario.

Descripción

Las figuras 1A-1C y 2A-2C ilustran ejemplos de realidad mediada. La realidad mediada puede ser una realidad aumentada o realidad virtual.

Las figuras 1A, 1B, 1C ilustran el mismo espacio virtual 20 que comprende los mismos objetos virtuales 21, sin embargo, cada figura ilustra un punto de vista 24 diferente. La posición y dirección de un punto de vista 24 puede cambiar de manera independiente. La dirección, pero no la posición del punto de vista 24 cambia de la figura 1A a la figura 1B. La dirección y la posición del punto de vista 24 cambian de la figura 1B a la figura 1C.

Las figuras 2A, 2B, 2C ilustran una escena virtual 22 desde la perspectiva de los diferentes puntos de vista 24 de las respectivas figuras 1A, 1B, 1C. La escena virtual 22 está determinada por el punto de vista 24 dentro del espacio virtual 20 y por un campo de visión 26. La escena virtual 22 se muestra al menos parcialmente a un usuario.

Las escenas virtuales 22 ilustradas pueden ser escenas de realidad mediada, escenas de realidad virtual o escenas de realidad aumentada. Una escena de realidad virtual muestra un espacio virtual 20 totalmente artificial. Una escena de realidad aumentada muestra una parte parcialmente artificial, un espacio virtual 20 parcialmente real.

La realidad mediada, la realidad aumentada o la realidad virtual pueden ser mediadas interactivamente por el usuario. En ese caso, las acciones del usuario determinan al menos parcialmente lo que sucede dentro del espacio virtual 20. Esto puede permitir la interacción con un objeto virtual 21 tal como un elemento visual 28 dentro del espacio virtual 20.

La realidad mediada, la realidad aumentada o la realidad virtual pueden estar mediadas por una perspectiva. En ese caso, las acciones del usuario determinan el punto de vista 24 dentro del espacio virtual 20, cambiando la escena virtual 22. Por ejemplo, como se ilustra en las figuras 1A, 1B, 1C se puede cambiar una posición 23 del punto de vista 24 dentro del espacio virtual 20 y/o se puede cambiar una dirección u orientación 25 del punto de vista 24 dentro del espacio virtual 20. Si el espacio virtual 20 es tridimensional, la posición 23 del punto de vista 24 tiene tres grados de libertad, por ejemplo, arriba/abajo, delante/atrás, izquierda/derecha y la dirección 25 del punto de vista 24 dentro del espacio virtual 20 tiene tres grados de libertad, por ejemplo, cabeceo, alabeo y guiñada. El punto de vista 24 puede ser continuamente variable en la posición 23 y/o dirección 25 y la acción del usuario luego cambia la posición y/o dirección del punto de vista 24 continuamente. Como alternativa, el punto de vista 24 puede tener posiciones 23 discretas cuantificadas y/o direcciones 25 discretas cuantificadas y la acción del usuario varía saltando de manera discreta entre las posiciones 23 permitidas y/o las direcciones 25 del punto de vista 24.

La figura 3A ilustra un espacio real 10 que comprende objetos reales 11 y que se corresponde parcialmente con el espacio virtual 20 de la figura 1A. En este ejemplo, cada objeto real 11 en el espacio real 10 tiene un objeto virtual 21 correspondiente en el espacio virtual 20, sin embargo, cada objeto virtual 21 en el espacio virtual 20 no tiene un objeto real 11 correspondiente en el espacio real 10. En este ejemplo, uno de los objetos virtuales 21, el elemento visual 28 generado por ordenador, es un objeto virtual artificial 21 que no tiene un objeto real 11 correspondiente en el espacio real 10.

Existe un mapeo lineal entre el espacio real 10 y el espacio virtual 20 y existe el mismo mapeo entre cada objeto real 11 en el espacio real 10 y su correspondiente objeto virtual 21. La relación relativa de los objetos reales 11 en el espacio real 10 es, por lo tanto, la misma que la relación relativa entre los objetos virtuales 21 correspondientes en el espacio virtual 20.

La figura 3B ilustra una escena real 12 que se corresponde parcialmente con la escena virtual 22 de la figura 1B, esta incluye objetos reales 11, pero no objetos virtuales artificiales. La escena real es desde una perspectiva correspondiente al punto de vista 24 en el espacio virtual 20 de la figura 1A. El contenido de la escena real 12 está determinado por ese punto de vista 24 correspondiente y el campo de visión 26.

La figura 2A puede ser una ilustración de una versión de realidad aumentada de la escena real 12 ilustrada en la figura 3B. La escena virtual 22 comprende la escena real 12 del espacio real 10 complementada por uno o más elementos visuales 28 que un aparato muestra a un usuario. Los elementos visuales 28 pueden ser un elemento visual generado por ordenador. En una disposición transparente, la escena virtual 22 comprende la escena real 12 actual que se ve a través de una visualización del o de los elementos visuales 28 complementarios. En una disposición de vista de vídeo, la escena virtual 22 comprende una escena real 12 visualizada y elemento(s) visual(es) 28 complementario(s) visualizado(s). La escena real 12 mostrada puede basarse en una imagen desde un único punto de vista 24 o en múltiples imágenes desde diferentes puntos de vista 24 al mismo tiempo, procesada para generar una imagen desde un único punto de vista 24.

La figura 4 ilustra un ejemplo de un aparato 30 que es operable para habilitar la realidad mediada y/o la realidad aumentada y/o la realidad virtual.

El aparato 30 comprende una pantalla 32 para proporcionar al menos partes de la escena virtual 22 a un usuario de forma que el usuario la perciba visualmente. La pantalla 32 puede ser una pantalla visual que proporcione luz que muestra al menos partes de la escena virtual 22 a un usuario. Ejemplos de pantallas visuales incluyen pantallas de cristal líquido, pantallas orgánicas de emisión de luz, pantallas emisivas, reflexivas, transmisivas y transflectivas, pantallas de proyección directa de retina, pantallas próximas al ojo, etc.

La pantalla 32 está controlada en este ejemplo, pero no necesariamente en todos los ejemplos, por un controlador 42.

La implementación de un controlador 42 puede ser como circuitería de controlador. El controlador 42 puede implementarse solo en hardware, tener ciertos aspectos en software, incluyendo solo firmware, o puede ser una combinación de hardware y software (incluyendo firmware).

Como se ilustra en la figura 4, el controlador 42 puede implementarse usando instrucciones que permiten la funcionalidad del hardware, por ejemplo, utilizando instrucciones de programa informático ejecutables 48 en un procesador 40 de propósito general o de propósito especial que puede almacenarse en un medio de almacenamiento legible por ordenador (disco, memoria, etc.) que deben ser ejecutadas por dicho procesador 40.

El procesador 40 está configurado para leer de y escribir en la memoria 46. El procesador 40 también puede comprender una interfaz de salida a través de la cual el procesador 40 obtiene datos y/o comandos y una interfaz de entrada a través de la cual se introducen los datos y/o comandos en el procesador 40.

La memoria 46 almacena un programa informático 48 que comprende instrucciones de programa informático (código de programa informático) que controla el funcionamiento del aparato 30 cuando se carga en el procesador 40. Las instrucciones de programa informático, del programa informático 48, proporcionan la lógica y las rutinas que permiten que el aparato realice los métodos ilustrados en las figuras 5A y 5B. El procesador 40 tras leer la memoria 46 puede cargar y ejecutar el programa informático 48.

El aparato 30 comprende, por lo tanto:

al menos un procesador 40; y

al menos una memoria 46 que incluye el código de programa informático 48, estando la al menos una memoria 46 y el código de programa informático 48 configurados para, con el al menos un procesador 40, hacer que el aparato 30 realice al menos:

mostrar a un usuario una escena virtual actual de un espacio virtual desde un punto de vista actual en una posición actual, comprendiendo la escena virtual un objeto virtual artificial introducido por el usuario; mapear un gesto tridimensional del usuario respecto a un gesto tridimensional correspondiente en el espacio virtual que interactúa con el objeto virtual artificial introducido por el usuario; y

en respuesta a la determinación de que el gesto tridimensional correspondiente en el espacio virtual interactúa con el objeto virtual artificial introducido por el usuario, mostrar al usuario una nueva escena virtual del espacio virtual a partir de un nuevo punto de vista en una nueva posición diferente a la posición actual.

El programa informático 48 puede llegar al aparato 30 a través de cualquier mecanismo de suministro adecuado. El mecanismo de suministro puede ser, por ejemplo, un medio de almacenamiento no transitorio legible por ordenador, un producto de programa informático, un dispositivo de memoria, un medio de grabación como un disco compacto de memoria de solo lectura (CD-ROM) o un disco versátil digital (DVD), un artículo manufacturado que materialice de manera tangible el programa informático 48. El mecanismo de suministro puede ser una señal configurada para transferir con fiabilidad el programa informático 48. El aparato 30 puede propagar o transmitir el programa informático 48 como una señal de datos informáticos.

Aunque la memoria 46 se ilustra como un solo componente/circuitería, puede implementarse como uno o más componentes/circuiterías independientes, de los cuales algunos o todos pueden estar integrados/ser extraíbles y/o pueden proporcionar un almacenamiento permanente/semipermanente/dinámico/en caché.

Aunque el procesador 40 se ilustra como un solo componente/circuitería, puede implementarse como uno o más componentes/circuiterías independientes, de los cuales algunos o todos pueden estar integrados/ser extraíbles. El procesador 40 puede ser un procesador de un solo núcleo o de múltiples núcleos.

Se debe entender que las referencias al "medio de almacenamiento legible por ordenador", "producto de programa informático", "programa informático materializado de manera tangible", etc., o a un "controlador", "ordenador", 'procesador', etc., engloban no solo ordenadores que tienen diferentes arquitecturas, como arquitecturas de un único procesador/múltiples procesadores y arquitecturas secuenciales (Von Neumann)/paralelas, sino también circuitos especializados, como matrices de puertas programables por campo (FPGA), circuitos de aplicación específica (ASIC), dispositivos de tratamiento de señales y otras circuiterías de tratamiento. Se debe entender que las referencias al programa informático, las instrucciones, el código, etc., engloban el software para un procesador o firmware programable tal como, por ejemplo, el contenido programable de un dispositivo de hardware, ya sean instrucciones para un procesador o ajustes de configuración para un dispositivo de función fija, una matriz de puertas o un dispositivo lógico programable, etc.

Tal y como se usa en esta solicitud, el término "circuito" se refiere a todo lo que sigue:

(a) implementaciones de circuitos de solo hardware (como implementaciones solo en circuitos analógicos y/o digitales) y

(b) combinaciones de circuitos y software (y/o firmware), tales como (según corresponda): (i) una combinación de procesador(es) o (ii) porciones de procesador(es)/software (incluyendo procesador(es) de señal digital), software y memoria(s) que trabajan juntos para hacer que un aparato, como un teléfono móvil o servidor, realice varias funciones) y

(c) circuitos, como un o unos microprocesadores o una porción de un o unos microprocesadores, que precisan software o firmware para funcionar, incluso si el software o firmware no está físicamente presente.

Esta definición de "circuito" se aplica a todos los usos de este término en esta solicitud, incluyendo cualquier reivindicación. A modo de ejemplo adicional, como se usa en esta solicitud, el término "circuitería" también cubriría una implementación de únicamente un procesador (o múltiples procesadores) o una porción de procesador y el software y/o firmware que le(s) acompaña. El término "circuitería" también cubriría, por ejemplo y si fuera aplicable al elemento de reivindicación particular, un circuito integrado de banda base o un circuito integrado de procesador de aplicaciones para un teléfono móvil o un circuito integrado similar en un servidor, un dispositivo de red celular u otro dispositivo de red.

Los bloques ilustrados en las figuras 5A y 5B pueden representar las etapas de un método y/o secciones de código del programa informático 48. La ilustración de un orden particular para los bloques no implica necesariamente que haya un orden requerido o preferido para los bloques y es posible variar el orden y la disposición de los bloques. Por otro lado, es posible omitir algunos bloques.

El aparato 30 puede habilitar la realidad mediada y/o la realidad aumentada y/o la realidad virtual, por ejemplo, utilizando el método 60 ilustrado en la figura 5A o un método similar. El controlador 42 almacena y mantiene un modelo 50 del espacio virtual 20. El modelo puede ser proporcionado al controlador 42 o ser determinado por el controlador 42. Por ejemplo, los sensores de la circuitería de entrada 44 pueden utilizarse para crear mapas de profundidad superpuestos del espacio virtual desde diferentes puntos de vista y luego puede elaborarse un modelo tridimensional.

En el bloque 62 se determina si el modelo del espacio virtual 20 ha cambiado o no. Si el modelo del espacio virtual 20 ha cambiado, el método pasa al bloque 66. Si el modelo del espacio virtual 20 no ha cambiado, el método pasa al bloque 64.

En el bloque 64 se determina si ha cambiado o no el punto de vista 24 en el espacio virtual 20. Si el punto de vista 24 ha cambiado, el método pasa al bloque 66. Si el punto de vista 24 no ha cambiado, el método vuelve al bloque 62.

En el bloque 66, se toma una proyección bidimensional del espacio virtual tridimensional 20 desde la ubicación 23 y en la dirección 25 definida por el punto de vista actual 24. La proyección está entonces limitada por el campo de visión 26 para producir la escena virtual 22. El método luego vuelve al bloque 62.

Cuando el aparato 30 habilita la realidad aumentada, el espacio virtual 20 comprende objetos 11 del espacio real 10 y también elementos visuales 28 que no están presentes en el espacio real 10. La combinación de tales elementos visuales 28 puede denominarse espacio virtual artificial. La figura 5b ilustra un método 70 para actualizar un modelo del espacio virtual 20 para realidad aumentada.

En el bloque 72 se determina si el espacio real 10 ha cambiado o no. Si el espacio real 10 ha cambiado, el método pasa al bloque 76. Si el espacio real 10 no ha cambiado, el método pasa al bloque 74. La detección de un cambio en el espacio real 10 puede lograrse a nivel de píxel utilizando la diferenciación y puede lograrse a nivel de objeto utilizando la visión por ordenador para seguir objetos a medida que se mueven.

En el bloque 74 se determina si el espacio virtual artificial ha cambiado o no. Si el espacio virtual artificial ha cambiado, el método pasa al bloque 76. Si el espacio virtual artificial no ha cambiado, el método vuelve al bloque 72. A medida que el controlador 42 genera el espacio virtual artificial, los cambios en los elementos visuales 28 se detectan fácilmente.

En el bloque 76, se actualiza el modelo del espacio virtual 20.

El aparato 30 puede habilitar la mediación interactiva del usuario para la realidad mediada y/o la realidad aumentada y/o la realidad virtual. La circuitería de entrada 44 de usuario detecta las acciones del usuario utilizando la entrada de usuario 43. El controlador 42 utiliza estas acciones del usuario para determinar qué es lo que sucede dentro del espacio virtual 20. Esto puede permitir la interacción con un elemento visual 28 dentro del espacio virtual 20.

El aparato 30 puede habilitar la mediación en perspectiva para la realidad mediada y/o la realidad aumentada y/o la realidad virtual. La circuitería de entrada 44 de usuario detecta acciones del usuario. El controlador 42 utiliza estas acciones del usuario para determinar el punto de vista 24 dentro del espacio virtual 20, cambiando la escena virtual 22. El punto de vista 24 puede ser continuamente variable en posición y/o dirección y la acción del usuario cambia la posición y/o dirección del punto de vista 24. Como alternativa, el punto de vista 24 puede tener posiciones discretas cuantificadas y/o direcciones discretas cuantificadas y la acción del usuario varía saltando a la siguiente posición y/o dirección del punto de vista 24.

El aparato 30 puede habilitar una perspectiva en primera persona para la realidad mediada, realidad aumentada o realidad virtual. La circuitería de entrada 44 de usuario detecta el punto de vista 14 real del usuario utilizando el sensor 45 del punto de vista del usuario. El controlador 42 utiliza el punto de vista real del usuario para determinar el punto de vista 24 dentro del espacio virtual 20, cambiando la escena virtual 22. Volviendo a la figura 3A, un usuario 18 tiene un punto de vista 14 real. El usuario 18 puede cambiar el punto de vista real. Por ejemplo, una ubicación 13 real del punto de vista 14 real es la ubicación del usuario 18 y se puede cambiar cambiando la ubicación 13 física del usuario 18. Por ejemplo, una dirección 15 real del punto de vista 14 real es la dirección en la que el usuario 18 está mirando y puede cambiarse cambiando la dirección real del usuario 18. La dirección 15 real puede, por ejemplo, ser cambiada por un usuario 18 cambiando la orientación de su cabeza o punto de vista y/o por un usuario al cambiar la dirección de su mirada. Se puede utilizar un aparato 30 montado en la cabeza para habilitar la mediación según una perspectiva en primera persona.

El aparato 30 puede comprender como parte de la circuitería de entrada 44 sensores 45 de punto de vista para determinar cambios en el punto de vista real.

Por ejemplo, se puede utilizar una tecnología de posicionamiento como un GPS, una triangulación (trilateración) mediante la transmisión a múltiples receptores y/o recepción de múltiples transmisores, una detección e integración de la aceleración para determinar una nueva ubicación 13 física del usuario 18 y un punto de vista 14 real.

Por ejemplo, se pueden utilizar acelerómetros, giroscopios electrónicos o brújulas electrónicas para determinar un cambio en la orientación de la cabeza o el punto de vista de un usuario y el consiguiente cambio en la dirección 15 real del punto de vista 14 real.

Por ejemplo, se puede utilizar una tecnología de seguimiento de alumnos, basada, por ejemplo, en visión artificial, para seguir el movimiento del ojo o los ojos de un usuario y determinar, por lo tanto, la dirección de la mirada de un usuario y los consiguientes cambios en la dirección 15 real del punto de vista 14 real.

El aparato 30 puede comprender como parte de la circuitería de entrada 44 sensores de imagen 47 para formar imágenes del espacio real 10.

Un ejemplo de un sensor de imagen 47 es un sensor de imagen digital que está configurado para funcionar como una cámara. Dicha cámara puede ser operada para grabar imágenes estáticas y/o imágenes de vídeo. En algunas realizaciones, pero no necesariamente en todas, las cámaras pueden configurarse en una disposición estereoscópica u otra distribución espacialmente distribuida para que el espacio real 10 se vea desde diferentes perspectivas. Esto puede permitir la creación de una imagen tridimensional y/o de un tratamiento para establecer la profundidad, por ejemplo, a través del efecto de paralaje.

En algunas realizaciones, pero no necesariamente en todas, la circuitería de entrada 44 comprende sensores de profundidad 49. Un sensor de profundidad 49 puede comprender un transmisor y un receptor. El transmisor transmite una señal (por ejemplo, una señal que un humano no puede percibir, como un ultrasonido o una luz infrarroja) y el receptor recibe la señal reflejada. Utilizando un único transmisor y un único receptor se puede obtener cierta información de profundidad midiendo el tiempo de vuelo desde la transmisión hasta la recepción. Se puede lograr una mejor resolución utilizando más transmisores y/o más receptores (diversidad espacial). En un ejemplo, el transmisor está configurado para "pintar" el espacio real 10 con luz, preferentemente luz invisible tal como luz infrarroja, con un patrón espacialmente dependiente. La detección de un patrón determinado por el receptor permite que el espacio real 10 se resuelva espacialmente. La distancia a la porción resuelta espacialmente del espacio real 10 puede determinarse por tiempo de vuelo y/o estereoscopía (si el receptor está en una posición estereoscópica con respecto al transmisor).

En algunas realizaciones, pero no necesariamente en todas, la circuitería de entrada 44 puede comprender una circuitería de comunicación 41 además de o como alternativa a uno o más de los sensores de imagen 47 y de los sensores de profundidad 49. Tal circuitería de comunicación 41 puede comunicarse con uno o más sensores de imagen 47 remotos en el espacio real 10 y/o con sensores de profundidad 49 remotos en el espacio real 10.

Las figuras 6A y 6B ilustran ejemplos de aparatos 30 que permiten mostrar al menos partes de la escena virtual 22 a un usuario. Se pueden utilizar otros ejemplos de aparatos 30 que permiten mostrar al menos partes de la escena virtual 22 a un usuario.

La figura 6A ilustra un aparato de mano 31 que comprende una pantalla de visualización como la pantalla 32 que muestra imágenes a un usuario y se utiliza para mostrar la escena virtual 22 al usuario. El aparato 30 puede moverse deliberadamente en manos de un usuario en uno o más de los seis grados de libertad mencionados anteriormente.

El aparato de mano 31 puede ser o puede funcionar como una disposición de vista de vídeo para realidad aumentada que permite mostrar un vídeo en directo o grabado de una escena real 12 en la pantalla 32 para que el usuario lo vea mientras uno o más elementos visuales 28 se muestran simultáneamente en la pantalla 32 para que el usuario los vea. La combinación de la escena real 12 visualizada y la visualización de uno o más elementos visuales 28 proporciona la escena virtual 22 al usuario.

Si el aparato de mano 31 tiene una cámara montada en una cara opuesta a la pantalla 32, puede operarse como una disposición de vista de vídeo que permite que una escena real 12 se vea en directo mientras uno o más elementos visuales 28 se muestran al usuario para proporcionarlos en combinación con la escena virtual 22.

La figura 6B ilustra un aparato montado en la cabeza 33 que comprende una pantalla 32 que muestra imágenes a un usuario. El aparato montado en la cabeza 33 se puede mover automáticamente cuando el usuario mueve la cabeza.

El aparato montado en la cabeza 33 puede ser una disposición transparente para realidad aumentada que permite que una escena real 12 se vea en directo mientras uno o más elementos visuales 28 se muestran en la pantalla 32 para el usuario para proporcionarlos en combinación con la escena virtual 22. En este caso un visor 34, si está presente, es transparente o semitransparente para que se pueda ver la escena real 12 en directo a través del visor 34.

El aparato montado en la cabeza 33 puede funcionar como una disposición de vista de vídeo para realidad aumentada que permite que la pantalla 32 muestre un vídeo en directo o grabado de una escena real 12 para que el usuario lo vea mientras uno o más elementos visuales 28 son mostrados simultáneamente por la pantalla 32 para su visualización por el usuario. La combinación de la escena real 12 visualizada y la visualización de uno o más elementos visuales 28 proporciona la escena virtual 22 al usuario. En este caso, el visor 34 es opaco y puede utilizarse como pantalla 32.

Volviendo a la figura 4, un aparato 30 puede habilitar la mediación interactiva del usuario para la realidad mediada y/o la realidad aumentada y/o la realidad virtual. La circuitería de entrada 44 de usuario detecta las acciones del usuario utilizando la entrada de usuario 43. El controlador 42 utiliza estas acciones del usuario para determinar qué es lo que sucede dentro del espacio virtual 20. Esto puede permitir la interacción con un elemento visual 28 dentro del espacio virtual 20.

Las acciones de usuario detectadas pueden, por ejemplo, ser gestos realizados en el espacio real 10. Los gestos pueden detectarse de diversas maneras. Por ejemplo, se pueden utilizar sensores de profundidad 49 para detectar el movimiento de partes de un usuario 18 y/o se pueden utilizar sensores de imagen 47 para detectar el movimiento de partes de un usuario 18 y/o se pueden utilizar sensores de posición/movimiento unidos a una extremidad de un usuario 18 para detectar el movimiento de la extremidad. El seguimiento de objetos se puede utilizar para determinar cuándo cambia un objeto o usuario. Por ejemplo, el seguimiento del objeto a una gran macroescala permite crear un marco de referencia que se mueve con el objeto. Ese marco de referencia se puede utilizar para seguir los cambios de forma del objeto que evolucionan en el tiempo, utilizando la diferenciación temporal con respecto al objeto. Esto se puede utilizar para detectar movimientos humanos a pequeña escala, como gestos, movimientos de la mano, movimientos faciales. Estos son movimientos de usuario independientes de la escena (solo) relativos al usuario.

El aparato 30 puede seguir una pluralidad de objetos y/o puntos en relación con el cuerpo de un usuario, por ejemplo, una o más articulaciones del cuerpo del usuario. En algunos ejemplos, el aparato 30 puede realizar un seguimiento esquelético corporal completo del cuerpo de un usuario.

El aparato 30 puede utilizar el seguimiento de uno o más objetos y/o puntos en relación con el cuerpo de un usuario en el reconocimiento de gestos y así sucesivamente.

Con referencia a la figura 7A, un gesto 80 particular en el espacio real 10 es una entrada de un gesto de usuario utilizada como un evento de "control de usuario" por el controlador 42 para determinar qué sucede dentro del espacio virtual 20. Una entrada de gesto de usuario es un gesto 80 que tiene sentido para el aparato 30 como una entrada de usuario.

Con referencia a la figura 7B, esta ilustra que, en algunos ejemplos, pero no necesariamente en todos, una representación correspondiente del gesto 80 en el espacio real es representada en la escena virtual 22 por el aparato 30. La representación implica uno o más elementos visuales 28 que se mueven 82 para replicar o indicar el gesto 80 en la escena virtual 22.

Un gesto 80 puede ser estático o de movimiento. Un gesto de movimiento puede comprender un movimiento o un patrón de movimientos que comprende una serie de movimientos. Por ejemplo, podría estar haciendo un movimiento circular o un movimiento de lado a lado o de arriba a abajo o el trazado de una señal en el espacio. Un gesto de movimiento puede, por ejemplo, ser un gesto independiente del aparato o un gesto dependiente del aparato. Un gesto de movimiento puede implicar el movimiento de un objeto de entrada de usuario, por ejemplo, una parte o partes del cuerpo del usuario, o un aparato adicional, con respecto a los sensores. La parte del cuerpo puede comprender la mano del usuario o parte de la mano del usuario, como uno o más dedos y pulgares. En otros ejemplos, el objeto de entrada del usuario puede comprender una parte diferente del cuerpo del usuario tal como su cabeza o brazo. El movimiento tridimensional puede comprender un movimiento del objeto de entrada de usuario en cualquiera de los seis grados de libertad. El movimiento puede comprender que el objeto de entrada de usuario se mueva hacia o alejándose de los sensores, así como en un plano paralelo a los sensores o cualquier combinación de dicho movimiento.

Un gesto 80 puede ser un gesto sin contacto. Un gesto sin contacto no entra en contacto con los sensores en ningún momento durante el gesto.

Un gesto 80 puede ser un gesto absoluto que se define en términos de un desplazamiento absoluto de los sensores. Tal gesto puede estar anclado, en el sentido de que se realiza en una ubicación precisa en el espacio real 10. Como alternativa, un gesto 80 puede ser un gesto relativo que se define en términos de desplazamiento relativo durante el gesto. Tal gesto puede estar no anclado, en el sentido de que no es necesario realizarlo en una ubicación relativa precisa en el espacio real 10 y puede realizarse en un gran número de ubicaciones arbitrarias.

Un gesto 80 puede definirse como una evolución del desplazamiento, de un punto de seguimiento con respecto a un origen, durante un tiempo. Puede, por ejemplo, definirse en términos de movimiento utilizando parámetros de tiempo variables como desplazamiento, velocidad o utilizando otros parámetros cinemáticos. Un gesto no anclado puede definirse como la evolución de un desplazamiento relativo Ad durante un tiempo relativo At.

Un gesto 80 puede realizarse en una dimensión espacial (gesto 1D), dos dimensiones espaciales (gesto 2D) o tres dimensiones espaciales (gesto 3D).

La figura 8 ilustra un método 100 que permite que un gesto tridimensional 80 del usuario determine una posición 23 de un punto de vista 24 dentro del espacio virtual 20 y controlar así la escena virtual 22. El método 100 permite una mediación según una perspectiva en tercera persona. El método 100 puede aplicarse a la realidad mediada, realidad aumentada o realidad virtual.

Para comprender el método 100 de la figura 8 podría servir de ayuda el referirse también a la figura 11, que ilustra un ejemplo de diferentes puntos de vista 24 en diferentes posiciones 23 dentro del espacio virtual 20, a la figura 12D que ilustra un gesto de usuario 80 que determina una posición 23 de un punto de vista 24 dentro del espacio virtual 20 y a las figuras 12C y 12E que ilustran ejemplos de una escena virtual 22 antes y después de cambiar una posición 23 de un punto de vista 24 dentro del espacio virtual 20.

Con referencia a la figura 8, en el bloque 102, el método 100 hace que se muestre a un usuario una escena virtual actual 22 de un espacio virtual 20 desde un punto de vista actual 24 en una posición actual 23. La escena virtual actual 22 comprende un objeto virtual artificial 120 introducido por el usuario.

En el bloque 110, 112, el método 100 está mapeando cualquier gesto tridimensional 80 del usuario 18 respecto a los gestos tridimensionales correspondientes en el espacio virtual 20. En el bloque 104, se determina si el gesto tridimensional correspondiente en el espacio virtual 20 interactúa o no con el objeto virtual artificial 120 introducido por el usuario. Si no hay interacción, el método vuelve al bloque 102. Si hay interacción, el método pasa al bloque 106.

La interacción puede producirse, por ejemplo, cuando el correspondiente gesto tridimensional en el espacio virtual 20 está situado o sustancialmente situado junto con el objeto virtual artificial 120 introducido por el usuario en el espacio virtual 20. La interacción además puede requerir, por ejemplo, que el gesto tridimensional correspondiente en el espacio virtual 20 sea un gesto predeterminado relativo al objeto virtual artificial 120 introducido por el usuario en lugar de cualquier gesto arbitrario.

En el bloque 106, en respuesta a la determinación de que el gesto tridimensional 80 correspondiente en el espacio virtual 20 interactúa con el objeto virtual artificial 120 introducido por el usuario, el método 100 provoca un cambio en el punto de vista 24 utilizado para determinar la escena virtual 22 cambiando la posición 23 del punto de vista 24 dentro del espacio virtual 20. El método luego pasa al bloque 102, donde el método 100 hace que se muestre al usuario una nueva escena virtual 22 del espacio virtual 20 desde un nuevo punto de vista 24 en una nueva posición 23 diferente a la posición actual 23 anterior.

Entonces la nueva posición se convierte en la posición actual, el nuevo punto de vista se convierte en el punto de vista actual y la escena virtual se convierte en la escena virtual actual y entonces se repite el método 100.

Por lo tanto, se apreciará que el método 100 permite a un usuario 18 realizar gestos 80 en tres dimensiones que controlan una posición 23 de un punto de vista 24 dentro de un espacio virtual 20 y controlar de ese modo la escena virtual 22 mostrada al usuario 18.

La figura 9A ilustra una disposición de cámaras 140 en un espacio real 10. En este ejemplo, una o más de las cámaras 140 pueden ser una cámara panorámica 140' que toma una imagen de 360 grados.

En esta figura, se ilustra la posición 13 y el punto de vista 14 de cada cámara 140. Las diferentes posiciones 13 de las diferentes cámaras 140 tienen, cada una, uno o más puntos de vista 14 que definen una o más escenas reales.

En el ejemplo ilustrado, la figura 9B ilustra una escena real 12 capturada por una de las cámaras 140. La escena real 12 incluye un objeto real 11. En este ejemplo, la escena real es una escena real 12 panorámica capturada por una cámara panorámica.

La disposición de las cámaras 140 puede ser ad-hoc (casual) y no predeterminada, restringida o medida. Las cámaras 140 pueden ser, por ejemplo, propiedad o estar bajo el control de diferentes personas. Cada una de las cámaras 140 es capaz de capturar imágenes del espacio real 10. Algunas de estas imágenes se superpondrán y, por lo tanto, es posible obtener imágenes del objeto real 11 desde diferentes puntos de vista 14 en diferentes posiciones 13.

En algunas realizaciones, las cámaras 140 pueden capturar imágenes simultáneamente o con superposición temporal. En otros ejemplos, las cámaras 140 pueden funcionar independientemente. Las imágenes capturadas por las cámaras 140 pueden ser, por ejemplo, imágenes fijas o pueden ser, por ejemplo, vídeos. Es preferible que las imágenes capturadas tengan una marca de tiempo para poder obtener una sincronización temporal entre las imágenes capturadas por las diferentes cámaras 140.

La figura 10 ilustra que podría ser apropiado utilizar solo un subconjunto de cámaras 140 si se desea obtener una imagen de un objeto real 11 en particular. En esta figura, se ilustra la posición 13 y el punto de vista 14 de cada cámara 140. Las diferentes posiciones 13 de las diferentes cámaras 140 tienen, cada una, uno o más puntos de vista 14 que definen una o más escenas reales.

La figura 10 ilustra un subconjunto (una secuencia) 142 de diferentes posiciones 13 que tienen puntos de vista 14 que definen escenas reales 12 que comprenden, en común, el o los objetos reales 11 de interés.

Se apreciará que algunas de las posiciones 13 asociadas con algunas 144 de las cámaras 140 están excluidas del subconjunto 142, mientras que otras posiciones 13 de las cámaras 140 están incluidas en el subconjunto 142. La definición del subconjunto 142 se describirá con referencia a las figuras 11 y 12.

La figura 11 ilustra un espacio virtual 20 que corresponde al espacio real 10 ilustrado en la figura 10. El objeto real 11 tiene un objeto virtual 21 correspondiente en el espacio virtual 20. Cada una de las diferentes posiciones 13 del subconjunto 142 tiene puntos de vista 14 que definen escenas reales 12. Cada una de las diferentes posiciones 13 del subconjunto 142 tiene una posición 23 diferente equivalente en el espacio virtual 20. Cada uno de los puntos de vista 14 para las diferentes posiciones 13 del subconjunto 142 tiene un punto de vista 24 correspondiente en el espacio virtual 20 que define una escena virtual 22. Como se ha descrito anteriormente, se puede utilizar un mapeo para mapear el espacio real 10 con respecto al espacio virtual 20. El subconjunto 142 de diferentes posiciones reales 13 y diferentes puntos de vista 14 asociados se mapea, por lo tanto, con un subconjunto equivalente (secuencia) 142 en el espacio virtual de diferentes posiciones 23 virtuales y diferentes puntos de vista 24 asociados.

Aunque la figura 11 ilustra los puntos de vista 24 en las posiciones 23 en el espacio virtual 20 que corresponden a los puntos de vista 14 en las posiciones 13 de las cámaras 140 en el espacio real, en otros ejemplos, es posible tener puntos de vista 24 en posiciones 23 que no tienen los puntos de vista 14 y las posiciones 13 de las cámaras 140 en el espacio real 10. Por ejemplo, es posible utilizar técnicas de tratamiento de imágenes para utilizar dos o más imágenes de una cámara para obtener una imagen sintetizada desde una posición que no corresponde a la posición de ninguna de las cámaras 140 utilizadas para formar la imagen sintetizada.

La figura 13 ilustra un ejemplo de un sistema de tratamiento 200 que puede recibir datos de las imágenes de las respectivas cámaras 140. El sistema de tratamiento puede formar parte del aparato 30 o ser independiente del aparato 30. El sistema de tratamiento 200 puede configurarse para determinar una secuencia 142 de diferentes posiciones 23 en el espacio virtual 20 que tienen puntos de vista 24 que definen escenas virtuales 22 que comprenden, en común, un objeto virtual 21 u objetos virtuales 21 de interés. Cada posición 23 de la secuencia 142 tiene un punto de vista 24 asociado que define una escena virtual 22 y cada una de esas escenas virtuales 22 incluye, desde diferentes perspectivas, el objeto u objetos virtuales 21 de interés. Un objeto virtual 21 de interés puede ser seleccionado por un usuario o inferido por el sistema de tratamiento 200 o el aparato 30 a partir de acciones del usuario.

La nueva posición 23 para un nuevo punto de vista 24 del espacio virtual 20 que se utiliza para producir la nueva escena virtual 22 puede ser seleccionada por el usuario 18 a partir de la secuencia 142.

La secuencia 142 de diferentes posiciones 23 puede determinarse excluyendo una pluralidad de posibles posiciones 23 de la secuencia 142 porque no tienen un punto de vista 24 que defina una escena virtual 22 que comprenda el objeto u objetos virtuales 21 de interés.

La secuencia 142 de diferentes posiciones 23 puede seleccionarse a partir de aquellas posiciones 23 que tengan puntos de vista 24 que definen escenas virtuales 22 que comprendan, en común, el o los objetos virtuales 21 de interés dependiendo de la satisfacción de uno o más criterios de calidad relacionados con los objetos virtuales 21 de interés. Por ejemplo, solo se pueden seleccionar aquellas posiciones 23 que tengan características enfocadas del o de los objetos virtuales 21 de interés o en las que el o los objetos virtuales 21 de interés ocupen al menos una proporción requerida del campo de visión o tengan una resolución requerida de la imagen del o de los objetos virtuales 21 de interés. Por lo tanto, la secuencia 142 se asocia con imágenes de mayor calidad del o de los objetos virtuales 21 de interés. La calidad está determinada por los criterios de calidad que, por ejemplo, pueden estar definidos por el usuario o, por ejemplo, pueden estar predefinidos.

La determinación de la secuencia 142 de diferentes posiciones 23, puede comprender, en algunos ejemplos, la exclusión de posibles posiciones 23 de la secuencia 142 porque no tienen un punto de vista 24 que define una escena virtual 22 que comprende, en común, el o los objetos virtuales 21 de interés que satisfacen uno o más criterios de calidad para el o los objetos virtuales 21 de interés. Por ejemplo, las posiciones 23 pueden excluirse de la secuencia 142 porque las imágenes del o de los objetos virtuales 21 de interés de esas posiciones no satisfacen criterios de calidad tales como enfoque, proporción del campo de visión y resolución como se ha descrito en el párrafo anterior. Por lo tanto, la secuencia 142 no está asociada con imágenes de menor calidad del o de los objetos virtuales 21 de interés. La calidad está determinada por los criterios de calidad que, por ejemplo, pueden estar definidos por el usuario o, por ejemplo, pueden estar predefinidos.

Las figuras 12A, 12C y 12E ilustran escenas virtuales 22 del espacio virtual 20 ilustrado en la figura 11. En la figura 12A, el aparato 30 está mostrando a un usuario una escena virtual actual 22 de un espacio virtual 20 desde un punto de vista actual 24 en una posición actual 23. La escena virtual 22 comprende al menos un objeto virtual 21, que puede corresponder a un objeto real 11 en un espacio real 10. La escena virtual 22 no comprende un objeto virtual artificial 120 introducido por un usuario.

En la figura 12B, el usuario 18 realiza un gesto de inicio 80 que le indica al aparato 30 que el usuario 18 podría desear controlar una posición 23 desde un punto de vista 24 que define la escena virtual 22.

En respuesta a este gesto 80 de inicio, el aparato 30, como se ilustra en la figura 12C, muestra al usuario 18 la escena virtual actual 22 del espacio virtual 20 desde el punto de vista actual 24 en la posición actual 23. La escena virtual 22 comprende un objeto virtual artificial 120 introducido por el usuario.

El aparato 30 o el sistema 200 determina una secuencia 142 de diferentes posiciones 23 que tienen puntos de vista 24 que definen escenas virtuales 22 que comprenden un objeto virtual 21 de interés.

En este ejemplo, se determina que el objeto virtual 21 de interés es el objeto virtual 21 en un centro del campo de visión 26 de la escena actual 22. Si el aparato 30 está realizando una realidad mediada, realidad aumentada o realidad virtual desde la perspectiva del usuario, por ejemplo, a través de un aparato 33 montado en un casco, entonces el objeto de interés 21 puede determinarse por la dirección de la mirada del usuario cuando realiza el gesto tridimensional 80. Como se ha descrito anteriormente, la mirada del usuario determina el punto de vista 24 a partir de la posición actual 23 y, por lo tanto, define el contenido de la escena virtual 22.

En algunos ejemplos, pero no necesariamente en todos, el mostrar al usuario 18 la escena virtual 22 del espacio virtual 20 desde el punto de vista 24 en la posición 23 puede comprender mostrar una escena real 12 capturada desde un punto de vista 14 en una posición real 13 en un espacio real 10, correspondiente al punto de vista 24 en la posición 23 en el espacio virtual 20 y mostrar el objeto virtual artificial 120 introducido por el usuario.

En algunos ejemplos, pero no necesariamente en todos, el objeto virtual artificial 120 introducido por el usuario es alargado y comprende uno o más indicadores 121. Cada indicador 121 indica al menos una posición 23 asociada que tiene un punto de vista 24 que define una supuesta escena virtual 22. El usuario 18 puede seleccionar un indicador 121 para hacer que se muestre al usuario 18 una nueva escena virtual 22 del espacio virtual 20 desde un nuevo punto de vista 24 en una posición 23 asociada con el indicador 121 seleccionado.

En el ejemplo ilustrado en la figura 12C, la posición actual C1 se posiciona centralmente en el objeto virtual artificial 120 alargado introducido por el usuario en un indicador central 121. El indicador, a la derecha en el objeto virtual artificial 120 introducido por el usuario, está asociado con la posición C2 en la figura 11 y el indicador 121 a la izquierda, en el objeto virtual artificial 120 introducido por el usuario, está asociado con la posición C4 en figura 11. En la figura 11, la posición C2 está a la derecha de la posición central C1 y la posición C4 está a la izquierda de la posición central C1. Por lo tanto, el orden de los indicadores 121 a lo largo de una longitud del objeto virtual artificial 120 introducido por el usuario es el mismo que el orden de las posiciones 23, asociadas con los indicadores 121, a lo largo de la secuencia 142. La separación de los indicadores 121 a lo largo de la longitud del objeto virtual artificial 120 introducido por el usuario puede ser proporcional a una separación de las posiciones 23, asociadas con los indicadores 121, a lo largo de la secuencia 142.

La selección del indicador 121 a la derecha del indicador central 121 provocaría que la escena virtual 22 cambie a la escena virtual 22 definida por la combinación de la posición C2 y el punto de vista 24 en esa posición. La selección por parte del usuario del indicador 121 a la izquierda del indicador central 121 provocaría que la escena virtual 22 cambie a la definida por la posición C4 y el punto de vista 24 en esa posición.

La figura 12D ilustra un gesto tridimensional 80 del usuario 18 que está mapeado respecto a un gesto tridimensional correspondiente en el espacio virtual 20 que interactúa con el objeto virtual artificial 120 introducido por el usuario. En este ejemplo, el gesto tridimensional 80 es un arrastre o tirón hacia la izquierda que mueve el indicador 121 asociado con la posición C2 desde una posición a la derecha hasta una posición central. Esto provoca simultáneamente un cambio en la escena virtual 22 a una escena virtual 22 definida por la posición C2 y el punto de vista 24 en la posición C2. En este ejemplo, el gesto tridimensional correspondiente en el espacio virtual 20 que interactúa con el objeto virtual artificial 120 introducido por el usuario puede ser un arrastre o tirón hacia la izquierda que mueve el indicador 121 desde una posición a la derecha hasta una posición central o puede ser un arrastre o tirón hacia la derecha que mueve un indicador 121 desde una posición a la izquierda hasta una posición central. Esto provoca simultáneamente un cambio en la escena virtual 22 a una escena virtual 22 definida por la posición 23 del punto de vista 24 y por el punto de vista 24 en esa posición.

En algunos ejemplos, pero no necesariamente en todos, cualquier arrastre o tirón hacia la izquierda puede mover automáticamente el siguiente indicador 121 desde una posición a la derecha de la posición central hasta la posición central o cualquier arrastre o tirón hacia la derecha puede mover automáticamente el siguiente indicador 121 desde una posición a la izquierda de la posición central hasta la posición central.

En algunos ejemplos, pero no necesariamente en todos, el arrastre o tirón hacia la izquierda mueve gradualmente el indicador 121 desde una posición a la derecha hacia una posición central o el arrastre o tirón hacia la derecha mueve gradualmente un indicador 121 desde una posición a la izquierda hacia una posición central. Si el usuario deja de arrastrar o tirar antes de que el indicador 121 haya alcanzado la posición central, la posición central queda ocupada por una posición 23 sintética entre la posición C1 y C2(C4). La posición 23 sintética y un punto de vista 24 sintético en el espacio virtual 20 se utilizan para generar, utilizando un tratamiento de imagen digital, una escena virtual 22 sintética que es vista por el usuario.

Se apreciará, a partir de la figura 12C, que la posición de los indicadores 121 en el objeto virtual artificial 120 alargado introducido por el usuario no está necesariamente a escala. La posición relativa de cada indicador 121 en este ejemplo indica el posicionamiento relativo de las posiciones 23 que tienen puntos de vista 24 que definen las supuestas escenas virtuales 22.

En algunos ejemplos, pero no necesariamente en todos, las supuestas escenas virtuales 22 se solapan al menos parcialmente con la escena virtual actual 22. Por ejemplo, la escena virtual actual 22 y las supuestas escenas virtuales 22 pueden comprender, cada una, el objeto virtual 21 de interés y el objeto virtual 21 de interés puede estar situado centralmente dentro de las escenas virtuales 22. La figura 12E ilustra un indicador 122 adicional que indica un espacio en las vistas disponibles.

En algunas realizaciones, pero no necesariamente en todas, el objeto virtual artificial 120 alargado puede presentarse en forma de una cadena o cuerda con nudos y/o colores. El gesto tridimensional 80 de entrada de usuario representa entonces el arrastre de la cadena o cuerda, que no se estira, para arrastrar efectivamente la escena virtual 22 deseada al campo de visión.

En algunas realizaciones, pero no necesariamente en todas, es posible que el aparato 30 muestre una representación del gesto tridimensional 80 mapeado respecto al espacio virtual 20 dentro de la escena virtual 22 visualizada durante el gesto tridimensional 80.

La figura 12E ilustra que, en respuesta a la determinación de que el correspondiente gesto tridimensional 80 en un espacio virtual 20 interactúa con el objeto virtual artificial 120 introducido por el usuario, el aparato 30 muestra al usuario 18 una nueva escena virtual 22 del espacio virtual 20 desde un nuevo punto de vista 24 en una nueva posición 23 diferente de la posición actual 23 ilustrada en la figura 12C. En este ejemplo, el objeto virtual artificial 120 introducido por el usuario todavía se muestra en la escena virtual 22 después de haber cambiado la posición 23 del punto de vista 24 a la ilustrada en la figura 12E, pero esto puede ser opcional.

En el ejemplo descrito anteriormente, la navegación entre las diferentes posiciones 23 de los puntos de vista 24 ha sido discreta. El gesto tridimensional 80 del usuario provoca un salto desde la posición C1 a la posición C2 y el consiguiente salto en el punto de vista de la escena virtual 22.

En otros ejemplos, es posible y deseable tener transiciones entre las posiciones discretas C1 y C2(C4) en el espacio virtual 20. En este ejemplo, es posible sintetizar escenas virtuales 20 sintéticas que no corresponden a una imagen de cámara real y mostrar progresivamente las escenas virtuales 20 generadas sintéticamente a medida que el usuario interactúa con el objeto virtual artificial 120 introducido por el usuario. Por lo tanto, puede haber una transición progresiva de las escenas virtuales 22 a medida que el objeto virtual artificial 120 introducido por el usuario se mueve por el gesto tridimensional 80 del usuario entre tener el indicador 121 para la posición C1 central y tener el indicador 121 para la posición C2 (C4) central. A medida que el objeto virtual artificial 120 se mueve por el gesto tridimensional 80 del usuario, el indicador 121 para la posición C2 (C4) se mueve hacia la posición central. Mientras tiene lugar este movimiento, la posición central queda ocupada por una posición 23 sintética entre la posición C1 y C2(C4). La posición 23 sintética y un punto de vista 24 sintético en el espacio virtual 20 se utilizan para generar, utilizando un tratamiento de imagen digital, una escena virtual 22 sintética que es vista por el usuario.

Por lo tanto, se apreciará a partir de la descripción anterior que los ejemplos proporcionan una mediación según la perspectiva de un tercero a través de gestos tridimensionales con respecto a una interfaz de usuario 120 mostrada dentro de una escena virtual 22. Esto se puede proporcionar además de la mediación desde la perspectiva de la primera parte, que puede estar provista, por ejemplo, mediante el movimiento de la cabeza.

El sistema descrito anteriormente puede utilizarse para permitir que un usuario 18 proporcione, usando gestos tridimensional 80es, una realidad mediada, una realidad virtual o realidad aumentada mediada por terceros. Esto se puede lograr con respecto a imágenes fijas, imágenes de vídeo, imágenes en tiempo real o imágenes grabadas.

En la descripción de las figuras 8 a 13 se ha hecho referencia a la realización de gestos tridimensional 80es. Estos gestos 80 pueden ser estáticos o pueden ser gestos de movimiento. Pueden implicar, por ejemplo, el movimiento del objeto introducido por el usuario, por ejemplo, una parte o partes del cuerpo del usuario o un aparato adicional. Un gesto tridimensional es un gesto que se realiza en tres dimensiones, ya sea a través de una pose estática en tres dimensiones o mediante un movimiento por las tres dimensiones. El gesto puede ser un gesto sin contacto que no entra en contacto con el aparato 30. El gesto 80 puede ser un gesto relativo que está definido por un desplazamiento relativo durante el gesto. El gesto 80 puede no estar anclado de modo que no sea necesario realizarlo en una ubicación precisa, ni en un espacio absoluto, ni en relación con el aparato 30.

Los métodos descritos con relación a las figuras 8 a 13 pueden, por ejemplo, ser realizados por cualquiera de los aparatos 30 descritos. Como se ha descrito anteriormente, la circuitería de entrada 44 de usuario pueden utilizarse para detectar acciones del usuario que determinan el punto de vista 24 dentro del espacio virtual 20, cambiando la escena virtual 22.

Cuando se ha descrito una característica estructural, esta puede sustituirse con medios para realizar una o más de las funciones de la característica estructural, independientemente de que esa función o esas funciones se hayan descrito explícita o implícitamente.

Como se usa en el presente documento, el término "módulo" se refiere a una unidad o aparato que excluye determinadas piezas/componentes que serían añadidos por el fabricante final o un usuario. El controlador 42 puede ser, por ejemplo, un módulo. El aparato 30 puede ser un módulo. La circuitería de entrada puede ser un módulo o comprender módulos. La pantalla 32 puede ser un módulo.

El término "comprende" se usa en este documento con un significado inclusivo, no exclusivo. Es decir, cualquier referencia de que X comprende Y indica que X puede comprender solo una Y o puede comprender más de una Y. Si se pretende utilizar "comprende" con un significado exclusivo, entonces se dejará claro en el contexto haciendo referencia a "comprende solo uno" o usando "consistiendo".

En esta breve descripción, se ha hecho referencia a varios ejemplos. La descripción de características o funciones en relación con un ejemplo indica que dichas características o funciones están presentes en dicho ejemplo. El uso del término "ejemplo", "por ejemplo" o "puede" en el texto denota, se haya indicado explícitamente o no, que dichas características o funciones están presentes al menos en el ejemplo descrito, se hayan descrito como un ejemplo o no, y que pueden estar, pero no lo están necesariamente, presentes en algunos o en todos los demás ejemplos. De este modo, "ejemplo", "por ejemplo" o "puede" se refieren a un caso particular en una clase de ejemplos. Una propiedad de un caso particular puede ser una propiedad de solo ese caso o una propiedad de la clase o una propiedad de una subclase de la clase que incluye algunos, pero no todos, los casos de la clase. Por lo tanto, se divulga implícitamente que unas características descritas con referencia a un ejemplo, pero no con referencia a otro ejemplo, se pueden utilizar, cuando sea posible, en ese otro ejemplo, pero no tienen que ser utilizadas necesariamente en ese otro ejemplo.

Aunque las realizaciones de la presente invención se han descrito en los párrafos anteriores con referencia a varios ejemplos, debería apreciarse que se pueden hacer modificaciones a los ejemplos dados sin desviarse del alcance de la invención tal y como se reivindica.

Las características descritas en la descripción anterior se pueden utilizar en combinaciones distintas a las combinaciones descritas explícitamente.

Aunque se han descrito funciones con referencia a determinados elementos, esas funciones pueden ser realizadas por otros elementos, se hayan descrito o no.

Aunque se han descrito elementos con referencia a determinadas realizaciones, esos elementos también pueden estar presentes en otras realizaciones, se hayan descrito o no.

Claims (15)

REIVINDICACIONES

1. Un método (100) que comprende:

mostrar (102) a un usuario (18) una escena virtual actual (22) de un espacio virtual (20) desde un punto de vista actual (24) en una posición actual (23), comprendiendo la escena virtual un objeto virtual artificial (120) introducido por el usuario;

mapear (110, 112) un gesto tridimensional (80) del usuario respecto a un gesto tridimensional correspondiente en el espacio virtual que interactúa con el objeto virtual artificial introducido por el usuario; y

caracterizado por, en respuesta a la determinación (104) de que el gesto tridimensional correspondiente en el espacio virtual interactúa con el objeto virtual artificial introducido por el usuario, mostrar al usuario (106) una nueva escena virtual del espacio virtual desde un nuevo punto de vista (24) en una nueva posición (23) diferente a la posición actual.

2. Un método según la reivindicación 1, en donde la escena virtual actual y la nueva escena virtual tienen, en común, al menos algunos objetos virtuales (21).

3. Un método según la reivindicación 1 o la reivindicación 2, que además comprende determinar una secuencia (142) de diferentes posiciones (23) que tienen puntos de vista que definen diferentes escenas virtuales, que comprenden, cada una, en común, uno o más objetos virtuales (21) de interés, en donde la nueva posición se selecciona de la secuencia de diferentes posiciones.

4. Un método según la reivindicación 3, en donde el uno o más objetos virtuales de interés están determinados por una dirección de la mirada del usuario cuando realiza el gesto tridimensional.

5. Un método según la reivindicación 3 o la reivindicación 4, en donde la nueva posición es una posición subsiguiente en la secuencia de diferentes posiciones.

6. Un método según una cualquiera de las reivindicaciones 3 a 5, en donde determinar una secuencia de diferentes posiciones comprende excluir una pluralidad de posibles posiciones de la secuencia porque no tienen un punto de vista que defina una escena virtual que comprende el uno o más objetos virtuales de interés.

7. Un método según una cualquiera de las reivindicaciones 4 a 6, que además comprende seleccionar la secuencia de diferentes posiciones a partir de posiciones que tienen puntos de vista que definen escenas virtuales que comprenden, en común, el uno o más objetos virtuales de interés dependiendo de la satisfacción de uno o más criterios para el uno o más objetos virtuales de interés y/o que además comprende excluir una pluralidad de posibles posiciones de la secuencia de diferentes posiciones porque no tienen un punto de vista que defina una escena virtual que comprende el uno o más objetos virtuales de interés que satisfacen uno o más criterios para el uno o más objetos virtuales de interés.

8. Un método según cualquiera de las reivindicaciones anteriores, en donde el objeto virtual artificial introducido por el usuario es alargado y comprende uno o más indicadores (121), en donde cada indicador indica al menos una posición asociada que tiene un punto de vista que define una supuesta escena virtual y en donde un usuario selecciona un indicador para hacer que se muestre al usuario la nueva escena virtual del espacio virtual desde el nuevo punto de vista en la posición asociada con el indicador seleccionado.

9. Un método según la reivindicación 8, en donde el posicionamiento relativo de cada indicador a lo largo de una longitud del objeto virtual artificial introducido por el usuario indica al menos el posicionamiento relativo de las posiciones que tienen puntos de vista que definen supuestas escenas virtuales.

10. Un método según las reivindicaciones 8 o 9, en donde las supuestas escenas virtuales se solapan al menos parcialmente con la escena virtual actual.

11. Un método según cualquiera de las reivindicaciones anteriores, que además comprende, cuando se muestra al usuario la nueva escena virtual del espacio virtual desde el nuevo punto de vista en la nueva posición diferente a la posición actual, mostrar, además, al menos un objeto virtual artificial introducido por un usuario.

12. Un método según cualquiera de las reivindicaciones anteriores, que además comprende: mostrar una representación del gesto tridimensional mapeado respecto al espacio virtual dentro de la escena virtual mostrada durante el gesto tridimensional.

13. Un método según cualquiera de las reivindicaciones anteriores, en donde mostrar a un usuario una escena virtual de un espacio virtual desde un punto de vista en una posición comprende mostrar una escena real (12) capturada desde un primer punto de vista (14) en una primera posición real (13) en un espacio real (10), correspondiente al punto de vista en la posición en el espacio virtual, y mostrar al menos el objeto virtual artificial introducido por el usuario.

14. Un método según cualquiera de las reivindicaciones anteriores, en donde mostrar a un usuario una escena virtual de un espacio virtual desde un punto de vista en una posición comprende mostrar una escena generada sintéticamente desde un punto de vista sintético en una posición sintética, en donde la escena generada sintéticamente se genera a partir de escenas reales capturadas desde diferentes puntos de vista y en donde el punto de vista sintético en la posición sintética corresponde al punto de vista en la posición en el espacio virtual, y mostrar al menos el objeto virtual artificial introducido por el usuario.

15. Un aparato que comprende unos medios para realizar el método de cualquier reivindicación anterior o un programa informático, que, cuando es ejecutado por un procesador, realiza el método de cualquiera de las reivindicaciones 1 a 14.

FIG. 1B

ESPACIO VIRTUAL ESCENA VIRTUAL

FIG. 3A